在hive中使用parquet (CDH4.3)-mysql教程-PHP中文网

在hive中使用parquet (CDH4.3)

php中文网

发布： 2016-06-07 16:32:39

原创

2032人浏览过

hadoop版本 cdh4.3 使用impala创建parquet表后，查询会出错。 [impala:21000] SELECT * FROM foo;Query: SELECT * FROM fooERROR: AnalysisException: Failed TO LOAD metadata FOR TABLE: DEFAULT.fooCAUSED BY: TableLoadingException: Failed TO LOAD met

hadoop版本 cdh4.3

使用impala创建parquet表后，查询会出错。

[impala:21000] > SELECT * FROM foo;
Query: SELECT * FROM foo
ERROR: AnalysisException: Failed TO LOAD metadata FOR TABLE: DEFAULT.foo
CAUSED BY: TableLoadingException: Failed TO LOAD metadata FOR TABLE: foo
CAUSED BY: MetaException: org.apache.hadoop.hive.serde2.SerDeException SerDe parquet.hive.serde.ParquetHiveSerDe does NOT exist

登录后复制

原因是hive并没有这些lib，下载它们并放入/opt/cloudera/parcels/CDH/lib/hive/lib目录（我是使用cloudera manager部署的）,创建脚本下载

#!/bin/sh
#parquet-pig parquet-scrooge parquet-test-hadoop2 parquet-thrift parquet-avro parquet-cascading 
?
for f in parquet-column parquet-common parquet-encoding parquet-generator parquet-hadoop parquet-hive 
do
curl -O http://repo1.maven.org/maven2/com/twitter/${f}/1.2.4/${f}-1.2.4.jar
#curl -O http://oss.sonatype.org/service/local/repositories/releases/content/com/twitter/${f}/1.2.4/${f}-1.2.4.jar
done
curl -O http://repo1.maven.org/maven2/com/twitter/parquet-format/1.0.0/parquet-format-1.0.0.jar

登录后复制

然后把他们拷贝进去

cp parquet-*  /opt/cloudera/parcels/CDH/lib/hive/lib

登录后复制

可能要重启metastore，然后在impala中刷新metastore

WeWedding婚纱影楼小程序

婚纱影楼小程序提供了一个连接用户与影楼的平台，相当于影楼在微信的官网。它能帮助影楼展示拍摄实力，记录访客数据，宣传优惠活动。使用频率高，方便传播，是影楼在微信端宣传营销的得力助手。功能特点：样片页是影楼展示优秀摄影样片提供给用户欣赏并且吸引客户的。套系页是影楼根据市场需求推出的不同套餐，用户可以按照自己的喜好预定套系。个人中心可以查看用户预约的拍摄计划，也可以获取到影楼的联系方式。

查看详情

INVALIDATE METADATA;

登录后复制

在impala修改parquet表

create table test2 (name STRING) STORED AS PARQUETFILE;

登录后复制

插入数据

insert into test2 select * from test;

登录后复制

参考

https://issues.cloudera.org/browse/IMPALA-574

原文地址：在hive中使用parquet (CDH4.3), 感谢原作者分享。

大家都在看：

mysql 怎么修改host hive和mysql的区别有哪些 hive和mysql的区别是什么 hive mysql中没有表是为什么？ mysql通配符与like怎么结合_mysql通配符与like结合使用的完整指南