Tag - hive

hive hbase nginx linux hadoop    2016-03-01 11:46:18    103    0    0

目录

Nginx的相关配置,以及测试数据

Hadoop中创建使用目录

Hive的日志表创建,并同步到Hbase中

0.1 创建自增长ID的类,并添加到Hive环境中

0.2 在Hive中创建日志表

0.3 将Nginx的日志数据导入到Hive日志表中

a) 方法一:将本地目录中的文件导入到Hive中

b) 方法二:从HDFS导入数据,我们先将表删除,重新创建一次,然后尝试从HDFS导入数据

c) 方法三:通过如Flume、Kafka一类的工具监控日志数据,自动导入

0.4在Hive中创建Hbase可以识别的表

0.5 将Hive的日志表,使用自增长Id做为rowkey导入到Hbase可识别的表中

0.6 到Hbase中验证效果使用get、scan、filter获取指定数据

FAQ

扩展阅读

ubuntu ubuntu12.04 hadoop zookeeper hbase hive 基础知识    2016-02-29 15:57:35    369    0    0

  hadoop2.2.0的介绍以及特性,参考这里:http://blog.yidooo.net/archives/hadoop-2-2-0-new-features.html

  zookeeper的介绍,参考这里:http://baike.baidu.com/view/3061646.htm

  hbase的介绍,参考这里:http://baike.baidu.com/view/1993870.htm

  hive0.13的介绍以及特性,参考这里:http://www.csdn.net/article/2014-04-22/2819438-Cloud-Hive