Tag - nginx

logstash kibana elasticsearch nginx mac10.10.3 日志收集 大数据    2016-04-09 17:22:30    962    0    0

Logstash 

  简单来说,Logstash一个完全开源的工具,可以进行数据收集、分析,并将其存储供以后使用。 

  虽然网上有人拿Flumn和Kafka做比较,但个人觉得Logstash反而和Flumn比较像,都是收集、处理数据的。如果最终你的数据流向是Elasticsearch,那么使用Logstash是最合适不过的,因为他们版本的升级非常接近。

Kibana 

  Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的。

Elasticsearch 

  Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据。无论你是需要全文搜索、结构化数据的实时统计以及分析,Elasticsearch都可以完成。 

  Elasticsearch并不只是面向大型企业的,它还帮助了很多类似 DataDog 以及 Klout 的创业公司进行了功能的扩展。Elasticsearch 可以运行在你的笔记本上,也可以部署到成千上万的服务器上,处理PB级别的数据。

hive hbase nginx linux hadoop    2016-03-01 11:46:18    107    0    0

目录

Nginx的相关配置,以及测试数据

Hadoop中创建使用目录

Hive的日志表创建,并同步到Hbase中

0.1 创建自增长ID的类,并添加到Hive环境中

0.2 在Hive中创建日志表

0.3 将Nginx的日志数据导入到Hive日志表中

a) 方法一:将本地目录中的文件导入到Hive中

b) 方法二:从HDFS导入数据,我们先将表删除,重新创建一次,然后尝试从HDFS导入数据

c) 方法三:通过如Flume、Kafka一类的工具监控日志数据,自动导入

0.4在Hive中创建Hbase可以识别的表

0.5 将Hive的日志表,使用自增长Id做为rowkey导入到Hbase可识别的表中

0.6 到Hbase中验证效果使用get、scan、filter获取指定数据

FAQ

扩展阅读