Tag - 大数据

logstash kibana elasticsearch nginx mac10.10.3 日志收集 大数据    2016-04-09 17:22:30    953    0    0

Logstash 

  简单来说,Logstash一个完全开源的工具,可以进行数据收集、分析,并将其存储供以后使用。 

  虽然网上有人拿Flumn和Kafka做比较,但个人觉得Logstash反而和Flumn比较像,都是收集、处理数据的。如果最终你的数据流向是Elasticsearch,那么使用Logstash是最合适不过的,因为他们版本的升级非常接近。

Kibana 

  Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的。

Elasticsearch 

  Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据。无论你是需要全文搜索、结构化数据的实时统计以及分析,Elasticsearch都可以完成。 

  Elasticsearch并不只是面向大型企业的,它还帮助了很多类似 DataDog 以及 Klout 的创业公司进行了功能的扩展。Elasticsearch 可以运行在你的笔记本上,也可以部署到成千上万的服务器上,处理PB级别的数据。

flume kafka storm java 大数据 实时计算    2016-03-04 12:25:04    254    0    0
  如何你仔细阅读过关于Flume、Kafka、Storm的介绍,就会知道,在他们各自之间对外交互发送消息的原理。
  在后面的例子中,我们主要对Flume的sink进行重构,调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口,调用kafka的消息消费者(Consumer)来接收消息,然后经过几个自定义的Bolt,将自定义的内容进行输出。
大数据 hadoop hbase Flume 日志收集    2016-02-29 18:46:33    361    0    0

  flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,cloudera 完成了 Flume-728,对 Flume 进行了里程碑式的改动:重构核心组件、核心配置以及代码架构,重构后的版本统称为 Flume NG(next generation);改动的另一原因是将 Flume 纳入 apache 旗下,cloudera Flume 改名为 Apache Flume