Tag - logstash

logstash    2017-01-04 11:44:31    207    0    0

基础知识

介绍

安装

Hello World

长期运行

配置语法

输入插件(Input)

标准输入(Stdin)

读取文件(File)

读取网络数据(TCP)

生成测试数据(Generator)

读取 Redis 数据

编码插件(Codec)

采用 JSON 编码

合并多行数据(Multiline)

过滤器插件(Filter)

Grok 正则捕获

时间处理(Date)

数据修改(Mutate)

GeoIP 地址查询归类

JSON 编解码

split 拆分事件

输出插件(Output)

保存到Elasticsearch

标准输出(Stdout)

保存成文件(File)

输出到 Redis

发送网络数据(TCP)

调用命令执行(Exec)

推荐阅读

logstash kibana elasticsearch nginx mac10.10.3 日志收集 大数据    2016-04-09 17:22:30    962    0    0

Logstash 

  简单来说,Logstash一个完全开源的工具,可以进行数据收集、分析,并将其存储供以后使用。 

  虽然网上有人拿Flumn和Kafka做比较,但个人觉得Logstash反而和Flumn比较像,都是收集、处理数据的。如果最终你的数据流向是Elasticsearch,那么使用Logstash是最合适不过的,因为他们版本的升级非常接近。

Kibana 

  Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的。

Elasticsearch 

  Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据。无论你是需要全文搜索、结构化数据的实时统计以及分析,Elasticsearch都可以完成。 

  Elasticsearch并不只是面向大型企业的,它还帮助了很多类似 DataDog 以及 Klout 的创业公司进行了功能的扩展。Elasticsearch 可以运行在你的笔记本上,也可以部署到成千上万的服务器上,处理PB级别的数据。