• 『菲走不可』的旅行 宿雾、杜马盖地(前言)
    这次旅行提前计划了三四个月,原计划是去Cebu(宿务)考OW和AOW。由于北京的雾霾导致11月初开始咳嗽了两个月,一直没有彻底恢复,担心在深潜的时候咳嗽。所以这次改成了纯自由行。 OW中文是开放水域潜水员,能下潜的深度标准是18米。 AOW中文是进阶开放水域潜水员,一般5个AOW课程里包含深潜的课程,所以能达到30米的标准深度.夜潜,船潜,放流等等也都只有持有AOW证书的潜水员才可以进行.国外潜水时你持有OW证书也可以和AOW的一起进行潜水,不过付责任的潜店会向上取舍,只会安排你们去OW适合的水域.   先放两段我们制作的视频合辑:   『菲走不可』的旅行–视频1  
  • 『菲走不可』的旅行 宿雾、杜马盖地(一)
    目录 目录 D1:第一天 2017年1月19日 周四 准备出发 到达南苑机场   到达成都   到达Cebu(宿务)  D2:第二天 2017年1月20日 周五 Royal nemo的院子 SM City Cebu 圣婴教堂、麦哲伦十字架 去吃大众点评上最有名的cnT lechon烤乳猪 继续返回SM City购物 返回Reyal nemo   D3:第三天 2017年1月21日 周六 出发去Dumaguete(杜马盖地) 吃早餐,当地类似KFC的Jollibee 到达码头   去沙丁鱼村   去浮潜 返程去Nicanor酒店Checkin   D1:第一
  • 『菲走不可』的旅行 宿雾、杜马盖地(二)
    目录 目录 D4:第四天 2017年1月22日 周日 出发去看大海龟 出海去海岛 晚上返回Dumaguete(杜马盖地)   D5:第五天 2017年1月23日 周一   集合出发去码头 抵达码头去海岛看鯊鲸   抵达苏米龙岛   返程回酒店   D6:第六天 2017年1月24日 周二 早起出发 做小鱼SPA   参观当地大教堂 到达锡岛 返程 D7:第七天 2017年1月25日 周三 起床准备出发去薄荷岛 没去成,准备退船票 吃晚餐 回到酒店 D4:第四天 2017年1月22日 周日 出发去看大海龟   今天去看菲律宾有名的大海龟,早上
  • 『菲走不可』的旅行 宿雾、杜马盖地(三)
    目录 目录 D8:第八天 2017年1月26日 周四 去租摩托车 没有租成,来吃午饭 买水果 做SPA 酒吧听歌 D9:第九天 2017年1月27日 周五 起床买船票 租摩托车 入住LA fusion 去道阴海滩 回家过年 D10:第十天 2017年1月28日 周六 出发去Cebu(宿务) 到达Cebu(宿务) 附近转转 去坦布里海滩 回家 D11:第十一天 2017年1月29日 周日   起床去机场 到达成都 午餐成都火锅 安全抵京 D8:第八天 2017年1月26日 周四 去租摩托车   前几天太辛苦,今天好好地在Dumaguete
  • Docker创建JIRA 7.2.7中文破解版
    目录 1、介绍 1.1、什么是JIRA? 2、JIRA的官网在哪里? 3、如何下载安装? 4、对JIRA进行配置 4.1、打开浏览器:http://localhost:20012 4.2、JIRA setup 4.3、Database setup 4.4、Set up application properties 4.5、Specify your license key 4.6、Set up administrator account 4.7、Set up email notifications 4.8、Welcome to JIRA, root! 4.9、创建一个新项目 4.10、中文汉化 4.11、进入容器,重启jira服务
  • Logstash 2.2.0 的最佳实践
    基础知识 介绍 安装 Hello World 长期运行 配置语法 输入插件(Input) 标准输入(Stdin) 读取文件(File) 读取网络数据(TCP) 生成测试数据(Generator) 读取 Redis 数据 编码插件(Codec) 采用 JSON 编码 合并多行数据(Multiline) 过滤器插件(Filter) Grok 正则捕获 时间处理(Date) 数据修改(Mutate) GeoIP 地址查询归类 JSON 编解码 split 拆分事件 输出插件(Output) 保存到Elasticsearch 标准输出(Stdout) 保存成文件(File) 输出到 Redis 发送网络数据(TCP) 调用命令执行(Exec) 推荐阅读
  • cAdvisor0.24.1+InfluxDB0.13+Grafana4.0.2搭建Docker1.12.3 Swarm集群性能监控平台
    目录 1、基本概念 1.1、什么是cAdvisor? 1.2、什么是InfluxDB? 1.3、什么是Grafana? 2、开始安装Docker性能监控组件 2.1、创建一个overlay网络 2.2、安装InfluxDB 0.13 2.3、安装cAdvisor 0.24.1 2.4、安装Grafana 2.5、登录到Grfana,并配置数据源 2.6、配置Grafana的Docker监控 2.6.1、Filesystem storage limit and usage 2.6.2、CPU Usage 2.6.3、Memory Usage 2.6.4、Network Traffic 2.6.7、最终实现的监控效果图 参考资料
  • Centos7的安装、Docker1.12.3的安装,以及Docker Swarm集群的简单实例
    目录 1、环境准备 1.1、Centos 7 64位安装 1.2、网络配置 1.3、更改hostname 1.4、配置ssh免密码登录登录 2、安装Docker1.12.3和初步配置 2.1、安装Docker1.12.3 2.2、 验证Docker是否安装成功 2.3、启动Docker daemon程序 2.3、通过系统自带的systemctl启动docker,并启动docker服务 2.4、修改docker的配置文件 3、创建swarm 集群 3.1、开放firewall防火墙端口 3.2、设置swarm集群并将其他3台机器添加到集群 3.3、创建一个overlay 网络 3.4、在网络上运行容器 3.5、扩展(Scaling)应用 3.6、对service服务进行指定运行 3.7、测试docker swarm网络是否能互通 3.8、测试dokcer swarm自带的负载均衡
  • Ubuntu14.04+Beanstalkd1.9+Golang最佳实践
      Beanstalkd 是一个轻量级消息中间件,它最大特点是将自己定位为基于管道 (tube) 和任务 (job) 的工作队列。   Beanstalkd 支持任务优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持分布式的后台任务和定时任务处理。它的内部采用libevent,服务器-客户端之间采用类似Memcached的轻量级通讯协议,因此性能很高(enque: 9000 jobs/second, worker: 5200 jobs/second)   尽管是内存队列, Beanstalkd 提供了 binlog 机制, 当重启 beanstalkd 时,当前任务状态能够从纪录的本地 binlog 中恢复。Beanstalkd支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。Beanstalkd是典型的类Memcached设计,协议和使用方式都是同样的风格,所以使用过Memcached的用户会觉得Beanstalkd似曾相识。
  • RabbitMQ3.6.3集群搭建+HAProxy1.6做负载均衡
      通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收。   这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制。本方案中搭建 3 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务。   HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。根据官方数据,其最高极限支持10G的并发。HAProxy支持从4层至7层的网络交换,即覆盖所有的TCP协议。就是说,Haproxy 甚至还支持 Mysql 的均衡负载。
  • Ubuntu14.04+RabbitMQ3.6.3+Golang的最佳实践
    RabbitMQ 是由 LShift 提供的一个 Advanced Message Queuing Protocol (AMQP) 的开源实现,由以高性能、健壮以及可伸缩性出名的 Erlang 写成,因此也是继承了这些优点。   AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。它从生产者接收消息并递送给消费者,在这个过程中,根据规则进行路由,缓存与持久化。 AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。 RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:[Python](http://lib.csdn.net/base/11)、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。
  • ubuntu12.04+Elasticsearch2.3.3伪分布式配置,集群状态分片调整
    Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。能够快速搜索数十亿的文件以及PB级的数据,结构化或者非结构化的数据都可以。对于大多数数据库而言,横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备。对比来说,Elasticsearch天生是分布式的:它知道如何管理节点来提供高扩展和高可用。这意味着你的程序不需要关心这些。 Elasticsearch使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
  • kafka2.9.2的伪分布式集群安装和demo(java api)测试
      kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)MQ。Kafka仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。   kafka目前支持多种客户端语言:java,python,c++,php等等。   kafka集群的简要图解如下,producer写入消息,consumer读取消息
  • Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]
    1、CDH介绍 1.1、什么是CDH和CM?   CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装。   Cloudera-Managerceql(本文中简称CM)是一个工具,CM能够管理一个大的Hadoop cluster并不是一只要下载tar files什么压缩并启动services这么简单。后续有非常多设定、监控等麻烦的事要处理,CM都能够做到,有些类似Casti。Cloudera Manager整合了一列的功能让系统管理者能更方便的维护Hadoop。    1.2、CDH的主要功能? 管理 监控 诊断 集成 1.3、CDH版本衍化   Hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。   Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。截至目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4在Apache Hadoop 2.0.0版本基础上演化而来的),CDH5,它们每隔一段时间便会更新一次。   Cloudera以Patch Level划分小版本,比如Patch Level为923.142表示在原生态Apache Hadoop 0.20.2基础上添加了1065个Patch(这些Patch是各个公司或者个人贡献的,在Hadoop jira上均有记录),其中923个是最后一个Beta版本添加的Patch,而142个是稳定版发行后新添加的Patch。由此可见,Patch Level越高,功能越完备且解决的Bug越多。   Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装,更加省事。
  • 使用Supervisor3.2.1基于Mac10.10.3对系统进程进行管理
      Supervisor是由python语言编写的一款服务器管理工具,用以监控服务器的运行,发现问题能立即自动预警及自动重启等功能。可以运行在大多数类UNIX系统上,比如Linux、MAC OS X、Solaris、FreeBSD。   除了对单个进程的控制,还可以同时启动、关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 Supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。   Supervisor目前支持Python2.4以及之后的版本,但不支持Python3。
  • Logstash-2.2.2+Kibana-4.5.0+Elasticsearch-2.3.1+Mac10.10.3收集、监控Nginx日志最佳实践
    Logstash   简单来说,Logstash一个完全开源的工具,可以进行数据收集、分析,并将其存储供以后使用。   虽然网上有人拿Flumn和Kafka做比较,但个人觉得Logstash反而和Flumn比较像,都是收集、处理数据的。如果最终你的数据流向是Elasticsearch,那么使用Logstash是最合适不过的,因为他们版本的升级非常接近。 Kibana   Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的。 Elasticsearch   Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据。无论你是需要全文搜索、结构化数据的实时统计以及分析,Elasticsearch都可以完成。   Elasticsearch并不只是面向大型企业的,它还帮助了很多类似 DataDog 以及 Klout 的创业公司进行了功能的扩展。Elasticsearch 可以运行在你的笔记本上,也可以部署到成千上万的服务器上,处理PB级别的数据。
  • Flume+Kafka+Strom基于伪分布式环境的结合使用
      如何你仔细阅读过关于Flume、Kafka、Storm的介绍,就会知道,在他们各自之间对外交互发送消息的原理。   在后面的例子中,我们主要对Flume的sink进行重构,调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口,调用kafka的消息消费者(Consumer)来接收消息,然后经过几个自定义的Bolt,将自定义的内容进行输出。
  • Golang、Php、Python、Java基于Thrift0.9.1实现跨语言调用
      Thrift是一种可伸缩的跨语言服务的发展软件框架。它结合了功能强大的软件堆栈的代码生成引擎,以建设服务。   Thrift是facebook开发的,07年4月开放源代码,08年5月进入apache孵化器。创造Thrift是为了解决facebook系统中各系统间大数据量的传 输通信以及系统之间语言环境不同需要跨平台的特性。所以thrift可以支持多种程序语言,例如: C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml. (目前0.9.1版本已经开始支持golang语言)在多种不同的语言之间通信thrift可以作为二进制的高性能的通讯中间件,支持数据(对象)序列化和多种类型的RPC服务。   Thrift允许你定义一个简单的定义文件中的数据类型和服务接口。以作为输入文件,编译器生成代码用来方便地生成RPC客户端和服务器通信的无缝跨编程语言。简而言之,开发者只需准备一份thrift脚本,通过thrift code generator(像gcc那样输入一个命令)就能生成所要求的开发语言代码。
  • Nginx日志导入到Hive0.13.1,同步Hbase0.96.2,设置RowKey为autoincrement(ID自增长)
    目录 Nginx的相关配置,以及测试数据 Hadoop中创建使用目录 Hive的日志表创建,并同步到Hbase中 0.1 创建自增长ID的类,并添加到Hive环境中 0.2 在Hive中创建日志表 0.3 将Nginx的日志数据导入到Hive日志表中 a) 方法一:将本地目录中的文件导入到Hive中 b) 方法二:从HDFS导入数据,我们先将表删除,重新创建一次,然后尝试从HDFS导入数据 c) 方法三:通过如Flume、Kafka一类的工具监控日志数据,自动导入 0.4在Hive中创建Hbase可以识别的表 0.5 将Hive的日志表,使用自增长Id做为rowkey导入到Hbase可识别的表中 0.6 到Hbase中验证效果使用get、scan、filter获取指定数据 FAQ 扩展阅读
  • Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)
      flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,cloudera 完成了 Flume-728,对 Flume 进行了里程碑式的改动:重构核心组件、核心配置以及代码架构,重构后的版本统称为 Flume NG(next generation);改动的另一原因是将 Flume 纳入 apache 旗下,cloudera Flume 改名为 Apache Flume