Flume & Redis 学习笔记V0.1

发表于 更新于

Flume 学习笔记

Flume(NG)架构设计要点及配置实践，在此基础上的扩展：Flume-ng的原理和使用

  1. Agent 的串联、并联
  2. Source 一般都是单一 Source；Source 一对多 Channel，分为复制（replication）和分流（multiplexing）
  3. Channel 一对多 Sink，实现负载均衡（load balance）和故障转移（failover）

在上述中多提到 Avro，在 Flume 的配置文件中也用到此项。Avro 介绍，但目前不需要了解。

Avro 是 Hadoop 中的一个子项目，也是 Apache 中一个独立的项目，Avro 是一个基于二进制数据传输高性能的中间件。

Redis 学习笔记

Redis Quick Start

  1. 在安装过程中，如果缺少依赖项，需要先编译 deps 目录。
  2. 将 redis 加入系统启动项，手册中使用 sudo update-rc.d redis_6379 defaults。但此命令只在 Debian 系下使用。

70.13x 系列服务器搭建指南

  1. 先安装 jdk，配置好 JAVA_HOME 环境变量

    1
    2
    3
    4
    5
    export JAVA_HOME=/home/cts/tool/jdk1.6.0_45/
    export JAVA_BIN=$JAVA_HOME/bin/
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOME/jreb:$JAVA_HOMEb/tools.jar
    export JRE_HOME=$JAVA_HOME/jre

  2. 安装 redis，启动 redis

    • 如果需要，可以配置主从 redis

  3. 使用 cts2Cache-v0.2 程序初始化 redis

    • 执行 run-Init.sh 脚本执行初始化，需要修改 cts2Cache-0.1.0.jar 中配置文件 redis IP；
    • 使用 crontab 命令设置定时任务，每日执行 run-update-recv.sh 和 run-update-send.sh 脚本生成次日的节目表；

  4. 使用 cts2LogGate 程序开启日志网关

    • 参考 visio 图
    • 依照 send、recv、mu、lb 顺序开启，使用 kill 命令逆序关闭
    • 开启时可以使用 nohup 命令
    • 怎么关闭呢？

  5. 向日志网关发送日志