Flume技术调研
Flume简介Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,目前已经是Apache的一个子项目。在Flume中有一个event的概念,event就是Flume处理数据的最小单元。
Flume的内部是由Source、Channel以及Sink三个组件组成:
(1)Source
Source组件用来与要搜集的外部数据源做交互,Source支持很多的数据源,例如文件以及thrift等RPC数据。
(2)Sink
Sink组件用来与外部存储做交互,S
...