Chukwa的处理过程:
1、Adaptors使用tail方式监测日志增量;
2、 Agent发送数据到collectors;
3、 Collectors将各agent收集的数据在/chukwa/logs/目录下写成*.chukwa文件;
4、当*.chukwa文件大小达到阀值或达到一定时间间隔时将其改名为*.done文件;
5、Demux进程将/chukwa/logs/*.done文件转移到/chukwa/demuxProcessing/mrInput/目录下进行处理;
6、PostProcess进程将demux进程处理完成的*.evt文件转储到/chukwa/repos/目录下;
7、可以根据PostProcess进程按照日志类型在/chukwa/rolling/目录下生成的文件进行按天或按小时的数据合并。