flume采集数据到hdfs上产生的问题及其优化方法

　　　flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。
解决方案：
去掉round时间系列参数，并将rollSize和rollCount置0，
表示不根据临时文件大小和event数量来滚动文件（滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件）。
当然，也可以调大rollSize参数（如调至100000000,表示100MB滚动文件，单位是bytes）;

#Describe the sink 添加：

a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0

　　

rollSize
默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。
rollCount
默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。

解决Flume将kafka中的数据传到HDFS中中文有乱码问题
翻看Flume文档，发现，HdfsEventSink中，hdfs.fileType默认为SequenceFile，将其改为DataStream就可以按照采集的文件原样输入到hdfs，加一行

a1.sinks.k1.hdfs.fileType=DataStream

a1.sinks.k1.hdfs.fileType=DataStream

原文链接：https://blog.csdn.net/Mirror_w/article/details/93773713