|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&PB级数仓.V03|——|PB数仓.v03|会员活跃度分析|hdfs sink|

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&PB级数仓.V03|——|PB数仓.v03|会员活跃度分析|hdfs sink|

一、日志采集配置：hdfs sink配置

### --- 日志采集配置：hdfs sink配置a1.sinks.k1.type = hdfsa1.sinks.k1.hdfs.path = /user/data/logs/start/%Y-%m-%d/a1.sinks.k1.hdfs.filePrefix = startlog.a1.sinks.k1.hdfs.fileType = DataStream

~~~ # 配置文件滚动方式（文件大小32M）a1.sinks.k1.hdfs.rollSize = 33554432a1.sinks.k1.hdfs.rollCount = 0a1.sinks.k1.hdfs.rollInterval = 0a1.sinks.k1.hdfs.idleTimeout = 0a1.sinks.k1.hdfs.minBlockReplicas = 1

~~~ # 向hdfs上刷新的event的个数a1.sinks.k1.hdfs.batchSize = 100~~~ # 使用本地时间a1.sinks.k1.hdfs.useLocalTimeStamp = true

### --- HDFS Sink 都会采用滚动生成文件的方式，滚动生成文件的策略有：~~~ 基于时间。hdfs.rollInterval 30秒~~~ 基于文件大小。hdfs.rollSize 1024字节~~~ 基于event数量。hdfs.rollCount 10个event~~~ 基于文件空闲时间。hdfs.idleTimeout 0~~~ 0，禁用~~~ minBlockReplicas。默认值与 hdfs 副本数一致。~~~ 设为1是为了让 Flume 感知不到hdfs的块复制，~~~ 此时其他的滚动方式配置（时间间隔、文件大小、events数量）才不会受影响

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

——W.S.Landor

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。