ELK+Kafka学习笔记之FileBeat日志合并配置输出到kafka集群

ELK+Kafka学习笔记之FileBeat日志合并配置输出到kafka集群

filebeat.prospectors:- type: log #日志输出类型 enabled: true paths: #定义收集日志的目录 - /data/apps/logs/test1/* fields: #自定义的两个字段,区分日志类型及host type: test1 host: 161 ignore_older: 1h #忽略一小时以为的日志变化 multiline.pattern: '(WARN|DEBUG|ERROR|INFO) \d{4}/\d{2}/\d{2}' #正则匹配 符合的日志文件. multiline.negate: true #为true,表示不满足正则匹配条件的日志 multiline.match: after #after 追加到文件后面filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: falsesetup.template.settings: index.number_of_shards: 3output.kafka: enabled: true hosts: ["192.168.0.11:9092","192.168.0.12:9092","192.168.0.13:9092"] topic: "test-log"

注:multiline字段,必须每个日志类型一个,不然日志不会合并.(坑)

样例图:

​​参考​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。