K8S学习笔记之使用Fluent-bit将容器标准输入和输出的日志发送到Kafka

K8S学习笔记之使用Fluent-bit将容器标准输入和输出的日志发送到Kafka

0x00 概述

K8S内部署微服务后，对应的日志方案是不落地方案，即微服务的日志不挂在到本地数据卷，所有的微服务日志都采用标准输入和输出的方式(stdin/stdout/stderr)存放到管道内，容器日志采用的是json格式。

目前大部分K8S容器日志都采用Fluent或者Fluent-bit，将日志传输到ES集群，本文主要讲使用Fluent-bit将容器的日志传输到Kafka。

0x01 部署Fluent-bit并传输到Kafka

详细请看​​创建Fluent-bit Daemonset使用的configmap

$ kubectl create -f 配置Fluent-bit Daemonset将K8S日志传输到Kafka

$ kubectl create -f Fluent-bit输出方向ES和Kafka

​​Fluent-bit将K8S日志传输到Kafka

​​ 10.10.11.32:9092

0x04 日志格式过滤

关于详细的部署的格式过滤可以参考这篇​​总结

多参考官方网站和搜刮github，尽量少使用百度，百度搜索几乎无解。。。。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。