Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？

Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？

在一个月黑风高的夜晚，突然收到现网生产环境Kafka消息积压的告警，梦中惊醒啊，马上起来排查日志。问题现象消费请求卡死在查找Coordinator

Coordinator为何物？Coordinator用于管理Consumer Group中各个成员，负责消费offset位移管理和Consumer Rebalance。Consumer在消费时必须先确认Consumer Group对应的Coordinator，随后才能join Group，获取对应的topic partition进行消费。

那如何确定Consumer Group的Coordinator呢？分两步走：

1、一个Consumer Group对应一个__consumers_offsets的分区，首先先计算Consumer Group对应的__consumers_offsets的分区，计算公式如下：

__consumers_offsets partition# = Math.abs(groupId.hashCode() % groupMetadataTopicPartitionCount，其中groupMetadataTopicPartitionCount由offsets.topic.num.partitions指定。

2、1中计算的该partition的leader所在的broker就是被选定的Coordinator。

定位过程

不出所料，Coordinator对应分区Leader为-1，消费端程序会一直等待，直到Leader选出来为止，这就直接导致了消费卡死。

为啥Leader无法选举？Leader选举是由Controller负责的。Controller节点负责管理整个集群中分区和副本的状态，比如partition的Leader选举，topic创建，副本分配，partition和replica扩容等。现在我们看看Controller的日志：

1.6月10日15:48:30,006 秒Broker 1成为controller

2.Broker 2在其后几百毫秒后(15:48:30,936)也成为Controller

注意这个时间点，Broker1还没在zk把__consumer_offsets的分区3 的Leader从节点3改为1，这样Broker 2还认为Broker 3是Leader，并且Broker 3在它认为是活的，所以不需要重新选举Leader。这样一直保持了相当长的时间，即使Broker 1已经把这个分区的Leader切换了，它也不感知。

3.Broker 2在12号的21:43:19又感知Broker 1网络中断，并处理节点失败事件：

因为Broker 2内存中认为__consumer_offsets分区3的Leader是broker 3，所以不会触发分区3的Leader切换。

Broker 2但是在处理失败的节点Broker 1时，会把副本从ISR列表中去掉，去掉前会读一次zk，代码如下：

这样分区3 的Leader一直为-1，直到有新的事件触发节点2重新选举才能恢复（例如重启某个节点）。

根因总结

出现网络异常后，由于新老controller之间感知的可用节点不同，导致新controller对某个分区的Leader在内存中的信息与zk记录元数据的信息不一致，导致controller选举流程出现错误，选不出Leader。 需要有新的选举事件才能触发Leader选出来，例如重启。

问题总结

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。