k8s master节点负载高，导致登录dashboard界面处于crash状态排查

k8s master节点负载高，导致登录dashboard界面处于crash状态排查

环境和背景:

用户反馈不能登录k8s dashboard， 界面经常crash，master节点的uptime 负载将近20-30之间，api-server的内存使用率100%

解决思路：

1.查看master节点的etcd，controller,kube-apiserver的使用率 ，docker stats etcd_1 dce_controller_1 dce_kube_controller_1，可以看到apiserver内存使用率达到100%

通过执行top,也可以看到apiserver的cpu 使用率非常高了，最开始想先及时恢复集群，可能是apiserver的内存泄露，因为有用户正在使用了，重启了controller_1后，

观察apiserver的内存使用率，发现快速的飙到了100%，于是调整了cpu和内存的最大限制，mem_limit由原来的8451m,调整 到12451m后，重启了容器后，内存还是飙到了100%，此时就需要换一种排查思路了，可能api-server 服务应该处理了大量请求了，消耗了大量的内存和cpu资源。

顺着这个思路展开排查，查看集群pod规模和events事件，以及api-server依赖的etcd等组件信息

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。