
微软
又到了中午吃饭的时间,和
微软Azure云团队的同事聊起这次滴滴的系统崩溃事件。据说,问题的根源是K
Ubernetes升级引起的。据小道消息透露,他们直接对所有节点进行了原地升级,甚至连控制节点也没有放过。听到这个消息时,我的第一反应就是:这也太冒险了,难怪会出问题。我所在的小组也是深受K
Ubernetes折磨的团队之一,虽然我自己并不负责这部分工作,但组里好几个同事都被K
Ubernetes升级折腾得够呛。以下是一些常见的痛苦点:在我们组,几乎从不进行这种原地升级的操作(除非是对某些完全可控的组件,而K
Ubernetes显然不在这个范围内)。我们的做法通常是先扩容新的节点,再逐步将服务迁移到新节点上,最后下线旧节点,以此完成K
Ubernetes版本的升级。即便如此,由于升级导致的生产环境
事故仍然屡见不鲜。更糟糕的是,即使不进行升级,K
Ubernetes本身也会带来各种问题。它承载着许多内部和外部的服务及代理,一旦在升级过程中某些节点出现问题,运行在这些不健康节点上的API可能会超时,进而引发一系列请求堆积。这种情况很容易导致雪崩效应——所有的API请求同时超时,并疯狂挤压剩余健康的节点资源,最终耗尽这些节点的计算能力,使其也陷入
瘫痪状态。所以,无论如何我都不会轻易尝试对所有节点进行原地升级这样高风险的操作。