meltdown的解剖:走进Telstra的地狱一周
Vicki Brady的首个麻烦信号是来自她运营总监的Teams消息和语音邮件。他通过Teams联系,因为他自己的手机(在他管理的网络上)停止工作。当Telstra首席执行官在国外度假时(那时仍是星期二晚上),她看到这些信息时意识到网络正在崩溃。她在几分钟内给他回电,开始了漫长的回家之旅。后来披露,她自己的高层员工也因手机无法使用而求助于Teams。距万里之外,根本原因就在一个数据中心:一个定时节点,这个不起眼的设备负责告诉移动网络当前的时间,在例行维护中重启了。当它重新启动时,它却回到了“过去的时间”。 Telstra的地狱一周插图来自Marija Ercegovac 一个软件故障,在重启后触发,将时钟拨回了整整1024周。就澳大利亚最大的移动网络的这一部分而言,突然间是2006年11月。约翰·霍华德是总理。iPhone还不存在。一个依赖精确、同步时间来验证连接手机的网络开始慢慢然后迅速地拒绝它们。 “软件中有个故障,重置了GPS定时器,”首席财务官迈克尔·阿克兰(Michael Ackland)后来承认,他被委派在Brady出国期间代行其职务,证实了本报早前的报道。“这是一个软件故障,导致时间被回拨。”到悉尼时间早上4:20,该故障通过数千台服务器向外传播,随着更多澳大利亚人醒来并拨打他们的手机而蔓延。到了早餐时间,维多利亚州整个区域列车网络停运。咖啡馆的支付终端失灵了。电动汽车充电器失去了电源。使用Telstra网络的Boost、Belong和Aldi Mobile的客户也掉线了。而最严重的是,数百个拨打Triple Zero的电话无法接通。接下来发生的是Telstra在十年中经历的最糟糕的一周:变化不定的数字;在公司宣告胜利几小时后浮现出的第二个故障;一个被认为与Telstra Triple Zero呼叫失败有关的死亡,警方在周五排除了这一可能性;以及监管机构现在在悬而未决的表面上施加高达3000万美元的罚款。 "是恐慌吗?不是恐慌" 在公司内部,高管们坚持认为危机机制发挥了作用。“我们有非常快速的决策流程,”一位Telstra高管告诉本报,描述了全天候进行的事件会议的滚动节奏。“我可以安全地说这不是恐慌。你为最坏的情况进行培训。” Telstra首席执行官Vicki Brady在悉尼的媒体更新会上。Louise Kennerley 问题在于数字不断变化。周三早上,阿克兰告诉记者,Triple Zero呼叫使用不同的网络设置,并“未受到同样的影响”,尽管公司正在调查少量的报告。在当天下午的第二次新闻发布会上,他对未能“在客户最需要的时候”及时提供服务表示道歉,约有300个福利检查正在进行中。下午5:15,公司宣布网络恢复正常。几个小时后,第二个故障再次浮现,源于同一软件缺陷,但需要不同的修复。到周四,失败的Triple Zero呼叫数量大致翻了一番,超过600个。阿克兰表示,到那天下午,Telstra进行了639次福利检查,其中170个案例已经转交给警方,还有7人向公司表示需要帮助。在一个成为国家头条的案例中,NSW Hunter地区的一名95岁老妇人倒下了,无法通过她的个人警报寻求帮助,而该警报运行在Telstra的网络上。Telstra首席财务官迈克尔·阿克兰在星期五。Louise Kennerley “情况确实逐渐变糟,”阿克兰在星期五承认,“因为时间同步在网络中传播。” Telstra面临的一个尴尬问题是,为什么没有人能阻止它,因为这个故障完全是可预见的。19.6年的GPS“周数回转”是一个记录良好的怪癖:卫星系统的内部周计数器在1023达到最大,然后重置为零,未更新固件的接收器可能会向后跳回20年。这是Y2K的另一个不太著名的表亲。一名Telstra员工向本报指示了公司数据中心中已经在2016年达到服务终止寿命的老化定时硬件,当时更换成本估计为每台服务器约15000美元(21600澳元)。"当Telstra裁员太多并将关键角色外包时,这就是发生的情况,”该员工说。该员工还表示,原定于下周宣布的重组和裁员计划已经安静推迟。Telstra已收到详细问题以供进一步评论,但在截止时间之前未作回复。Telstra首席执行官Vic
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡