AT&T对AT&T来说，确保其1.45亿无线用户和1600万宽带用户在线是首要任务。对这家电信巨头而言，20分钟的停机可能会非常昂贵，因为他们会在客户暂时失去服务时对账单进行补偿。通常，停机问题是高度局部化的，不会引起如此大的全国关注，但在少数情况下，它们可能影响数百万人。根据美国联邦通信委员会发布的一份报告，2024年2月，AT&T发生的一次重大无线停机事件阻断了超过9200万次语音通话和25000次911求救电话。其他主要电信供应商，包括Verizon和T-Mobile，近年来也经历了广泛的服务中断。为了更有效地应对停机并改善与客户的沟通，AT&T着手集中其识别网络中断的系统。AT&T首席数据和人工智能官Andy Markus对《商业内幕》表示：“我们必须立即知道任何网络中断并解决它们，理想情况下是在任何客户感受到之前。”2017年，该公司开始创建其端到端事件管理系统（EEIM），基于包括MongoDB和Snowflake在内的公司的技术。最初以传统机器学习为基础，AT&T在后续几年中加入了生成性和代理型人工智能功能，扩展了工具的功能，Markus表示。该工具已经部署用于处理单个客户和小企业的服务中断。如今，EEIM利用AI和机器学习功能的组合，可以识别中断的根本原因，通过建议可以远程处理的修复措施或派遣人类技术人员进入现场来对问题进行分类，并在发生故障时主动提醒客户，Markus说。科技电信停机可能源于各种事件，包括恶劣天气、系统故障、技术故障、网络攻击和基础设施损坏。当客户意识到智能手机、座机或互联网连接存在问题时，他们可能会向AT&T的客服中心大量请求恢复服务。Markus表示，在2017年第一季度，AT&T寻求开发一个能更快速响应停机的系统。该倡议启动时，AT&T召集了一个跨职能团队，以鼓励来自IT、数据和人工智能方面的广泛员工意见。目标是围绕AT&T现有的网络技术开发EEIM，同时开发新的人工智能工具以集成入工作流程。Markus表示，还向负责维护和修复公司网络的前线现场技术人员和负责监控流量和快速恢复服务的网络团队征求了反馈。Markus表示，AT&T还使用其EEIM重组了10PB的数据——相当于5000亿页印刷文本。这包括汇集网络日志、网络警报、用于跟踪网络中断的事件调度票据和故障详情。他补充说，数据需要被整合和重组，以便AT&T能够识别问题并预测它们可能发生的时间，指导团队成员采取行动，并支持新的功能和特性。MongoDB，一家文档数据库供应商，在这一阶段发挥了重要作用。MongoDB成立于2007年，其平台设计为弹性的，意味着随着数据和流量需求的增长，AT&T只需增加更多的容量，而不需要重新设计整个平台以纳入新的数据源，MongoDB首席产品官Ben Cefalo表示。Cefalo称这种方法为“分片”，并表示这使得数据能够分布在多台机器上，并处理大型数据集。AT&T的EEIM还依赖于微软Azure云计算平台，通过Databricks进行数据分析，以及通过Snowflake进行事件报告，Markus表示。AT&T发言人表示，EEIM于2018年第一季度针对宽带光纤推出。次年第一季度，扩展至涵盖数字用户线路（DSL）。在2018年6月，AT&T推出了一款名为Atlas的独立应用程序，由现场技术人员使用，并依靠机器学习和人工智能模型的结合来理解停机的根本原因并推荐修复计划。在Markus于2020年7月加入公司之前，AT&T已接受这些传统形式的人工智能，但他的到来促使了更广泛的公司人工智能采用。Markus表示，10万名员工可以访问AT&T的生成性人工智能工具，公司每天处理超过270亿个令牌，同时还微调小型语言模型以帮助控制成本。到2021年第一季度，公司还推出了其主动客户通知系统，Markus表示，该系统通过其EEIM启用。“这解决了许多客户的紧张和沮丧。”他说。结果生成性人工智能功能在EEIM中被添加。