人工智能的隐性存储费用:推理留下了什么
问大多数高管想象人工智能的成本,他们很可能会想到GPU——成排的加速器,具有千兆瓦的功率,以及硅的等待名单。但这个画面遗漏了一些东西:数据存储成本。模型响应后数据会发生什么?从数十亿的每日提示、图像和视频中生成的大量后端数据需要被存储。但数据存储是更难以规划的基础设施成本之一,而在初始AI基础设施规划中往往被忽视。随着推理规模的扩大,数据足迹也随之增长。传统上,人工智能基础设施的讨论集中于训练模型这一计算密集型过程。训练是有限的:一轮开始,消耗计算资源,然后结束。但推理是持续进行的,每当模型回答提示时都会运行。在基础设施规划中,这个差异很重要:训练运行是一个可以预算并退役的项目。推理不会退役;每个推理请求都会留下东西。例如,AI生成的视频。在这个工作负载中,后端开支可能会很显著。根据内部测量,Western Digital发现一个8秒的剪辑(返回给用户的是一个3.97MB的720p文件)在后端留下超过500MB的相关数据,包括日志、缓存上下文、即时渲染、备份和安全记录。这是用户看到的输出文件大小的130倍。将这个规模扩展到生成更长、更高分辨率视频的企业,后端足迹增长到每个剪辑数百GB。而且这一后端足迹正在快速增长。麦肯锡预测到2030年,AI推理需求将以35%的复合年增长率增长,而训练为22%,到本十年末将占据数据中心总需求的40%以上。一份最近由Western Digital赞助的IDC全球白皮书调查了763名IT和商业决策者,发现近95%的受访者报告说由于生成性AI,在过去12个月中数据量有所增加,约61%的人报告增长25%或更多。 “你可以认为拥有更多存储是保持GPU忙碌的优化,”一位被引用的超大规模云服务提供商的高级产品经理表示。“最大的挑战是确保GPU不会闲置,等待数据的到来——几个小时的GPU闲置时间会迅速变得非常昂贵。”换算成美元:如果你的存储支出每年增长25%,而计算预算则以更可预测的周期性方式增长,那么存储最终会超出预算中最受关注的项目。 将存储与AI数据生命周期匹配 计算需求随训练周期、产品发布和硬件更新而波动。但当计算需求放缓时,保留的数据量并不会随之下降。模型日志、合成输出、推理结果等不断积累,组织也越来越长时间地保留这些数据。这改变了保留数据的作用。曾经很少出现并进入档案的信息,现在可能成为未来AI工作负载的输入。随着越来越多的数据被保留、检索和再利用,存储不仅要支持不断增长的容量,还要支持越来越动态的访问。这份WD-IDC调查发现,96%的受访者预期需要更快的归档检索以支持推理或检索增强生成(RAG)。AI工作负载需要性能和容量,随着数据生命周期的不同阶段,各种不同的技术满足不同的需求。对于必须保留和再次访问的庞大数据量,HDD提供了一个具有成本效益、高容量的基础,具备每TB显著的成本优势 这对AI预算意味着什么 对于CFO或CIO来说,这意味着“AI基础设施支出”的范围可能过于狭窄,更多关注计算。如果数据加载时模型闲置,成本与GPU闲置的模型差不多。但存储瓶颈在问题出现之前很难被发现,通常在运营成本和检索延迟中暴露出来,而不是与加速器相邻的资本支出项目。考虑一个为其目录生成AI产品视频的零售商,或一个通过RAG管道处理索赔文件以加快承保的保险公司。在这两种情况下,计算成本都是已知的、已预算的数量:一个生成或查询的费率,可以被财务预测。存储成本则有所不同:每生成一个视频和处理一个索赔,存储成本都会增加,因为在任务完成后,后端数据不会消失。一个将AI预算为“计算加一个存储的舍入误差”的团队可能会发现,在12到18个月内,这个舍入误差已成为计划总成本的一个重要部分——恰好在领导层决定是否扩展的时候。 建设可经济扩展的容量 应对这一挑战的起点是架构。存储战略通常是为昂贵的热层性能而设计的(用于即时和持续访问的数据),而大多数AI数据工作负载可能会涉及不同类型的存储:一方面需要低延迟的存储;另一方面则需要高容量和较低成本的存储。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡