英特尔 D270 GPU AI 加速器 – 高达 480 GB LPDDR5X
我的工具 最近的代理AI正在改变数据中心的工作负载 代理读取远多于写入:长上下文、多步骤工作流、计算以预填充为主。随着需求的增长,挑战不仅限于带宽。英特尔 D 系列 GPU 为这个新的代理AI时代而生,有效处理更大的上下文、更多并发会话,以及在实用的功率和成本限制内处理更多令牌。 每卡内存高达 480 GB LPDDR5X 功率350W 空冷计算 32 Xᵉ Xᵉ3P 核心 计算 256 XMX Xᵉ3P 矩阵引擎 扩展代理AI 代理舰队 在数千步、10万令牌上下文和数十个并发会话中,保持代理驻留,以帮助维持代理循环的吞吐量。 更大上下文的推理 完整上下文推理 保持更多的模型和长上下文驻留,以便用更少的 GPU 和无高带宽内存 (HBM) 进行更丰富的推理。 推理经济学 高效的令牌服务 浓密的空冷标准 PCIe 基础设施有助于最大化每个机架和每瓦的令牌,扩展供给能力并控制成本。 在您现有的功率和机架内进行更多推理 随着代理AI推动更长的提示和更多的并发会话,客户需要可扩展的基础设施,而不需要在功率、成本或部署复杂性上做出权衡。 英特尔 GPU D270 为数据中心环境下的功率有效且内存受限的推理提供高达 480 GB LPDDR5X 内存。 为 AI 而生 为代理工作负载而生 从图形和光线追踪管线中重新分配的 Die 面积转移到 Xᵉ3P 核心和矩阵计算,提高了推理效率。 为计算而生 在重要的地方计算 每瓦更多的提示处理:32个 Xᵉ3P 核心和256个 XMX 引擎加速预填充,减少长上下文和代理成本。 为工作负载而生 每个工作负载的精度 从本地低精度推理到 FP64 科学计算,工作负载决定了精度——而不是硬件。 为效率而生 标准 PCIe 5.0 标准形式因素、标准互联,使用现有服务器。 不需要专有网络或定制系统。 为可靠的电源而生 350W 空冷 在您现有的机架中进行被动冷却,无需在评估和部署之间进行液冷改造。 为您的数据中心而生 设计开放 对于领先开放模型的零日支持,在您已经运行的框架上提供:vLLM 和开放的 PyTorch 生态系统。 随时了解英特尔 GPU D 系列的新闻和最新的企业 AI 资源。 感谢您注册!您很快会开始接收更新。 英特尔 GPU D270 是一款优化推理的数据中心 GPU,旨在满足代理 AI 时代的需求。 它旨在支持企业 AI、SaaS、GPUaaS,以及需要内存丰富、功率有效 AI 加速的政府或主权云部署。 英特尔 GPU D270 是为生产 AI 推理工作负载而设计的,例如代理 AI、长上下文检索增强生成 (RAG)、企业 AI 助手、编码助手、文档理解、多模态 AI、扩散模型和高并发服务。 代理 AI 通常将一个任务转化为多个模型调用、工具使用、检索、推理和响应生成的轮次。 英特尔 GPU D270 旨在满足这些环境中变得重要的推理要求,包括预填充处理、更大的上下文、内存容量、并发和功率效率。 优化推理意味着 GPU 是为在生产中运行 AI 模型而设计的,而不是在大规模中训练它们。 英特尔 GPU D270 专注于已部署的 AI 应用程序的需求,包括提示处理、高并发服务、内存容量、高效功率使用以及系统级性能。 长上下文 AI 工作负载可能需要更多内存,以支持更大的提示、以检索为重点的工作流程和推理期间的 KV 缓存增长。 英特尔 GPU D270 设计具有高可用内存容量,帮助支持更大的模型、更长的上下文以及更多的并发会话。 英特尔 GPU D270 的消息应提及熟悉的 AI 软件和服务框架,例如 PyTorch、vLLM、SGLang 和 OpenAI Triton,在获得批准的情况下。这有助于开发人员和平台团队理解该产品如何融入现有的 AI 工作流程。 英特尔 GPU D270 设计围绕标准 PCIe 5.0 形式因素和空冷部署配置,帮助企业在现有数据中心环境中评估 AI 推理加速,而无需专业的液冷改造。 主要受众包括 AI 系统架构师、AI 平台架构师、基础设施和云工程领导、企业 AI 决策者、SaaS 提供商、GPUaaS 提供商、政府或主权云团队以及部署生产推理工作负载的开发人员。 客户应该与英特尔联系,以了解更多关于英特尔 GPU D270 的信息,评估它如何适应他们的 AI 推理路线图,并在提供额外产品信息时收到更新。 免责声明
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡