用现代工作负载对15款"电子废物" GPU进行基准测试
退役的NVIDIA企业GPU是闲置显存的最后几种来源之一。K80(24GB GDDR5)售60美元,P100-16GB约75美元,V100-16GB售价不足200美元。尽管存在缺陷,了解我们是否能够在现代时代利用这些广泛可用的显卡是很重要的。这个对Tesla GPU进行基准测试的项目已经筹备了将近一年,冬天期间,我能够花费许多千瓦时用GPUs加热我的工作室。 https://esologic.com/wp-content/uploads/2026/07/22-tesla-benchmark-16-9-noaudio.mp4 目录 特斯拉GPU的盒子 不要害怕 GPU基准测试内容 工作原理 被测试硬件(基准测试的Tesla GPU) 结果 GPU代际比较 GPU扩展 GPU混合 CPU比较 主板比较 GPU节点BOM 下一步 特斯拉GPU的盒子 本次基准测试的一个目标是为我的家庭实验室制定一个经济实惠的4U GPU节点的BOM。用正确的散热器(如果您想要散热器的beta版,请加入电子邮件列表!),这些显卡可以比面向消费者的同类产品更密集地安装。一个标准的ATX机箱、机架或其他机架式机箱可以轻松放下三张GPU和一块10GB NIC。与GPU价格类似,X99 Intel E5-* Xeon CPU及其相关硬件的成本现在便宜到不可忽视。40美元可以买到3.50 GHz加速的56线程E5-2690。超大规格的Supermicro X10DRG-Q(带有两个CPU插槽和7个PCIe插槽)当前市场价为200美元。选择GPU机箱的CPU和主板显然是重要的,但我希望有一些硬数据来比较不同的思维流派。 不要害怕 请注意,这里所检查的所有硬件都已经停产。没有一款GPU会在不久的将来获得CUDA兼容性更新或驱动程序。旧设备的功耗效率也将较低,每个token的能耗要高得多。建议今天使用这些卡是不负责任的……这种指责在家庭实验室中是不应该存在的。缺乏软件更新可以通过使用稍老的软件轻松解决。例如,llama.cpp支持许多CUDA架构,如果您愿意从源代码构建它。通过docker,我能够让下面描述的所有软件在2014年发布的Kepler架构上运行!从高可用性用例来看,电力效率的观点是完全有效的。如果您正在构建一个将全天候使用的东西,您很快就会通过支付电费消耗掉您的GPU节省。然而,这也不是家庭实验室中非常相关的用例。您没有使用LLM或进行视频处理吗?那就关掉箱子吧。 GPU基准测试内容 基准测试工具本身已在github上发布,我已经写了一篇关于该套件开发的博客文章。不过,这里还是对结果图中出现的测试进行了简要描述。 基准类别 AI 描述 ResNet50 Train B=64 计算机视觉培训 ✅ 测量在训练卷积神经网络进行图像分类时GPU的性能。 ResNet50 Infer B=1 计算机视觉推理 ✅ 测量对单个图像的低延迟图像分类推理。 ResNet50 Infer B=256 计算机视觉推理 ✅ 测量高吞吐量批量图像分类推理。 Blender GPU 3D 渲染 ❌ 基准测试专业3D渲染工作负载的生产式GPU路径追踪。 Blender CPU CPU 渲染 ❌ 使用相同的Blender场景提供CPU渲染基线。 CAT ViT Scores 视觉变换器 ✅ 测量用于图像分析和评分的视觉变换器推理吞吐量。 CAT ViT Attention 视觉变换器 ✅ 测量视觉变换器注意力图生成,进行计算密集型分析工作负载。 llama.cpp Qwen2.5 1.5B 提示 大型语言模型 ✅ 测量小型语言模型的提示处理(预填)性能。 llama.cpp Qwen2.5 1.5B 生成 大型语言模型 ✅ 测量小型语言模型的自回归文本生成吞吐量。 llama.cpp Llama 3 8B 提示 大型语言模型 ✅ 测量大型语言模型的提示处理性能。 llama.cpp Llama 3 8B 生成 大型语言模型 ✅ 测量大型语言模型的自回归文本生成吞吐量。 llama.cpp Qwen1.5 MoE 提示 大型语言模型 ✅ 测量混合专家语言模型的提示处理性能。 llama.cpp Qwen1.5 MoE 生成 大型语言模型 ✅ 测量混合专家语言模型的文本生成吞吐量。 F@H 单个 科学计算 ❌ 测量使用分子动态模拟的科学计算性能。 F@H 双倍 科学计算 ❌ 测量在更重的分子动力学工作负载下的科学计算性能。 SHA-256 加密 ❌ 测量GPU上的原始加密哈希计算吞吐量。 Whisper Med FP16 语音识别 ✅ 测量语音识别模型的性能。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡