作者：李建华，邢云，吉里莎·德·西尔瓦，瑞安·弗林特，凯·元，肖恩·苏希特 对GPU加速的机器学习推理的日益增长的需求暴露了集中式GPU基础设施的局限性，包括高成本、有限的弹性和在资源受限情况下的长等待时间。与此同时，现代的基于Apple Silicon的macOS设备配备了强大的GPU，但在正常使用期间大部分时间处于闲置状态。本文提出了Minions，一个动态和分布式的虚拟GPU云，聚合了macOS设备上的闲置Apple Silicon GPU，以执行大规模的机器学习推理工作负载。Minions使团队能够利用现有的硬件，而无需额外采购GPU。该系统提供灵活的GPU推理任务执行、容错和高效的资源利用。我们的经验表明，闲置的macOS设备可以在集中式GPU资源受限的环境中转变为一个实用的分布式GPU推理平台。 相关阅读与更新。基于Apple Silicon的Mac在希望使用Mac实验最新模型和技术的AI开发者和研究人员中越来越受欢迎。通过MLX，用户可以有效地探索和运行LLM。它允许研究人员在自己的硬件上实验新的推理或微调技术，或在私密环境中调查AI技术。MLX可以与所有Apple Silicon系统兼容，并且与最新… 加速LLM推理是一个重要的机器学习研究问题，因为自回归令牌生成计算代价高且相对缓慢，提高推理效率可以减少用户的延迟。除了加速Apple Silicon上的推理的持续努力外，我们最近在加速工业中广泛使用的NVIDIA GPU的LLM推理方面也取得了显著进展…