大型语言模型能否对计算机架构论文进行深入技术理解
查看 PDF HTML(实验性)摘要:大型语言模型能否对计算机架构论文进行深入技术理解——不仅仅是总结,而是结构化批评,明确核心机制,揭示被隐藏的假设,并将贡献与其自身范围之外的内容联系起来?我们研究了 Gauntlet,这是一种通过五个独立专家角色审稿人和一个对抗性综合阶段分析论文的开源管道。在 20 篇 ISCA 2025 和 HPCA 2026 的论文中,十位研究人员各自撰写了自己的分析,然后评判其他论文的人工分析与 Gauntlet 的比较。在 20 次比较中,评估者在 15 次中更倾向于 Gauntlet(人工在 4 次,1 次平局);它在每位分析师的总分上具有显著优势(配对威尔科克森,p < 0.01),而在批判的严谨性上优势最大,仅在校准上消失。人类胜出之处在于信任和实用性,而不是深度:一个自信的错误主张,一个描述但未教授的机制,或未优先考虑的广度。一项对 98 篇论文的自动消融研究表明,收益来自多智能体结构——该管道在 96% 的论文中超过了作为单一丰富角色代理运行的同一模型——并且具体来自其综合过程。我们将所有分析、分数和评分标准作为社区资源发布。评论:4 页,1 幅图。主题:计算机与社会 (cs.CY);硬件架构 (cs.AR);多智能体系统 (cs.MA)。引用为:arXiv:2607.11859 [cs.CY](或者 arXiv:2607.11859v1 [cs.CY] 为此版本)https://doi.org/10.48550/arXiv.2607.11859 arXiv 发布的 DOI 通过 DataCite(待注册)提交历史:来自 Ranganath Selagamsetty [查看电子邮件] [v1] 2026年7月13日 星期一 17:45:58 UTC(1,070 KB)
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡