这些大型语言模型在抵御俄罗斯宣传方面表现最佳
包括Nvidia的Nemotron和阿里巴巴的Qwen在内的开放权重模型表现出强劲的结果, comparable to Anthropic的最佳模型。OpenAI的最佳表现模型GPT-5.4在基准测试中也表现相对良好,54%的问题提供了“模范”回答,并且取得了88.9的平均分数。不出所料,最近的前沿模型在抵御俄罗斯宣传方面表现出比几年前的模型更强的倾向。Claude 3.5 Haiku——2024年发布的最高评分模型——在基准测试中仅获得73.1的平均评分。这个分数将其置于2026年发布的模型中,属于底部三分之一。谷歌的Gemini 2.5 Pro模型的详细基准测试显示,特别对恶意提示和俄语提示表现出高度敏感性。但所有大型语言模型制造商间的改进并不均匀。谷歌最能抵御宣传的LLM,Gemini 2.5 Pro,现已接近一年,基准得分仅达82,主要由于对恶意措辞提示的特别敏感。最近测试的谷歌模型Gemini 3.5 Flash在基准测试中仅得73,与将近两年前发布的Anthropic模型相当。在Propastop博客的一篇支持文章中,该组织强调,许多模型在用俄语提问时对俄罗斯宣传的抵抗力显著下降。谷歌的Gemini 3.5 Flash在俄语中的基准得分明显低于英语,开放权重模型,如Moonshot的Kimi K2和StepFun的Step 3.5 Flash也是如此。当然,一个国家所视为宣传的东西,另一个国家可能会视为大型语言模型应支持和反映的一组重要文化真相。来自国王学院教授Gregory Asmolov的最新研究分析了俄罗斯政府如何通过与其他金砖国家的技术联盟,试图通过投射对俄罗斯观点“文化敏感”的特定社会政治立场来影响AI模型。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡