返回

文章详情

Kimi K3,以及我们还能从鹈鹕基准中学到什么

Hacker News2026年7月17日 14:21

2026年7月16日,中国人工智能实验室Moonshot AI今晨宣布了Kimi K3,称其为“迄今为止功能最强大的模型,拥有2.8万亿个参数”。目前可以通过他们的网站和API获得,但开源权重将于“2026年7月27日”发布。Moonshot称这是第一个“开放的3T级模型”(我猜他们把2.8万亿四舍五入到3万亿),这个头衔现在由它接过,之前由DeepSeek的1.6T v4 Pro保持。他们自报告的基准显示,K3在大部分情况下超过了Claude Opus 4.8 max和GPT-5.5 high,而在Claude Fable 5和GPT-5.6 Sol面前则稍显逊色。以下是关于该模型的人工分析报告的一些亮点:“在我们的私有长时间跨度知识工作评估中,Kimi K3的整体Elo达到了1547,比Kimi K2.6提高了732分,仅次于Claude Fable 5。” “每个任务的成本($0.94)与GPT-5.6 Sol($1.04)相似,约为Opus 4.8($1.80)的1/2,但高于开放权重的同行。” “Kimi K3在人工分析智能指数上的令牌使用量显著下降,使用的输出令牌比K2.6少21%。”该模型现在也是Arena.ai的前端代码领域的领先模型,甚至超过了Claude Fable 5。该新模型在定价方面也颇具特色:输入令牌为每百万$3,输出令牌为每百万$15,使其与Anthropic的Claude Sonnet系列处于同一水平,成为迄今为止中国AI实验室发布的最昂贵模型。这比他们早期的模型如Kimi K2.6($0.95/$4)有了显著提升。2.8万亿参数也是该1T模型的两倍多。那么它在鹈鹕基准上的表现如何呢?我使用OpenRouter(以避免注册Moonshot API密钥)与llm-openrouter插件生成了一幅鹈鹕骑自行车的SVG:llm -m openrouter/moonshotai/kimi-k3 '生成一幅鹈鹕骑自行车的SVG' 这是转录内容。看起来是这样的:该鹈鹕用了95个输入令牌和16658个输出令牌(13241个是推理令牌),总费用为25美分!由于K3可以接受图像输入,因此我用上述生成的SVG(和我的替代文本提示)进行了测试,得到了返回(费用为0.6美分):卡通插图展示了一只白色鹈鹕,穿着红色围巾,骑着一辆红色自行车,沿着有白色虚线的灰色道路行驶;这只鹈鹕有一个巨大橙色的喙,脚上是橙色的脚蹼,正用力踩踏自行车,身后有白色运动线;背景展示了一片浅蓝色的天空,白色的云朵,黄色的太阳,两只小黑鸟在飞翔,前景中是绿色草地和微小的白色花朵。我们可以从鹈鹕中学到什么?我“生成一幅鹈鹕骑自行车的SVG”测试现在已经21个月了。它从来不是一个特别好的基准。最初是个笑话,讽刺比较这些模型是多么荒谬困难,但在第一年中,它却与模型的实际表现有惊人的相关性。现在这种联系已经基本断裂。GPT-5.6和Claude Fable 5的鹈鹕被GLM-5.2超越,尽管我非常喜欢GLM,我并不认为那是一个Fable级的模型。(我仍然不相信实验室在为基准进行训练——如果他们真的如此,我会期待更好的结果。不过Gemini有可能针对任意动物与交通工具的组合进行了优化!)鹈鹕的最大局限性在于它根本没有涉及当今模型最重要的事情:代理工具调用和随着对话长度增加可靠操作工具的能力。因此,不要用鹈鹕来比较模型!尽管如此,我仍然能从自己运行基准中获得相当不错的价值。首先,这确实是实测该模型的强迫因素。如果我给你展示一只鹈鹕,这意味着我已经成功地通过了它的提示。如果模型有官方API,我会使用,如果是开放权重(且足够小,可以在128GB M5 MacBook Pro上运行),我会尝试在自己的机器上运行,通常通过llama.cpp或LM Studio或Ollama。我经常使用OpenRouter,因为那通常提供代理到官方API的方式,而我无需新的API密钥。我的大多数鹈鹕都是通过我的LLM CLI工具生成的,这有助于确保最新模型得到支持(通过其插件之一)。更重要的是,即使仅仅是“生成一幅鹈鹕骑自行车的SVG”的单一提示也能揭示出有趣的模型特性。考虑一下今天Kimi K3的结果。运行这些简单的提示有助于强调关于模型的几个要点。现在它只有一项推理努力,“max”—这很明显。该模型消耗了13241个推理令牌,输出了3417个响应令牌。这个成本很高——鹈鹕花费了25美分!提示“生成一幅鹈鹕骑自行车的SVG”是如何算得95个输入令牌的?OpenAI的分词器算了10个,Anthropic的算了10个(Opus 4.6),30个(Opus 4.7)和25个(Sonnet 5/Fable 5)。对Kimi K3发出“hi”的提示算了86个令牌,这意味着可能有一个隐含的85个令牌的系统提示。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡