思维机器公司通过其第一个开放模型Inkling加大了对非一刀切AI的投资
思维机器实验室,这家由前OpenAI首席技术官米拉·穆拉特创办的人工智能初创公司,周三上午发布了其首个专有AI模型Inkling——与OpenAI、Anthropic或谷歌的旗舰模型不同,它是开放权重的,意味着外部开发者和公司可以直接下载并修改它。Inkling是一个专家混合系统,包含9750亿个参数,虽然在任何给定任务中它只使用其中一部分——大约410亿,这种常见的设计使得非常大的模型运行更快且成本更低。根据公司自己的发布资料,它在450万亿个文本、图像、音频和视频的标记上进行了训练,并且能够对这三者进行原生推理。这是该公司在公众视野之外花费一年半时间建设AI基础设施后的首个公开证明。其中的一些工作早已浮出水面,在5月份的“交互模型”研究预览中——这些AI旨在倾听和说话(甚至打断),而不是像典型的聊天机器人那样停下来等待。这也是对思维机器公司中心赌注的检验,其认为,组织能够适应自身需求的AI,将优于当前最大实验室销售的一刀切模型。这是一个有趣的模型,旨在提供经过校准的答案,包括标记不确定性而不是简单猜测,并让用户在希望以速度交换“思考努力”时,可以调高或降低。公司表示,在一个基准测试中,Inkling使用的标记数量是Nvidia公司的Nemotron 3 Ultra的三分之一,以达到相同的编码性能。值得注意的是,思维机器并不声称Inkling是最佳的模型。其简报材料明确指出,Inkling“不是今天可用的最强模型,无论是封闭的还是开放的。”显然它追求的是全面的性能。当然,这引出了一个大问题,即这个产品的目标受众是谁,除了显而易见的——这绝对是一个企业产品。现在,思维机器将其市场营销的重点更多地放在一个起点上,而不是作为成品,这是一个供组织通过公司模型定制平台Tinker进行自我微调的东西。(OpenAI、Anthropic和谷歌分别采用了非常不同的方式,推出了ChatGPT、Claude和Gemini,这三者都首先是为一般用途聊天机器人而构建的,并在其上层叠加了自主、代理的功能。)思维机器上周发布的一篇帖子显然是这次发布的背景。公司在那篇帖子中争辩说,中央培训的AI在一个公司手中被固定后,其表现不如组织自行调整的AI,因为很多专业知识是特定于持有这些知识的人。更广泛的想法是,集中实验室向每个人销售相同的产品,而这些产品是由构建它的实验室反复优化的,而愿意拥有并定制自己模型的企业却可以从中获得更大的价值。这一论点正在获得支持。在周日发表的一篇博客文章中,微软首席执行官萨蒂亚·纳德拉——他的公司已经向OpenAI和Anthropic投资了数十亿美元——警告说,使用专有AI模型的企业事实上支付了两次:一次是订阅费用,另一次是通过交出嵌入其数千个提示和修改中的商业知识,而这些知识可以被未来的模型版本吸收。Hugging Face首席执行官克莱姆·德朗基在上周与TechCrunch的对话中做出了类似的预测。他表示,前沿模型将越来越多地保留用于实验和高价值任务,而大多数生产AI工作则转向私有或开源替代方案——这正是思维机器正在围绕其构建的确切划分。对此论点的最明确证据最近来自于世界上最大的对冲基金——桥水公司(值得一提的是,桥水不是思维机器的投资者)的一个项目。两家公司研究人员对一个现有的开源模型进行了再训练,进一步增强了桥水自己的金融专业知识。结果在金融推理测试中得分84.7%,超越了顶尖的专有AI模型,同时运行成本约为其十四分之一,尽管这些结果是在六月底由两家公司共同发布的,且不是独立评估。思维机器还强调了它们的快速进展:OpenAI花了大约五年,Anthropic花了大约三年将技术推向市场并显示收入;思维机器则声称他们在大约九个月内完成了同样的工作。有人会想知道,Inkling是否使用了竞争对手模型的输出进行训练,这一做法被称为蒸馏,已经在业内受到审查。根据公司的材料,简短的回答是部分使用。思维机器从零开始对Inkling进行了预训练,但它表示,它使用了其他开放权重模型——包括Moonshot AI的Kimi K2.5——帮助生成了一些早期的后训练数据,之后进行了大规模的强化学习。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡