天才 4
2026年10月27日 模型 Raia Hadsell, Diego Rivas 和 Hang Qi 今天,我们宣布天才4,我们的新世界模型,它解锁了前所未有的逼真体验并改善实时互动模拟。天才4原生支持多模态,使得音频般的音乐、环境噪音和互动对话能够与世界同时生成。天才4模型整合并扩展了Gemini系列的能力:Gemini Omni将模拟锚定于现实世界的外观和行为,而其他Gemini模型提供了维持模拟连贯性和连续性所需的复杂推理。有了这个基础,您可以开启一个事件,天才4会模拟接下来发生的事情:世界如何反应,声音如何,里面的人如何移动、反应和说话。理解和模拟世界是构建AGI的一个关键方面。天才4提升了我们创造安全、变化无穷的模拟体验的能力,这可以帮助从开发机器人和代理的训练环境到解锁创建新的互动体验。我们已经开始将天才4作为研究预览版推出给受信任的测试者——收集反馈,然后再向消费者和开发者发布,首批将面向Google AI Ultra用户在项目天才中以及Gemini API和Google AI Studio的早期访问合作伙伴。请在这里加入天才4的候补名单。天才4提供了增强的照片真实感、流畅的运动和原生音频。上述所有伴随的声音都是直接由天才4生成的。天才4提高了四项关键能力 以下是天才4实时互动的录音,用户使用标准键盘控制进行导航和相机控制,并使用文本提示来引导场景的演变。实时塑造世界模拟 使用天才4,您可以使用自然语言实时修改模拟——比如改变天气、移动相机或引入新的人或物体——而Gemini会上下文适应您的提示,以匹配周围场景。在您的输入之间,Gemini还监控和引导场景,以保持世界连贯地推进。打开音频以聆听天才4的世界。推动物理和人类行动的逼真前沿 天才4为实时互动模拟引入了新的逼真标准。基于对世界的先进物理理解,天才4模拟现实世界的物理场景,如气动学、碰撞等。最戏剧性的飞跃是天才4模拟人物,创建自然移动、对环境有机反应的角色,并能够实时进行互动引导。建模世界的声音 天才4是我们的第一个实时世界模型,原生生成音频。每个世界都带有其自身环境的环境声音,从树木中的风声到海滩上波浪的声响。然而,真正的前沿是人类的语言。天才4引入了实时适应的互动对话。角色与您的输入或世界中的事件进行对话和反应,全部在实时中。使用Gemini模型模拟复杂事件 将Gemini和天才4结合在一起,为世界模拟添加了新的推理层,使我们能够模拟复杂的多步骤事件并测试AI系统如何在不同环境中导航,然后再将它们引入现实世界。为了在实时中实现这一点,Gemini 3.8 Flash作为循环中的指导代理:随着天才4实时生成一个世界,Gemini持续观察场景,将目标分解为一系列步骤,并审查传入的帧以跟踪进展并验证每个步骤的成功。当世界发生变化或用户干预时,Gemini会实时调整其计划,从而解锁具有可靠因果关系、程序性行为和多步骤推理的世界。作为探索这一能力的一部分,我们还在与Gemini Robotics的天才4 Argon和天才4合作,将我们的前沿研究结合在一起。在下面的示例中,Argon将用户指令的任务分解为供天才渲染的步骤。这些步骤在模拟渲染时以文本说明的形式交错呈现。因为天才4能够通过Gemini实时使用文本说明进行引导,这为根据任务完成进度调整模拟开启了新的路径。这种能力成为在想象世界中模拟广泛场景的途径,利用Gemini 4 Argon和天才4。Gemini 4 Argon和天才4协作模拟Apptronik的阿波罗人形机器人玩跳棋,将任务分解为实时步骤。受信任测试者的学习 尽管天才4是一个重要的研究里程碑,但它仍然是一个早期实验模型。
阅读全文 →本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡