他们可以让Gemini将口述内容转录为文本，或下达与屏幕上打开内容相关的命令。谷歌今天开始，Mac上的Gemini用户只需长按键盘左下角的“fn”按钮即可在电脑上的任何窗口与AI聊天机器人对话。他们可以使用该功能在光标处转录口述内容，以便聊天机器人可以在他们阅读资料或大声思考时做笔记。谷歌表示，Gemini会通过自动去除“嗯”和“啊”来返回一份精炼的转录文本。如果用户选择使用聊天机器人的屏幕感知推理功能，Gemini将能够查看和理解屏幕上的内容，并识别打开的应用程序以执行复杂任务。例如，用户可以在打开的PDF文档中突出显示文本，然后按“fn”键告诉Gemini为其创建摘要。或者，他们可以从笔记中突出显示文本，然后如果能够访问Gemini的Spark智能AI，告诉Gemini根据这些信息撰写电子邮件。用户还可以通过口头描述他们想要看到的内容，或让聊天机器人查看屏幕上打开的想法，来让Gemini为他们生成图像。谷歌在四月推出了其macOS的原生Gemini应用程序，发布的前一天推出了原生Windows应用程序。在六月，谷歌将其Spark智能AI助手添加到该应用程序中，使其能够执行复杂任务，例如要求它创建新的电子表格或文档。现在，它正在向全球所有macOS上的Gemini用户推出此功能。虽然暂时只支持英语，但该公司表示，更多语言的支持将于今年晚些时候推出。