Google 的 EmbeddingGemma 2 是一个嵌入模型。我们将其转换为语音转文本模型：在一台基础的 MacBook Air 上， 一小时音频在约 13 秒内完成，完全在设备上实现。免费下载 Mac (免费) v1.6 · macOS 14+ · Apple Silicon 型号首次启动时下载 (715 MB) 嵌入模型能否转录语音？EmbeddingGemma 2 是一个多模态嵌入模型：文本、图像、音频和视频共享一个空间。大声说出一个单词，它的音频会靠近书面的单词。所以我们尝试直接从那个空间中读取单词。工作原理 EmbeddingGemma 2 的音频编码器保持原样。一个小型阅读器将每个短音频片段移动到模型的文本空间。最接近的约 229,000 个英语单词中，胜出的片段形成了转录。一个小的额外模型添加标点和大写字母。只有阅读器经过训练：在开放许可的英语语音上训练了不到两小时的 8×H100。基础模型从未针对语音转文本进行训练。速度多快？模型在 Mac 上运行的速度 Embedding Gemma 转录神经引擎基础 M3 MacBook Air，8 GB 288× 1 小时在 12.6 秒内 IBM Granite Speech 5.0 TurboCTC GPU(MLX) 基础 M3 MacBook Air，8 GB ~150× 1 小时在 25.7 秒内 NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) 神经引擎 M4 Pro 156× NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) 神经引擎 M5 Pro 335× Phonon-2，一个 Parakeet v3 微调 (FluidAudio) 神经引擎 M5 Pro 480× × 实时：每秒处理的音频秒数。第 1-2 行：我们在相同基础 M3 MacBook Air 上的测试。第 3-5 行：FluidAudio 在更大更新的 Mac 和不同音频上的发布基准。一个粗略指南，而不是逐项排名。它的表现 如何 现在的单词错误率约为 5%，领先的语音模型则为 2-3%。我们相信一个训练更好的阅读器可以缩小这个差距；这是下一个迭代。使用方法 将音频文件插入，或按住右 Option 键，进行语音输入并释放到任何应用中。它在 Mac 的神经引擎上运行；你的音频永远不会离开机器。