苹果的新SpeechAnalyzer API,与Whisper及其前身进行基准测试
结果显示,苹果的新SpeechAnalyzer是我们测试过的最准确的设备端语音引擎。它在LibriSpeech的干净和嘈杂部分上超过了我们发布的每个Whisper模型,包括Whisper Small,同时运行速度大约是Small的三倍。它替代的API,SFSpeechRecognizer,在清晰语音上的表现是最差的,甚至还不如Whisper Tiny,一个40MB的模型。引擎测试清晰WER 测试其他WER 模型大小 苹果SpeechAnalyzer (iOS/macOS 26) 2.12% 4.56% 系统 Whisper Small (WhisperKit CoreML) 3.74% 7.95% ~460MB Whisper Base 5.42% 12.51% ~140MB Whisper Tiny 7.88% 17.04% ~40MB 苹果SFSpeechRecognizer (遗留) 9.02% 16.25% 系统 数字越低越好:WER是词错误率,表示引擎替代、丢弃或发明的单词百分比。LibriSpeech测试清晰部分包含2,620个清晰的阅读语音;测试其他部分包含2,939个更难、更嘈杂的发言。每个引擎完全在Apple M2 Pro(32GB,macOS 26.5.1)上运行。 为什么我们进行此测试 随着iOS 26和macOS 26,苹果用新的API SpeechAnalyzer和SpeechTranscriber替换了SFSpeechRecognizer。它并未发布任何准确性数据。因此,每个决定是否迁移的开发者,以及所有将苹果的内置识别与Whisper进行比较的人,都一直在猜测。我们在Inscribe中并行提供了苹果引擎和三个Whisper模型,这是一个私有的设备端AI工作区,这使我们处于一个不寻常的位置:我们可以在同一台机器和相同的音频上通过相同的生产代码路径运行所有五个引擎。因此,我们进行了测试。是否应该从SFSpeechRecognizer迁移?是的。这是数据中最明确的结果。新的API在相同音频上的词错误率降低了3.5至4倍:在清晰语音中从9.02%降至2.12%,在嘈杂语音中从16.25%降至4.56%。没有准确性的取舍;新的API在我们测量的每个方面都表现优越,并且生成的文本有标点和大小写,而遗留引擎的输出比较粗糙。换句话说,用遗留API转录的一个小时会议包含的错误单词大约是使用SpeechAnalyzer转录的同样会议的四倍。如果您的应用程序仍然使用SFSpeechRecognizer来处理超过语音指令的任何内容,那么仅从准确性上看,迁移都是值得的。 SpeechAnalyzer与Whisper 另一个令人惊讶的结果是:苹果的新引擎在两个版本中也大幅超过了我们发布的最大模型Whisper Small,音频每秒的计算时间大约是Whisper Small的三分之一。在苹果硬件上,对于英语来说,内置引擎现在是我们可以测量的最强大的设备端选项。Whisper保持两项真正的优势。它支持的语言更多(SpeechTranscriber支持大约30种语言环境),并且可以在任何地方运行,而不仅限于搭载OS 26的苹果平台。但对于当前iPhone或Mac上的英语转录,Whisper作为自动准确选择的时代已经结束。基于这一结果,我们改变了自己的产品:Inscribe的自动引擎现在在支持的语言中优先选择SpeechAnalyzer,而在其他所有情况下选择Whisper。在自己的默认设置中忽视基准测试是种奇怪的诚实。 速度 所有五个引擎的运行速度均舒适地快于实时:在M2 Pro上约为12倍到40倍,这意味着1小时的音频在设备上的转录时间约为1.5到5分钟。SpeechAnalyzer在每秒音频的速度约比Whisper Small快3倍,同时在准确性上也胜出。我们故意尚未打印每个引擎的精确时间表:准确性测试与开发工作负载共享机器,这并不影响WER,但会在时间测量中增加噪音。我们将在此页面上更新来自专用闲置运行的时间测量。 方法论,以及您为何可以检查 审慎看待一家公司销售其中一个引擎的基准测试是合情合理的。我们的测试有两个特性来应对这种怀疑。Whisper列的数据可以与OpenAI自己的数字再现。我们之所以使用LibriSpeech,正是因为OpenAI在此上发布了Whisper的WER。如果我们的测试框架准确测量了Whisper,那么我们的数据就应该与他们的匹配。确实如此,在所有六个测量中:引擎/版本 我们的结果 OpenAI发布的结果 差异 Whisper Tiny,测试清晰 7.88% 7.6% +0.28 Whisper Base,测试清晰 5.42% 5.0% +0.42 Whisper Small,测试清晰 3.74% 3.4% +0.34 Whisper Tiny,测试其他 17.04% 16.9% +0.14 Whisper Base,测试其他 12.51% 12.4% +0.11 Whisper Small,测试其他 7.95% 7.6% +0.35 这个小而一致的正偏差(略严格的文本标准化加上CoreML量化)就是诚实重现的样子;随机误差将在两个方向上散布。由于相同的语料库、标准化器和评分器产生了苹果列的数据,无法验证的数字继承了任何人可以验证的数字的有效性。原始文稿是公开的。每个苹果引擎的逐句假设可以在下面下载,以及参考文本和逐句假设。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡