展示 HN:Hurston-1 开源的 TTS,能够说南方美语和非洲英语
为电话构建的口音英语文本转语音,由简单语言的声音描述引导。Hurston-1 引入了 NB-TTS(基带 TTS):为电话线制作的文本转语音,大多数客户服务仍在此进行,即使对方是人工智能代理。它部分通过我们贡献者与 AI 语音代理之间的真实电话通话学习,其电话模式提供了来电者实际听到的内容:8 kHz G.711 音频,适用于 Twilio 和其他电话系统。完整的 24 kHz 音频仍然是默认选项。Hurston-1 是由 Destined AI 构建的 Maya1 (Apache-2.0) 的微调版本,专门用于处理大多数 TTS 系统表现不佳的英语口音:南方美语、尼日利亚英语、西非英语、东非英语、南非英语,以及更广泛的美式英语。这是 Destined AI 的 ClarityVoice 家族中的第一个开源模型。pip install torch transformers snac soundfile scipy speechbrain # speechbrain 仅在 --check 时需要 python hurston.py --model . --check --accent "尼日利亚英语口音" --gender 女 --text "下午好。请饭后每天吃一片药。" --out hello.wav # 来电者听到的内容:8 kHz G.711 mu-law WAV python hurston.py --model . --check --phone --accent "南方美语口音" --gender 男 --text "谢谢来电,请问我今天能帮您什么?" --out call.wav 从 hurston 导入 Hurston,描述 tts = Hurston( '.' , check= True ) # check=True 重试 Whisper 无法跟随的内容或语音变化 wav = tts( "嗯,你好,谢谢你的来电。" , 描述( '男' , '成人' , '南方美语口音' )) 南方有话要说 1995 年,André 3000 在 Source Awards 的舞台上,面对着对 OutKast 嘘声的观众,说道:“南方有话要说。”我们认为这句话仍然适用。Hurston-1 是在亚特兰大由一个小型独立团队打造的。自 2021 年以来,我们一直在录制来自美国南部和非洲各地的同意付费贡献者。这些声音是大多数 AI 系统仍然将其压成普通美式英语的。没有人给我们提供融资来完成这个项目,因此我们靠自己构建它。这些声音在 AI 中占有一席之地,现在它们有了一个开源模型。我们以 Zora Neale Hurston 的名字命名。她在佛罗里达州 Eatonville 长大,接受人类学训练,并旅行南方记录黑人南方人士的真实言语:他们的故事、歌曲和话语,在那个时期,少数机构认为那些声音值得保留。我们的工作是她工作的一个小回音。这个名字是对她的致敬;并不意味着她的遗产支持。 听南方 几句人们在亚特兰大实际说的话。全是合成的;每个声音都是根据描述生成的。 语音 听 "南方有话要说。" 男,南方美语口音,清晰对话 "在 Peachtree 上见面。不,不是那个 Peachtree,另一个。" 女,南方美语口音,随意对话 "我准备出发,285 号公路的交通已经堵起来了。" 男,南方美语口音,随意对话 "你来自亚特兰大的哪个地方?" 女,南方美语口音,随意对话 每种口音的更多示例在 demo/(说明和文本在 demo/demos.csv 中)。 语音描述 模型基于如下格式的描述进行训练 性别、年龄、口音、风格、语速:字段值 性别 女,男 年龄 成人,中年,年长 口音 美式口音,南方美语口音,尼日利亚英语口音,尼日利亚(约鲁巴)英语口音,尼日利亚(伊博)英语口音,西非英语口音,东非英语口音,东非(斯瓦希里)英语口音,南非英语口音 风格 清晰对话语音,随意对话语音,清晰的有声读物叙述语音 语速 自然语速,适中语速,慢速,快速 语速标签是从训练数据中的自然人声学习到的绝对说话速率:大约慢速每秒少于 2 个单词,适中 2 到 2.6,每秒自然 2.6 到 3.4,快速超过 3.4。该模型大致符合这些速度,但并不是完全一样。它仍然与基础数据集的行为高度匹配。每次调用会生成符合描述的新声音。 注意:Hurston-1 不会克隆声音,也没有经过训练去重现任何真实的人。 为电话而建(NB-TTS) 大多数语音 AI 以录音室质量演示,然后通过电话线部署。Hurston-1 为实际听到的地方而构建:基于真实通话训练。大约 10 小时的训练音频(来自 250 位贡献者的 7,600 个回合)是来自与全双工 AI 语音代理的真实通话的电话质量语音,此外还有录音室风格的阅读和对话。 电话模式。 --phone(或 phone=True)将输出过滤到 300 到 3,400 Hz 电话频段,重采样为 8 kHz,并编码为 G.711 mu-law(--codec alaw 用于 A-law),这是电话网络、SIP 和 Twilio 使用的格式。这是在合成后应用的通道效应,因此 --check 仍然会评估全质量结果。准备好流式传输。
阅读全文 →本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡