U
技术突破

Fish Audio开源35B语音模型Drama 3:可导演级TTS登场

Fish Audio本周发布开源权重语音合成模型Drama 3,总参数350亿、每token激活约30亿,支持83种语言与单请求16个说话人。其在Artificial Analysis发音鲁棒性评测中以93.2%登顶,但自托管需48GB以上NVIDIA显存,商用许可设有50万美元年收入上限。

👁 72阅读 💬 0评论
📝 全文约 2373 字 · 预计阅读 6 分钟

Fish Audio本周正式发布了新一代文本转语音模型Drama 3。这款总参数规模达350亿(35B)的混合专家(MoE)模型,每个token仅激活约30亿参数,最大亮点是能够理解以自然语言写成的「表演指导」:编剧只需在台词前加上诸如[barely holding it together](勉强撑住情绪)这样的方括号提示,模型就能按指定情绪演绎台词。模型权重已上架Hugging Face,同时上线Fish Audio官方API,为有声书、配音和剧本对话等场景提供了可自托管的开源选项。

「会看剧本的」语音模型:自然语言导演与多角色

与以往只接受干巴巴文本输入的TTS不同,Drama 3将剧本和括号内的指令一起作为输入,输出带有表演感的语音。除整句级别的情绪提示外,文档还支持成对标签,例如用包裹的词句会以耳语方式呈现,且只影响被包裹的部分。指令语言与台词语言相互独立,也就是说可以用中文写下表演指示来驱动英文台词。

在多角色场景上,模型通过<|speaker:0|>到<|speaker:15|>的说话人标签,支持单次请求中最多16个角色,API端为每个说话人分配一个voice ID,因此一整段对话场景可以在一次调用中渲染完成。语言覆盖方面,Drama 3支持83种语言,较上一代产品进一步扩展。

架构解析:基于Qwen3.5-35B-A3B的混合专家骨干

根据官方发布说明,Drama 3的骨干网络始于Qwen3.5-35B-A3B语言模型,共40层,每1层门控全注意力层搭配3层Gated DeltaNet层,仅四分之一的层保留KV缓存,DeltaNet层则以固定大小的状态存储历史信息,从而降低长序列的开销。解码器方面,新的Codebook-MTP解码器取代了S2使用的逐帧Fast AR解码器,由4个共享层 feeding 9个独立层(每个声学codebook对应一层),且只有codebook 0和1回传到骨干网络,而S2是将全部10个codebook回传。

音频分词器与S2保持一致,基于Descript Audio Codec构建,输出44.1 kHz音频,运行速率约每秒21.5帧。训练流程分为三个预训练阶段,随后进行指令微调,最后是强化学习:RL采用GRPO算法,不使用KL惩罚,仅依赖单一学习得到的人类偏好奖励模型。

评测成绩:发音鲁棒性登顶,Elo仍落后闭源竞品

在Artificial Analysis发音鲁棒性基准上,Drama 3以93.2%的综合得分排名第一,前代S2.1 Pro为88.1%。分项来看:品牌、地名与技术术语类达95.9%(S2.1 Pro为87.3%);依赖上下文的多音字读法为95.3%(86.1%);数字、日期、单位等简写为93.6%(92.7%);而代码、路径、邮箱等精确序列是其最弱项,为86.3%(79.4%)。需要注意的是,该基准只考察发音准确性,情绪表现力官方仅做了定性描述。

在Artificial Analysis质量排行榜上,「Drama 3 Preview」的Elo为1242,超过S2.1 Pro的1190,但仍落后于Eleven v4 Turbo的1328。也就是说,Drama 3是Fish Audio在该榜单上得分最高的模型,但在整体音质上尚未超越多家闭源API。

硬件门槛与推理性能:48GB显存起步

根据Fish Speech安装指南,自托管Drama 3至少需要一块配备48GB显存的NVIDIA GPU(FP8精度),不支持CPU、Apple MPS和AMD ROCm;官方基准测试使用单张H200。MoE专家权重以FP8发布,其余权重为bf16。推理服务通过SGLang-Omni运行,其融合内核目前仅在Hopper架构GPU上验证过。

模型卡报告的流式性能显示:单路流时,首音频延迟中位数为88.9毫秒,实时因子0.131;16路并发流时吞吐可达每秒927.6帧。相比之下,上一代S2 Pro的24GB级方案门槛更低,还支持CPU部署,而Drama 3在硬件要求上明显上探。

定价与许可:10美元推广价,50万美元商免线

托管API方面,开发者需在POST /v1/tts请求中将model头部设为drama-3;文档特别警告,头部缺失或拼写错误会静默回退到s2.1-pro。官方标价为每百万字符50美元,2026年11月12日前提供10美元的发布特惠价。

权重采用Fish Audio Community License v1.0:研究和非商业用途免费;年收入不超过50万美元的商业使用同样免费;将Drama 3托管为第三方API则需单独授权。此外,产品必须标注「Built with Fish Audio」,且禁止在未获同意的情况下克隆真实人声。

与竞品的正面较量

与最接近的对手相比:Fish Audio自家的S2 Pro为5B规模(4B Slow AR + 400M Fast AR),非MoE架构,需24GB以上NVIDIA显存或CPU,API价格每百万字符15美元,质量Elo为1116;ElevenLabs的Eleven v4 Turbo仅提供托管服务,支持90多种语言,首语音中位延迟约150毫秒,Elo 1328,每百万字符40美元;Qwen-Audio-3.0-TTS-Plus同样仅托管,Elo 1266,每百万字符20美元(新加坡区)。Drama 3以开源权重、83种语言和88.9毫秒的首音频延迟形成差异化,但48GB显存门槛和Elo差距是其短板。

整体来看,Drama 3把「可导演、多说话人」的剧本化语音能力首次以开放权重形式带给开发者,对有声书、播客和游戏配音等自托管场景极具吸引力;不过高昂的GPU门槛、按收入分层限制的社区许可,以及在质量Elo上与ElevenLabs等闭源头部产品的差距,意味着它在追赶之路上仍有硬仗要打。对于想以低成本快速验证效果的团队,11月12日前的10美元特惠价和托管API或许是最现实的切入点。

💬 评论