为什么过于流畅的 TTS 会暴露机器身份?
- 反直觉现象: 传统 TTS 过于流畅、零停顿,反而容易暴露机器身份;
- 人类信号: 停顿、填充词与偶尔的重复,是人类表达不确定性和思考状态的信号;
- 设计含义: 自然的语音输出不是最大化流畅度,而是让停顿与韵律承载思考状态;
控制标记如何驱动韵律与副语言?
- 机制: 主 LLM 在文本之外输出控制标记,由 TTS 将标记映射为音频层的表现;
- 标记示例:
THINKING、EMO:happy、SPEED:0.8x;
- 映射目标: 停顿、韵律、语速,以及笑声、叹气等非语言音频;
- 效果: 表达层由模型显式控制,而不是依赖 TTS 默认的平滑风格;
有哪两种落地实现路径?
- 路径一: 自研支持控制标记的 TTS,由执行层根据标记选择匹配的情绪、语速与风格;
- 路径二: 用语音克隆准备不同情绪与风格的参考音频,构建多参考语音库,由执行层按标记选参考音;
- 共同点: 控制标记负责“说什么状态”,参考音或声学映射负责“听起来像什么状态”;
控制标记方案实际带来什么差异?
- 对照配置: 无控制标记、单一参考音、多参考音三种配置;
- 观察结论: 多参考音配合标记选择,在情绪与语速匹配上优于无标记与单一参考音的配置;
- 局限: 该方案改善的是表达的自然度与匹配度,不改变交互时序;