OpenAI

ChatGPT 语音为何更像真人?TTS 接口差在哪、怎么补

编辑部阅读约 6 分钟

很多人发现直接调用 TTS 接口生成的语音音色接近,但节奏平淡,既没有自然停顿也没有语气词。差距主要来自语音对话使用的是端到端音频模型,而非「文本转语音」这条链路。文章拆解差异来源,并给出四条可落地的做法:文本口语化改写、SSML 与风格指令、拆句合成拼接、换用表现力更强的模型,附方案取舍表与常见坑。

把 ChatGPT 的语音对话和直接调用语音合成接口放在一起对比,几乎每个人都会冒出同一个疑问:同样是机器发声,为什么应用里的那个像真的在思考——会停顿、会拖长音、甚至句首会带一个「呃」?而自己调 /v1/audio/speech 出来的音频,音色确实接近了,但节奏平、没有换气感,一整段听下来还是像播报。

这里面有一部分是模型能力的差距,也有一部分是用法上的差距。下面把这两件事分开讲清楚,并给出在只能控制「文本 → 语音」这一段时,能把效果往真人方向推的几种做法。

先搞清楚:语音对话不是「文本模型 + TTS」

默认的语音模式确实是一条三段式流水线:语音识别把你说的话转成文字,文本模型生成回复,语音合成再把文字读出来。如果按这条链路走,语气词要么出现在文本里,要么就得在合成之前人为插进去——这也是很多人第一反应会猜「是不是用算法加语气词再调 TTS」。

但对话式的实时语音走的是另一条路:原生音频模型直接接收音频、直接输出音频,中间不经过「先写成文字再读出来」这一步。那些停顿、犹豫、语气词,是模型在生成音频的时候自己带出来的,而不是后处理贴上去的。

这能解释两件事:

  • 为什么光调合成接口复现不出来——你只拿到了整条链路的最后一环,而且喂进去的是写好的书面文本;
  • 为什么同一段内容,模型写得越口语,读出来就越自然。

直接调接口听起来「平」的三个原因

1. 书面文本本身没有节奏信息

标点只负责句法停顿,不负责表达犹豫、思考、强调和换气。一段工整的书面语,念得再准也缺少「人味」。

2. 语气词属于「口语生成」,不属于「语音合成」

语音合成的任务是把给定的字读对,它不会自己加字。想要「呃」「那个」,要么文本里本来就有,要么在外面加一层改写。所以「插入语气词再合成」这个思路方向是对的,很多产品也在这么做,难点在于插入的位置和密度——随手乱塞会比不加更假。

3. 长文本一次性合成会抹掉呼吸感

整段丢进去,模型倾向于用均匀语速读完,重音和停顿都被摊平了。

四种可落地的做法

做法一:在文本层做口语化改写

最省事,也最容易被忽略。先用一段提示词让模型把书面回复改写成口语,再送进合成:

把下面这段文字改写成真人说话的口气,用于语音朗读:
- 允许出现「呃」「那个」「就是说」这类填充词,整段不超过 3 处;
- 允许把长句拆成两三个短句,允许有半截话;
- 不要书面连词,不要排比;
- 保留原意,不新增信息。

原文:……

密度是关键。建议每百字控制在 1 到 3 处,且不要反复用同一个词——同一段话里出现两次以上同一个「呃」,听感会立刻崩掉。可以让模型每次换着用。

做法二:用 SSML 或风格指令控制停顿

部分语音服务支持 SSML(微软 Azure 语音是比较典型的一家),可以直接在文本里写标签:

<speak>
  这个方案<break time="300ms"/>嗯,我觉得可以试试。
  <prosody rate="-10%" pitch="-2%">不过要先跑一遍压力测试。</prosody>
</speak>

常用标签:<break> 控制停顿,<prosody> 控制语速、音高、音量,<emphasis> 控制重音,<say-as> 控制数字和日期怎么读。

OpenAI 这边的做法不太一样:语音接口收的是纯文本,不接受 SSML;部分模型支持用自然语言描述语气风格(类似「用轻松、略带犹豫的语气读」)。具体支持哪些参数、哪些模型,各家更新都比较快,请以官方文档当前版本为准。

做法三:拆句合成,自己做节奏

把长文本按标点拆成句子,逐句调用,再按语义拼接,中间插入静音:

import re

def split_sentences(text):
    return [s for s in re.split(r'(?<=[。!?;\n])', text) if s.strip()]

# 逐句合成拿到音频片段,再按下面的量级拼接:
# 逗号级 80~150ms;句号级 250~450ms;段落级 600~900ms

好处是首包更快、停顿能按语义精细调整、某句读得不满意还能单独重生成;代价是拼接处的音色和音量要保持一致,否则接缝很明显。上面的时间参数没有标准答案,需要边听边调。

做法四:换表现力更强的模型

开源的文本到音频模型(例如 Bark 这一类)除了朗读,还能生成笑声、叹气、犹豫这类非语言声音,风格更「活」。代价是要自己准备推理环境,音质和稳定性看调参,长文本的连贯性通常不如商用接口。适合做原型实验,或者对可控性要求高、愿意自托管的场景。

如果只是想把现成服务用得更顺手,前三种做法的性价比高得多。

怎么选:几种方案的取舍

方案 见效速度 可控性 主要代价 适合场景
文本口语化改写 快 中 多一次改写调用 短视频配音、课程旁白、有声内容
SSML / 风格指令 快 取决于厂商 换供应商要重写 停顿位置要求明确的产品
拆句 + 拼接 中 很高 工程量与接缝处理 实时对话、长文本播报
开源表现力模型 慢 高 算力与调参成本 自托管、原型验证

判断标准其实很直接:如果问题只是「读起来太平」,先做文本层改写;如果问题在「停顿位置不对」,用 SSML 或拆句;如果问题在「音色和情绪不够」,才需要动模型。别一上来就换模型,大量「不像真人」的案例根子在文本上。

几个容易踩的坑

  • 语气词过量。 真实对话里填充词的出现频率远比想象中低,刻意加满会立刻显得做作。先不加,听一遍,只在需要缓冲的地方补一两个。
  • 标点与换行不规范。 合成依赖标点断句,连续逗号、缺句号、超长段落都会让节奏糊掉。送进去之前先做一遍标点清洗。
  • 数字、缩写、专有名词读错。 用 <say-as> 或提前改写成全称,别指望模型自己判断。
  • 延迟预算。 拆句加拼接会增加首字延迟,实时对话场景要把它算进去。
  • 合规问题。 声音克隆、模仿特定人声涉及授权和当地法规,商用前先确认素材来源合法,不要用来冒充真人。

小结

那种「像真人在想事情」的语音,很大程度上来自端到端的原生音频模型——停顿和语气词是生成音频时自然产生的,不是后期贴上去的。只调合成接口,相当于只拿到整条链路的最后一环,听起来自然就平。

在只能控制「文本 → 语音」的前提下,提升顺序建议是:先把文本改写成口语,再用 SSML 或拆句控制节奏,最后才考虑换模型。这套组合能覆盖大多数「不够像人」的问题,成本也比想象中低。

最后提醒:语音模型迭代很快,接口参数、可用模型名和支持的控制方式经常变化,实际写法请以官方文档的最新说明为准。

TTSChatGPT语音语音合成SSMLBark