OpenAI

给 ChatGPT 套壳加语音:Whisper 识别与 TTS 选型

编辑部阅读约 6 分钟

给对话式 AI 加上语音输入输出,链路是录音、语音识别、大模型、语音合成四步。文章拆解 Whisper 接入的常见坑、托管 API 与本地部署的取舍、几种中文 TTS 方案的对比,并重点讲语音功能为什么比打字更容易烧钱,以及如何限流、缓存和分句合成来控制成本。

很多对话式 AI 应用一开始只有文本输入框,用久了就会发现,真正高频的使用场景其实是「说」而不是「打」——练口语、开车时提问、随手记想法。于是给一个克隆版 ChatGPT 加上语音输入输出,成了很自然的下一步:语音识别交给 Whisper 这类模型,回答再用语音合成念出来。

但真做起来会发现,难点不在「能不能识别」,而在延迟、成本与交互细节。下面按链路拆开讲,重点说清楚哪些地方容易踩坑、几种方案怎么取舍。

一条完整的语音链路是四段

录音 → 语音识别(ASR)→ 大模型生成 → 语音合成(TTS)→ 播放。每一段都有独立的延迟与费用,也都可能成为瓶颈。常见做法是先只做 ASR(语音提问、文字回答),跑顺了再加 TTS,否则两个成本项同时放开,很容易失控。

语音识别:Whisper 是最省事的起点

Whisper 有两条路可走:调用托管的语音转写接口,或者在本机跑开源权重。

托管接口的调用非常直接,一次 HTTP 请求上传音频文件即可:

curl https://api.openai.com/v1/audio/transcriptions \
  -H "Authorization: Bearer $API_KEY" \
  -F file=@record.webm \
  -F model=whisper-1 \
  -F language=zh

具体的模型名、参数和计费方式以官方文档为准,接口每年都可能调整,别照抄旧教程。

前端录音一般用 MediaRecorder,默认产出 webm/opus,大多数转写接口都能直接吃;单声道、16kHz 已经足够,音频越大上传越慢。本地部署(whisper.cpp、faster-whisper 之类)的好处是免费、可离线、隐私可控,代价是要有显卡或足够内存,首次加载慢,短音频和方言口音的识别效果需要自己测。

接入时最容易忽略的几点

  • 空白音频不要上传:用户误触、环境安静时录到的是几秒静音,照样计费。前端加一个音量阈值判断,低于阈值直接提示重录。
  • 限制单次时长:30~60 秒足够说完一个问题,既降低费用,也降低识别错误的概率。
  • 断句方式要想清楚:长按说话、点一下开始再点一下结束、或靠静音自动断句,三种体验差别很大,移动端尤其明显。
  • 录音属于用户隐私:需要明确告知用途,明确音频是否留存、留存多久、能否删除。
  • 失败要有出口:网络抖动导致上传失败时,给一个「重录」按钮比报错弹窗友好得多。

语音合成:三条路线怎么选

路线 优点 代价 适合场景
云厂商 TTS(多家可选) 中文自然度高、音色多、支持流式输出 按字符计费,量大不便宜 面向用户的产品
本地开源 TTS 零调用成本、数据不出机器 需要算力,音质与稳定性参差 自用、内网、离线场景
浏览器自带 speechSynthesis 零成本、零依赖 音色取决于系统,移动端差异大 演示、原型验证

选型时优先看三件事:中文韵律是否自然、是否支持流式(边生成边播)、以及按字符计价后一分钟回答大概花多少。

流式合成是体验分水岭。 等整段回答生成完再合成,用户要盯着屏幕干等好几秒。更常见的做法是按标点把回答切成句子,第一句一到位就开始合成播放,后面的句子排队。这样首字延迟能压到很低。

打断必须做。 播放过程中用户再次按下录音,要立刻停止播放并取消尚未返回的合成请求,否则会出现「一边说话一边有声音在念」的混乱。

成本:比想象中更容易失控

语音是有名的「用得越多越贵」:转写按音频时长计费,合成按字符计费,而说话一分钟的信息量,抵得上打字好几分钟。公开演示的站点如果没有任何限制,一个链接传播开,账单就会很难看——免费额度耗尽、单月费用冲上几百美金是很常见的抱怨,具体单价请以官方最新定价为准。

可控的手段大致这几条:

  1. 分层限制:单次录音时长上限、单用户每日调用次数上限、全局预算告警。
  2. 只念关键部分:TTS 只播前若干句或摘要,完整内容留给文字。
  3. 缓存常见音频:开场白、错误提示、固定话术的音色固定,合成一次复用。
  4. 演示站限流:邀请码、IP 限速、排队,或者干脆默认关闭 TTS。
  5. 先做输入不做输出:语音提问 + 浏览器自带朗读,成本几乎为零,先把交互跑通。

交互细节决定「像不像个语音助手」

  • 回车发送、Shift + Enter 换行是文本时代的肌肉记忆,加了语音也不能丢,否则用户会反复误发。
  • 录音时要有明确的视觉反馈:时长、波形或红点,让人知道「它在听」。
  • 逐字朗读听起来很美,实际会让人着急,按句合成比按字合成更稳。
  • 移动端注意:录音权限通常要求 HTTPS,部分浏览器对后台录音有额外限制,真机测试比桌面模拟器可靠。

语音化会放大模型「张嘴就来」的问题

文字回答里有明显错误,扫一眼就能发现;换成语音念出来,语气流畅、断句自然,反而更容易被当成真的。比如问某款游戏一共有几代,回答可能把毫不相干的系列名字拼在一起,听起来却毫无违和感。

所以在语音场景里,建议同时做三件事:在系统提示里明确「不确定就说不知道」;界面上始终保留文字稿,方便回看核对;对事实类问题提示用户自行核实来源。语音只是通道,准确性仍然取决于模型和提示词。

想做硬件小玩具或者长期挂机

用 ESP32 或树莓派做一台语音盒子,链路和网页端完全一样:麦克风采集 → 上传转写 → 调用大模型 → 合成播放。真正的瓶颈是延迟和网络稳定性——家庭 WiFi 一抖动,转写请求失败、合成音频卡在半句,体验立刻崩掉。

如果打算长期挂着跑转写任务,或者需要在稳定网络下持续调用接口做实验,本地机器的散热、休眠策略和出口带宽都会影响结果。一种可选的做法是租一台放在机房、可以长时间在线远程连接的 Mac,把录音转写、批量脚本这类活放上去跑,本地只负责录和播,省去来回排查网络的时间成本。

想在本机跑 Whisper 大模型的话,先确认显卡和内存够用;不够就别硬撑,先用托管接口把产品逻辑验证完再考虑迁移。

小结:上线前过一遍这份清单

  • 录音有静音检测,空白音频不上传
  • 单次录音时长、单用户每日调用次数都有上限
  • 语音识别做了失败重录入口
  • TTS 按句合成,首句先播,支持打断
  • 常见回复音频有缓存,演示入口有访问限制
  • 文字稿始终可见,提示词约束「不确定就说不知道」
  • 隐私说明写清楚音频是否留存

语音功能本身并不复杂,难的是把延迟、成本和用户预期同时控住。先做输入、再做输出,先限流、再放开,是比较稳妥的推进顺序。

成本控制TTS语音交互Whisper语音识别