给 ChatGPT 套壳加语音:Whisper 识别与 TTS 选型
给对话式 AI 加上语音输入输出,链路是录音、语音识别、大模型、语音合成四步。文章拆解 Whisper 接入的常见坑、托管 API 与本地部署的取舍、几种中文 TTS 方案的对比,并重点讲语音功能为什么比打字更容易烧钱,以及如何限流、缓存和分句合成来控制成本。
很多对话式 AI 应用一开始只有文本输入框,用久了就会发现,真正高频的使用场景其实是「说」而不是「打」——练口语、开车时提问、随手记想法。于是给一个克隆版 ChatGPT 加上语音输入输出,成了很自然的下一步:语音识别交给 Whisper 这类模型,回答再用语音合成念出来。
但真做起来会发现,难点不在「能不能识别」,而在延迟、成本与交互细节。下面按链路拆开讲,重点说清楚哪些地方容易踩坑、几种方案怎么取舍。
一条完整的语音链路是四段
录音 → 语音识别(ASR)→ 大模型生成 → 语音合成(TTS)→ 播放。每一段都有独立的延迟与费用,也都可能成为瓶颈。常见做法是先只做 ASR(语音提问、文字回答),跑顺了再加 TTS,否则两个成本项同时放开,很容易失控。
语音识别:Whisper 是最省事的起点
Whisper 有两条路可走:调用托管的语音转写接口,或者在本机跑开源权重。
托管接口的调用非常直接,一次 HTTP 请求上传音频文件即可:
curl https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $API_KEY" \
-F file=@record.webm \
-F model=whisper-1 \
-F language=zh
具体的模型名、参数和计费方式以官方文档为准,接口每年都可能调整,别照抄旧教程。
前端录音一般用 MediaRecorder,默认产出 webm/opus,大多数转写接口都能直接吃;单声道、16kHz 已经足够,音频越大上传越慢。本地部署(whisper.cpp、faster-whisper 之类)的好处是免费、可离线、隐私可控,代价是要有显卡或足够内存,首次加载慢,短音频和方言口音的识别效果需要自己测。
接入时最容易忽略的几点
- 空白音频不要上传:用户误触、环境安静时录到的是几秒静音,照样计费。前端加一个音量阈值判断,低于阈值直接提示重录。
- 限制单次时长:30~60 秒足够说完一个问题,既降低费用,也降低识别错误的概率。
- 断句方式要想清楚:长按说话、点一下开始再点一下结束、或靠静音自动断句,三种体验差别很大,移动端尤其明显。
- 录音属于用户隐私:需要明确告知用途,明确音频是否留存、留存多久、能否删除。
- 失败要有出口:网络抖动导致上传失败时,给一个「重录」按钮比报错弹窗友好得多。
语音合成:三条路线怎么选
| 路线 | 优点 | 代价 | 适合场景 |
|---|---|---|---|
| 云厂商 TTS(多家可选) | 中文自然度高、音色多、支持流式输出 | 按字符计费,量大不便宜 | 面向用户的产品 |
| 本地开源 TTS | 零调用成本、数据不出机器 | 需要算力,音质与稳定性参差 | 自用、内网、离线场景 |
浏览器自带 speechSynthesis |
零成本、零依赖 | 音色取决于系统,移动端差异大 | 演示、原型验证 |
选型时优先看三件事:中文韵律是否自然、是否支持流式(边生成边播)、以及按字符计价后一分钟回答大概花多少。
流式合成是体验分水岭。 等整段回答生成完再合成,用户要盯着屏幕干等好几秒。更常见的做法是按标点把回答切成句子,第一句一到位就开始合成播放,后面的句子排队。这样首字延迟能压到很低。
打断必须做。 播放过程中用户再次按下录音,要立刻停止播放并取消尚未返回的合成请求,否则会出现「一边说话一边有声音在念」的混乱。
成本:比想象中更容易失控
语音是有名的「用得越多越贵」:转写按音频时长计费,合成按字符计费,而说话一分钟的信息量,抵得上打字好几分钟。公开演示的站点如果没有任何限制,一个链接传播开,账单就会很难看——免费额度耗尽、单月费用冲上几百美金是很常见的抱怨,具体单价请以官方最新定价为准。
可控的手段大致这几条:
- 分层限制:单次录音时长上限、单用户每日调用次数上限、全局预算告警。
- 只念关键部分:TTS 只播前若干句或摘要,完整内容留给文字。
- 缓存常见音频:开场白、错误提示、固定话术的音色固定,合成一次复用。
- 演示站限流:邀请码、IP 限速、排队,或者干脆默认关闭 TTS。
- 先做输入不做输出:语音提问 + 浏览器自带朗读,成本几乎为零,先把交互跑通。
交互细节决定「像不像个语音助手」
- 回车发送、Shift + Enter 换行是文本时代的肌肉记忆,加了语音也不能丢,否则用户会反复误发。
- 录音时要有明确的视觉反馈:时长、波形或红点,让人知道「它在听」。
- 逐字朗读听起来很美,实际会让人着急,按句合成比按字合成更稳。
- 移动端注意:录音权限通常要求 HTTPS,部分浏览器对后台录音有额外限制,真机测试比桌面模拟器可靠。
语音化会放大模型「张嘴就来」的问题
文字回答里有明显错误,扫一眼就能发现;换成语音念出来,语气流畅、断句自然,反而更容易被当成真的。比如问某款游戏一共有几代,回答可能把毫不相干的系列名字拼在一起,听起来却毫无违和感。
所以在语音场景里,建议同时做三件事:在系统提示里明确「不确定就说不知道」;界面上始终保留文字稿,方便回看核对;对事实类问题提示用户自行核实来源。语音只是通道,准确性仍然取决于模型和提示词。
想做硬件小玩具或者长期挂机
用 ESP32 或树莓派做一台语音盒子,链路和网页端完全一样:麦克风采集 → 上传转写 → 调用大模型 → 合成播放。真正的瓶颈是延迟和网络稳定性——家庭 WiFi 一抖动,转写请求失败、合成音频卡在半句,体验立刻崩掉。
如果打算长期挂着跑转写任务,或者需要在稳定网络下持续调用接口做实验,本地机器的散热、休眠策略和出口带宽都会影响结果。一种可选的做法是租一台放在机房、可以长时间在线远程连接的 Mac,把录音转写、批量脚本这类活放上去跑,本地只负责录和播,省去来回排查网络的时间成本。
想在本机跑 Whisper 大模型的话,先确认显卡和内存够用;不够就别硬撑,先用托管接口把产品逻辑验证完再考虑迁移。
小结:上线前过一遍这份清单
- 录音有静音检测,空白音频不上传
- 单次录音时长、单用户每日调用次数都有上限
- 语音识别做了失败重录入口
- TTS 按句合成,首句先播,支持打断
- 常见回复音频有缓存,演示入口有访问限制
- 文字稿始终可见,提示词约束「不确定就说不知道」
- 隐私说明写清楚音频是否留存
语音功能本身并不复杂,难的是把延迟、成本和用户预期同时控住。先做输入、再做输出,先限流、再放开,是比较稳妥的推进顺序。