3.5 模型 API 响应要 10 秒?先分清慢在哪,再逐项优化
服务端调用 gpt-3.5-turbo 经常要等十来秒才返回,这类问题往往不是单一原因。本文把“慢”拆成首字延迟、生成耗时和网络往返三部分,再分别给出流式输出、连接复用、精简请求体、超时重试与分段计时等可落地的排查与优化步骤,并说明换模型、换区域等做法各自的适用场景与风险。
一个面向海外英语用户的产品,服务端调用 gpt-3.5-turbo,机器放在新加坡,用户却经常要等十秒左右才能看到回复。团队第一反应是网络问题,于是开始讨论要不要换区域、换模型、甚至换账户。讨论里出现了两种看似矛盾的说法:有人说自己那边一秒就返回,也有人说换成更大的模型反而更慢。这些说法其实都对,因为它们测的根本不是同一个东西。
要优化这类延迟,第一步不是换方案,而是把「十秒」拆开看清楚:到底是连不上、排队久、首字出得慢,还是正文生成本来就长。拆不开,后面所有调整都是瞎猜。
先把「慢」拆成三个可以分别测量的指标
| 指标 | 含义 | 偏高时的典型原因 |
|---|---|---|
| 网络往返 / 建连时间 | DNS、TCP、TLS 握手耗时 | 跨境线路绕行、出口质量差、每次请求都新建连接 |
| 首字延迟(TTFB) | 从发出请求到收到第一个数据块 | 队列排队、限流等待、prompt 太长、区域距离远 |
| 总生成耗时 | 从请求到最后一个 token | 输出长度、是否流式、并发与重试 |
一个实用判断:如果首字就要三五秒,问题多半在网络、排队或请求体太大;如果首字很快但整体十几秒,问题几乎一定出在「等整段话生成完才返回」上——也就是非流式模式。
用户感知的其实是「第一眼看到文字」的时间。在非流式模式下,这个时间等于总生成耗时,所以十秒的观感非常正常。
优化一:改成流式输出,优先解决观感与首字延迟
这是投入产出比最高的一步。流式模式下,服务端拿到第一个数据块就可以往客户端推,首字通常在几百毫秒到一两秒之间出现,用户在慢慢「看字」的过程中等待感会明显下降,整体主观速度会好很多。
import time
from openai import OpenAI
client = OpenAI(api_key=..., base_url=...) # 复用同一个 client 实例
start = time.perf_counter()
first = None
chunks = []
stream = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=messages,
stream=True,
max_tokens=512,
)
for event in stream:
delta = event.choices[0].delta.content
if delta:
if first is None:
first = time.perf_counter() - start # 首字延迟
chunks.append(delta)
total = time.perf_counter() - start # 总耗时
注意:流式只改变「什么时候开始返回」,不改变总生成时间。如果你的瓶颈是总耗时,仍然要往下看。
优化二:控制输出长度和请求体积
生成耗时基本随输出 token 数线性增长。很多接口之所以慢,是因为 prompt 里塞了过长的系统提示、大量 few-shot 示例,或者把整段历史对话每轮都全量回传。
- 给
max_tokens设一个贴合业务的上限,别放任模型自由发挥。 - 历史对话做滑动窗口或摘要压缩,只保留真正相关的轮次。
- 系统提示精简,把能提前算好的内容放进缓存或数据库,而不是每次都让模型「读一遍」。
- 能并行的独立请求就并行发出,别串行等待。
- 对高频、答案固定的问题做结果缓存。
优化三:复用连接,别让每次请求都重新握手
跨境场景下,每一次新建 TCP + TLS 连接都要付出额外往返,叠加起来几百毫秒到数秒都不奇怪。
检查清单:
- 全局只创建一个 SDK client 实例,不要在每个请求里
new一个。 - 客户端开启 keep-alive,把连接池大小调到与并发匹配。
- 确认运行环境没有把出站连接频繁重启(例如每次请求起一个短生命周期进程)。
- 用
curl -w或分段打点分别记录建连、TLS、首字节时间,确认瓶颈在哪一段。
curl -o /dev/null -s -w \
'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
-X POST "$API_BASE/chat/completions" -H "Authorization: Bearer $KEY" -d @payload.json
优化四:选对部署区域,但要用数据说话
同一份代码从不同地区发出,结果可能差别很大,而且不同运营商、不同时段的差异比「城市」本身更大。讨论中有人说换到日本节点依然慢,也有人说自己那边一秒就回——这类经验不能直接照搬。
稳妥做法是自己压测:
- 准备一个固定的测试脚本,连续跑几十次,记录 p50 和 p95,而不是只看最好的一次。
- 在同一时段分别从候选区域发起,比较首字延迟分布。
- 观察是否出现偶发超时或 504,这类问题通常是链路抖动,不是代码问题。
- 线上加一个就近的代理或网关做统一出口,避免每个实例各走一条不确定的线路。
优化五:超时、重试与降级
超时设得过长,一次卡住就会拖垮整个请求链路;重试策略不当,会让原本只是抖动的请求变成叠加等待。
- 分别设置连接超时和读取超时,流式接口的读取超时要比非流式更宽松。
- 只对可重试的错误(超时、限流类)做指数退避重试,重试次数控制在很小的范围。
- 设熔断阈值,连续失败时直接走降级文案或缓存答案,而不是继续排队。
- 记录每次请求的排队时间、重试次数,否则你永远不知道慢是模型慢还是自己的重试慢。
如果只是偶尔需要长时间在线跑压测和观测脚本,本地开发机休眠、断网会打断采样,可以考虑用一台长期在线的远程环境(例如整机放在新加坡机房的独享远程 Mac)来跑这些脚本,让采样连续一些;这属于观测手段,不会直接让线上接口变快。
讨论里的几种「偏方」,怎么判断要不要跟
换成其他大模型:确实有人反馈换成国内模型后响应快很多,面向英文用户时也能用。但需要评估输出质量是否满足业务、内容边界是否与产品定位冲突,并且最好做小流量 A/B,而不是一次性全量切换。对生成质量敏感的核心链路,替换的隐性成本往往比省下的那几秒更高。
换服务器区域:值得测,但不要凭感觉。不同区域对同一家服务的路由质量会变化,需要按上面的方法自己压测,并注意官方文档中关于可用区域的最新说明。
账户类型或套餐导致快慢差异:讨论中有人提出这类观察,但这无法从外部证实,也可能只是测试时段和并发不同造成的巧合。不要为了「更快」去购买、共享或租用他人账户,这既违反服务条款,也存在封号和数据泄露风险;账号层面的差异应以官方文档为准,自行小规模验证。
绕过地区限制、挂代理提速:这类做法稳定性不可控,且可能违反平台条款,不建议作为正式方案。合规的替代路径是通过正规的云服务商出网、在支持的区域部署,或使用官方提供的企业级接入方式。
小结
把十秒的等待拆成「建连、首字、生成」三段分别测量,绝大多数问题都能定位。优先级大致是:先上流式输出改善观感,再精简 prompt 与输出长度,然后复用连接、稳定出口,最后才考虑换区域或换模型。任何调整都要用 p50/p95 的前后对比来验证,而不是凭一次请求的体感下结论。具体接口参数、可用区域和计费规则请以官方最新文档为准。