OpenAI

OpenAI API 首字延迟近 20 秒:分清限速、代码与网络三层

编辑部阅读约 6 分钟

调用 OpenAI API 时首字要等近 20 秒,开了流式也只快一点,自建中转和公共代理都一样慢。这类问题通常不是单一原因。下面把延迟拆成账号额度、代码链路、网络路径三层,给出可复现的排查命令、流式转发的配置要点,以及绑卡升级前后的注意事项。

调用一个接口,简单一句提问却要等将近 20 秒才开始出字,这在做聊天类应用时几乎不可接受。有人先怀疑是自己没开流式,改成 stream: true 后确实快了一点,但整体仍然慢;又换了自建中转和公共中转代理,速度还是同一个量级。于是问题变成了:到底是代码写得不对、线路不好,还是账号本身被区别对待了?

这类「慢」最容易被混为一谈,其实至少要拆成两个指标:首字延迟(从发出请求到收到第一段内容)和总耗时(到收到全部内容)。前者反映排队、鉴权、建连和模型开始推理的时间,后者还叠加了输出长度和逐块传输的效率。排查时先把这两个数分开测,才能定位到具体是哪一层。

先判断:慢在模型排队,还是慢在你的链路

一个实用的判断方法是控制变量:

  • 用同一个 API Key,在一台境外云主机上用 curl 发一个最小请求,记录首字节时间。
  • 再用本地机器、经由你的中转服务发同样的请求,对比两个首字节时间。
  • 如果直连最小请求本身就要十几秒,而中转层只是把它原样放大,那问题在账号或服务端排队;如果直连很快、走中转才慢,那问题就在你的代码或代理链路。

curl 自带的计时字段足够用了:

curl -s -o /dev/null \
  -w 'DNS:%{time_namelookup} TCP:%{time_connect} TLS:%{time_appconnect} TTFB:%{time_starttransfer} TOTAL:%{time_total}\n' \
  https://api.openai.com/v1/chat/completions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"<你实际可用的模型名>","messages":[{"role":"user","content":"hi"}],"stream":true,"max_tokens":16}'

看三个数就够了:time_appconnect 减去 time_connect 是 TLS 握手耗时,跨境线路通常几百毫秒到一两秒;time_starttransfer 是首字节时间,如果它稳定在 15 秒以上,而 time_appconnect 只有一两秒,那网络建连不是主因。

三类常见原因

一、账号与额度层面的限速

讨论里分歧最大的就是这一条。有不少人反馈:免费体验额度还在时接口很慢,充值或绑定付费方式之后,同一个 Key 同一段代码,首字时间从二十秒掉到三秒以内,流式输出的节奏也明显变快。也有人认为这只是巧合,或者与当时的服务负载有关。

客观地说,官方文档公开的是速率限制(按 RPM、TPM 等维度),至于免费额度账号是否在响应速度上被额外排队,并没有明确的公开说明。所以这一条只能作为排除法之后的怀疑对象,不能当作定论。判断依据是:代码已经确认在正确流式转发、直连最小请求仍然慢、并且换一个付费账号对比明显——三个条件同时成立,才值得往这个方向处理。

二、代码和中转链路把流式「堵」住了

这是最常见也最容易被忽略的一层。表面上开了 stream,实际上数据被中间层攒成一整块才吐给前端,用户体验和不开流式没区别。典型堵点:

  • 后端把流式响应先 read() 完整读完或 json.loads 之后再返回;
  • Web 框架或中间件默认开启了响应压缩(gzip),压缩需要攒缓冲;
  • Nginx 默认 proxy_buffering on,会把上游数据缓冲后整块下发;
  • 经过 CDN 或反向代理时,SSE 长连接被缓冲、被合并甚至被超时切断;
  • 每次请求都新建 TCP + TLS 连接,没有复用连接池。

三、网络路径与请求参数

跨境线路抖动、DNS 解析到较远的接入点、IPv6 走了质量差的路径,都会抬高首字延迟。另外请求本身的参数也会影响感知速度:输入 prompt 很长、max_tokens 设得很大、使用了推理型模型,模型「想」的时间本来就更长,这部分不是网络问题。

十分钟排查清单

按顺序做,基本能定位到层:

  1. 打印每一段 chunk 的到达时间戳,确认是真流式还是假流式。
  2. 用最小 prompt(一个词)和 max_tokens: 16 测首字,排除长输入、长输出的干扰。
  3. 直连官方域名测一次,绕开所有中转。
  4. 检查反向代理配置里是否关闭了缓冲。
  5. 检查客户端是否复用连接(Python 用 httpx.Client 或 requests.Session,不要每次新建)。
  6. 换一个已知付费状态的 Key 做对照实验。

打印 chunk 时间戳的最小示例:

import time
from openai import OpenAI

client = OpenAI()
t0 = time.time()
stream = client.chat.completions.create(
    model="<你实际可用的模型名>",
    messages=[{"role": "user", "content": "hi"}],
    stream=True,
    max_tokens=16,
)
for chunk in stream:
    delta = chunk.choices[0].delta.content
    print(f"{time.time() - t0:6.2f}s  {delta!r}")

如果第一个 print 出现在十几秒之后,说明延迟发生在服务端开始返回之前;如果第一个很快、之后每段间隔很大,那是逐块传输被卡住。

解决方案

代码侧:把流式真正打通

  • 上游拿到 chunk 就立刻 yield,不要累积;
  • 响应头设置 Content-Type: text/event-stream、Cache-Control: no-cache、X-Accel-Buffering: no;
  • 关闭该路由的 gzip 压缩;
  • Nginx 反向代理时关掉缓冲:
location /api/chat {
    proxy_pass http://backend;
    proxy_http_version 1.1;
    proxy_set_header Connection '';
    proxy_buffering off;
    proxy_cache off;
    gzip off;
    chunked_transfer_encoding off;
    proxy_read_timeout 300s;
}
  • 客户端复用连接池,避免每次调用都重新握手。

这一层做完,通常能把首字稳定压到一两秒的量级——前提是服务端本身响应正常。

网络侧:减少不必要的跳数

中转层数越多,排队和缓冲的机会越多。能直连就直连,必须中转时选线路稳定、明确支持 SSE 透传的服务,并把出口 IP 固定下来,便于排查和做白名单。如果调用端需要长期在线跑批处理、本地机器或家宽网络不稳定,可以把常驻的调用程序放到一台新加坡机房的独享 Mac 上远程运行,网络环境相对稳定、也不用担心本地断网,但它解决不了账号侧的排队问题。

账号侧:确认额度状态

如果前面都排查干净了,直连最小请求仍然要十几二十秒,那就去看账号本身:余额是否充足、当前是否还在免费额度内、有没有触发速率限制错误。个人开发者用官方支持的付款方式和所在地区完成升级即可;企业用户走官方销售或云厂商渠道更稳妥。具体开通条件、可用地区和计费规则变动较快,以官方最新说明为准。

关于「绑卡提速」这条经验

讨论中确实有人报告绑卡后速度立刻改善,但也有人在同一时间点绑卡失败、换地区后才成功,还有人表示自己一直很快、只是最近两天变慢。这说明影响速度的因素不止一个,服务端负载波动同样存在。

需要提醒的是:不要为了提速去买共享账号、来源不明的 Key,或用他人信用卡代充。 这类做法的风险很实在——账号随时被封、余额打水漂、请求内容可能被第三方记录,涉及的支付问题还可能带来法律麻烦。同样不建议伪造地区信息去绕过服务可用范围限制。合规的替代路径只有两条:用自己真实信息在官方支持的地区正常开通,或通过企业渠道申请。

注意事项

  • 比较速度一定要控制变量:同一个 prompt、同一个模型、同一时间段,只改一个条件。
  • 公共中转的速度不代表官方接口的速度,别拿它当基准。
  • 单次测得的 20 秒可能只是当时的负载高峰,建议连续测十次取中位数。
  • 流式只是让结果更早显示,不会缩短模型真正生成全部内容所需的总时间。

小结

首字近 20 秒这种量级的延迟,先别急着归因于「被限速」。按「打印 chunk 时间戳 → 直连最小请求 → 关闭代理缓冲 → 换账号对照」的顺序走一遍,多数情况下能明确落在代码链路或账号排队其中一边。代码侧的问题是确定可以自己修好的,先把它排除掉,再去考虑升级账号,判断才有依据。

流式输出中转代理OpenAI API延迟排查接口限速