流式输出变慢怎么排查：SSE、代理和上游响应

如果你看到首 token 很慢，先别急着怀疑模型。流式链路里可能有代理、缓存、压缩或服务端缓冲。

先看首 token

首 token 慢，通常说明延迟卡在连接建立、鉴权、代理转发或上游排队。

再看中间是否断流

如果中间突然停顿，常见原因是代理缓冲、Nginx 配置或后端 flush 不及时。

检查点

• 代理是否关闭 buffer
• 响应头是否正确设置 SSE
• 上游是否真的在流式输出
• 客户端是否误把流当普通响应读取

结论

排查流式问题，重点不是“快不快”，而是找到到底是哪一层在拖延。