如何给 AI API 网关做限流、并发控制和熔断

网关上了生产以后，最先暴露的通常不是模型问题，而是流量控制问题。

限流

最少要有用户级和接口级两层。用户级避免个别用户打爆系统，接口级避免某类请求过载。

并发控制

并发比请求数更接近真实压力。对流式请求尤其重要。

熔断

当上游持续失败时，先快速失败，再尝试恢复。不要让重试把系统拖得更慢。

建议

• 给每个用户一个默认并发上限
• 给高价值客户单独配置阈值
• 在错误率升高时自动降级

结论

限流不是为了拒绝用户，而是为了保住整体可用性。