你可以预期什么
推荐的重试模式
对于模型 API 调用,建议使用指数退避来重试瞬时失败:429限流或并发超限500网关或上游提供商错误- 临时网络故障
并发建议
- 在生产环境中,先从保守并发开始,再逐步提高。
- 除非明确需要指定上游提供商,否则优先使用
vendor: auto。 - 将模型 ID 做成可配置项,避免切换模型时改代码。
- 为了排障,请记录请求时间、模型、vendor 模式以及请求 ID。
- 对于流式响应,只有当你的应用能安全重启该请求时,才把掉线视为可重试。
处理模型 API 吞吐、上游提供商限制和重试行为。
429 限流或并发超限500 网关或上游提供商错误vendor: auto。