你可以预期什么
| 范围 | 行为 |
|---|---|
| YouRouter 网关 | 不需要针对每个 provider 单独做一套端点集成。 |
| Provider 限制 | 上游 provider 可能返回 rate limit 或 concurrency error。 |
| 自动路由 | 省略 vendor 或设置 vendor: auto 时,YouRouter 会将请求路由到可用 provider。 |
| 固定 Provider | 如果你显式设置 vendor,请求就依赖该 provider 的可用性和限流情况。 |
推荐的重试模式
对于模型 API 调用,建议使用指数退避来重试瞬时失败:429限流或并发超限500网关或 provider 错误- 临时网络故障
并发建议
- 在生产环境中,先从保守并发开始,再逐步提高。
- 除非明确需要指定 provider,否则优先使用
vendor: auto。 - 将模型 ID 做成可配置项,避免切换模型时改代码。
- 为了排障,请记录请求时间、模型、vendor 模式以及请求 ID。
- 对于流式响应,只有当你的应用能安全重启该请求时,才把掉线视为可重试。