跳转到主要内容
YouRouter 的设计目标是让你通过一次集成承载生产级模型 API 流量。但对于模型调用,仍然建议你实现标准的重试与并发控制,因为上游提供商可能会施加自己的限流策略。

你可以预期什么

推荐的重试模式

对于模型 API 调用,建议使用指数退避来重试瞬时失败:
适合重试的场景包括:
  • 429 限流或并发超限
  • 500 网关或上游提供商错误
  • 临时网络故障
不要在紧循环里立刻重试,否则可能会让上游提供商侧的限流问题更严重。

并发建议

  • 在生产环境中,先从保守并发开始,再逐步提高。
  • 除非明确需要指定上游提供商,否则优先使用 vendor: auto
  • 将模型 ID 做成可配置项,避免切换模型时改代码。
  • 为了排障,请记录请求时间、模型、vendor 模式以及请求 ID。
  • 对于流式响应,只有当你的应用能安全重启该请求时,才把掉线视为可重试。

示例:自动路由

示例:固定上游提供商

关于路由策略,请参考 路由指南。关于请求字段,请参考 Create Chat Completion