路由是如何工作的
YouRouter 提供两种请求路由模式:自动路由和手动路由。这一行为由vendor 请求头控制。
默认行为:自动路由(auto)
为了获得更高可靠性,我们推荐你使用自动路由模式。如果你省略 vendor,或者显式设置为 auto,就会进入这一模式。
在 auto 模式下,YouRouter 会根据所请求模型的可用性和成本情况,将流量智能路由到合适的 provider。比如你请求 gpt-4o,如果 OpenAI 当前出现延迟,我们可以无缝切换到 Azure OpenAI 等其他 provider,以保证请求尽量不中断。对于强调高可用的生产应用,这通常是最合适的默认选择。
手动路由:指定 Provider
如果你必须使用某个特定 provider 的模型或专属能力,也可以手动指定路由。做法很简单:在请求头里设置目标 provider 的vendor 值。
例如,如果你想确保 gpt-4o 一定由 Azure 处理,就可以发送 vendor: azure。
可用 Provider
| Provider | vendor 值 |
|---|---|
| Anthropic | anthropic |
| AWS Bedrock | aws |
| Azure OpenAI | azure |
| DeepSeek | deepseek |
google | |
| Mistral AI | mistral |
| OpenAI | openai |
| Volcengine | volcengine |
| xAI | x |
零完成保险
YouRouter 的计费策略是:只有在请求成功且返回非空结果时才会收费。对于错误请求,例如500,或者返回零 completion token 的情况,不会扣费。这项保护默认对所有请求开启。
最佳实践
- 生产环境优先使用
auto:如果你的应用重视可用性,建议默认使用auto,以获得自动故障切换和更高稳定性。 - 只有在明确需要时才手动指定 Provider:如果你依赖某个 provider 的专属模型、能力或兼容行为,再使用
vendor固定路由。 - 查看 provider 原生文档:如果你通过手动路由访问某个 provider 的专属能力,仍建议查阅该 provider 的官方文档。YouRouter 支持像 请求透传 中描述的那样,将这些参数直接透传到上游。