メインコンテンツへスキップ
YouRouter は 1 つの統合で本番トラフィックを扱えるように設計されていますが、上流モデルプロバイダーは独自のレート制限を持つため、再試行と同時実行の設計は依然として重要です。

何が起きるか

推奨の再試行パターン

一時的な失敗には指数バックオフで再試行します。
再試行の対象例:
  • 429(レート制限 / 同時実行)
  • 500(ゲートウェイまたは上流エラー)
  • 一時的なネットワーク障害
短い間隔でのタイトなループ再試行は避けてください。上流側の制限を悪化させます。

同時実行のコツ

  • 本番は保守的な同時実行から始めて徐々に上げる
  • 特別な理由がない限り vendor: auto
  • モデル ID は設定化して切替を容易に
  • トラブルシュートのため、時刻・モデル・vendor モード・リクエスト ID をログに残す
  • ストリーミングは接続切れを安全に再開できる場合のみ再試行

例:自動ルーティング

例:プロバイダー固定

ルーティングの詳細は ルーティング。リクエスト項目は Create Chat Completion を参照してください。