レート制限と同時実行 - YouRouter Developer Platform

YouRouter は 1 つの統合で本番トラフィックを扱えるように設計されていますが、上流モデルプロバイダーは独自のレート制限を持つため、再試行と同時実行の設計は依然として重要です。

何が起きるか

観点	挙動
YouRouter ゲートウェイ	プロバイダーごとに別々の SDK 統合を強制しません
上流制限	429 や同時実行エラーが返ることがあります
自動ルーティング	`vendor` 省略または `vendor: auto` で利用可能な上流へ振り分け
固定プロバイダー	`vendor` を固定すると、その上流の可用性と制限に依存します

推奨の再試行パターン

一時的な失敗には指数バックオフで再試行します。

回目: 1 秒待つ
回目: 2 秒待つ
回目: 4 秒待つ
以降は停止、またはフォールバックへ

再試行の対象例:

429（レート制限 / 同時実行）
500（ゲートウェイまたは上流エラー）
一時的なネットワーク障害

短い間隔でのタイトなループ再試行は避けてください。上流側の制限を悪化させます。

同時実行のコツ

本番は保守的な同時実行から始めて徐々に上げる
特別な理由がない限り vendor: auto
モデル ID は設定化して切替を容易に
トラブルシュートのため、時刻・モデル・vendor モード・リクエスト ID をログに残す
ストリーミングは接続切れを安全に再開できる場合のみ再試行

例：自動ルーティング

curl https://api.yourouter.ai/v1/chat/completions \
  -H "Authorization: Bearer $YOUROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "user",
        "content": "Reply with exactly: connected"
      }
    ]
  }'

例：プロバイダー固定

curl https://api.yourouter.ai/v1/chat/completions \
  -H "Authorization: Bearer $YOUROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -H "vendor: openai" \
  -d '{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "user",
        "content": "Reply with exactly: connected"
      }
    ]
  }'

ルーティングの詳細はルーティング。リクエスト項目は Create Chat Completion を参照してください。