何が起きるか
推奨の再試行パターン
一時的な失敗には指数バックオフで再試行します。429(レート制限 / 同時実行)500(ゲートウェイまたは上流エラー)- 一時的なネットワーク障害
同時実行のコツ
- 本番は保守的な同時実行から始めて徐々に上げる
- 特別な理由がない限り
vendor: auto - モデル ID は設定化して切替を容易に
- トラブルシュートのため、時刻・モデル・vendor モード・リクエスト ID をログに残す
- ストリーミングは接続切れを安全に再開できる場合のみ再試行
スループット、上流制限、再試行の扱い方を整理します。
429(レート制限 / 同時実行)500(ゲートウェイまたは上流エラー)vendor: auto