속도 제한과 동시성

YouRouter는 한 번의 연동으로 프로덕션 수준의 모델 API 트래픽을 처리할 수 있도록 설계되었습니다. 그러나 모델 호출에는 표준 재시도와 동시성 제어를 구현하는 것이 좋습니다. 상위 제공업체가 자체 속도 제한 정책을 적용할 수 있기 때문입니다.

기대할 수 있는 동작

범위	동작
YouRouter 게이트웨이	제공업체마다 별도 엔드포인트를 만들 필요가 없습니다.
제공업체 제한	상위 제공업체가 속도 제한 또는 동시성 오류를 반환할 수 있습니다.
자동 라우팅	`vendor`를 생략하거나 `vendor: auto`로 설정하면 YouRouter가 사용 가능한 제공업체로 라우팅합니다.
제공업체 고정	`vendor`를 명시하면 해당 제공업체의 가용성과 속도 제한에 의존합니다.

권장 재시도 패턴

모델 API 호출에는 일시적 실패에 대해 지수 백오프로 재시도하는 것이 좋습니다.

1차 재시도: 1초 대기
2차 재시도: 2초 대기
3차 재시도: 4초 대기
이후 중단하거나 대체 경로로 전환

재시도하기에 적합한 경우:

429 속도 제한 또는 동시성 초과
500 게이트웨이 또는 제공업체 오류
일시적 네트워크 장애

바쁜 루프에서 즉시 재시도하지 마세요. 제공업체 측 제한 문제를 악화시킬 수 있습니다.

동시성 권장 사항

프로덕션에서는 보수적인 동시성으로 시작한 뒤 점진적으로 늘리세요.
제공업체를 명시적으로 고정할 필요가 없다면 vendor: auto를 우선하세요.
모델 ID는 설정으로 관리해 모델 전환 시 코드 변경을 줄이세요.
문제 해결을 위해 요청 시각, 모델, vendor 모드, 요청 ID를 기록하세요.
스트리밍 응답은 애플리케이션이 해당 요청을 안전하게 재시작할 수 있을 때만 연결 끊김을 재시도 가능한 오류로 간주하세요.

예시: 자동 라우팅

curl https://api.yourouter.ai/v1/chat/completions \
  -H "Authorization: Bearer $YOUROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "user",
        "content": "Reply with exactly: connected"
      }
    ]
  }'

예시: 제공업체 고정

curl https://api.yourouter.ai/v1/chat/completions \
  -H "Authorization: Bearer $YOUROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -H "vendor: openai" \
  -d '{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "user",
        "content": "Reply with exactly: connected"
      }
    ]
  }'

라우팅 전략은 라우팅 가이드를, 요청 필드는 Create Chat Completion을 참고하세요.

시작하기

모델 API

라우팅 및 안정성

API 레퍼런스

기능

법무

기대할 수 있는 동작

권장 재시도 패턴

동시성 권장 사항

예시: 자동 라우팅

예시: 제공업체 고정

​기대할 수 있는 동작

​권장 재시도 패턴

​동시성 권장 사항

​예시: 자동 라우팅

​예시: 제공업체 고정

기대할 수 있는 동작

권장 재시도 패턴

동시성 권장 사항

예시: 자동 라우팅

예시: 제공업체 고정