버셀, 신뢰도 기반 AI 모델 전환 추가

ai.euno.news 자동 뉴스 요약

버셀(Vercel)이 AI 게이트웨이에 답변 신뢰도가 설정한 조건을 충족하지 못하면 대체 모델로 자동 전환하는 기능을 추가했다. 기존에는 첫 번째 모델에서 오류가 발생했을 때 대체 모델을 호출했다면, 이제는 정상적으로 생성된 답변도 신뢰도가 낮으면 한 번 더 판단하도록 구성할 수 있다. 이 기능은 현재 베타로 제공된다.¹

설정은 providerOptions.gateway.models에 조건 객체를 추가하는 방식이다. 다음 예시는 intent 질문의 신뢰도가 0.6보다 낮을 때 openai/gpt-6-astra로 요청을 넘긴다.

{
  "gateway": {
    "models": [
      {
        "model": "openai/gpt-6-astra",
        "when": {
          "question": "intent",
          "confidenceBelow": 0.6
        }
      }
    ]
  }
}

신뢰도 조건은 선택형(Choice)과 점수형(Score) 질문에 적용된다. 불리언(Boolean) 질문은 신뢰도 임계값 대신 확률 범위를 기준으로 전환한다. 여러 조건을 조합할 수도 있어, 하나가 아니라 복수의 신호가 맞을 때만 대체 모델을 호출하도록 설계할 수 있다. question을 생략하고 { "confidenceBelow": 0.6 }처럼 쓰면 조건과 같은 유형에 속한 모든 질문을 검사해, 선택형이나 점수형 답변 가운데 하나라도 신뢰도가 0.6 아래로 내려갈 때 전환한다.¹

이번 변경은 오류 처리보다 넓은 안전망을 제공한다는 데 의미가 있다. 호출 자체는 성공했지만 판단이 모호한 경우를 애플리케이션 코드에서 따로 판별하지 않고 게이트웨이 설정으로 넘길 수 있기 때문이다. 한편 models에 일반 모델명으로 지정해 둔 기존 오류 대체 경로는 그대로 작동하며, 조건 객체를 넣지 않은 요청의 동작도 바뀌지 않는다.

비용은 주의해야 한다. 신뢰도 조건이 발동하면 대체 모델이 두 번째 결정을 수행하므로 첫 단계와 두 번째 단계가 모두 과금된다. 따라서 전환 기준을 높게 잡을수록 불확실한 답변을 재검토할 기회는 늘지만, 추가 호출 비용도 커질 수 있다.¹

읽기 목록은 이 브라우저에 저장됩니다.