버셀 AI 게이트웨이, OpenAI 판정 API 지원

ai.euno.news 자동 뉴스 요약

버셀(Vercel)이 OpenAI의 Decisions API를 AI Gateway에 추가했다. 개발자는 OpenAI 호환 엔드포인트인 /v1/decisions를 통해 openai/gpt-6-luna-decisions를 호출할 수 있다. 하루 앞서 사이먼 윌리슨도 명령줄 도구 LLM에서 같은 API를 사용하는 플러그인 llm-openai-decisions 0.1a0을 공개했다.¹²

Decisions API는 문장을 생성하는 대신, 하나의 입력을 정해진 기준으로 판정해 확률·선택지·점수를 반환한다. 질문 유형은 예·아니요를 판단하는 predicate, 여러 항목 중 하나를 고르는 choice, 수치를 매기는 score 세 가지다. 한 요청에서 같은 입력을 두고 세 유형을 함께 물을 수 있어 요청 라우팅, 선별, 가드레일, 평가표 기반 채점에 맞는다.¹

버셀은 텍스트 생성용 openai/gpt-6-luna와 판정용 openai/gpt-6-luna-decisions를 별도 모델 ID로 구분한다. 후자를 지정한 요청은 Decisions API로 전달되며 해당 API 요금이 적용된다. AI Gateway에서는 GPT-6 Luna Decisions뿐 아니라 Jev, Liquid d1, Laya 같은 판정 모델도 선택할 수 있다. OpenAI SDK 외에도 버셀 AI SDK, 기존 /v1/evaluate HTTP API, AI CLI를 지원한다.¹

SDK 버전 조건도 있다. 자바스크립트용 OpenAI SDK에서 decisions.create를 쓰려면 7.30.0 이상, 파이썬은 3.26.0 이상이어야 한다. 버셀 AI SDK의 experimental_decide는 ai 7.0.128 이상이 필요하다. AI SDK에서는 질문을 이름별 키로 구성하며, 예·아니요 유형을 boolean이라고 부른다.¹

윌리슨의 플러그인은 다음 명령으로 설치한다.

llm install llm-openai-decisions

그가 공개한 예시는 이미지 URL을 첨부하고 “포유류가 있는가”를 물어 predicate 결과와 확률을 JSON으로 받는다. 윌리슨에 따르면 GPT-6 Luna 판정 모델은 텍스트뿐 아니라 이미지를 입력할 수 있다는 점에서 Jev와 다르다. 두 모델 모두 출력이 아니라 입력에만 과금하며, 입력 100만 토큰당 OpenAI는 0.10달러, Jev는 0.042달러다.²

다만 이 플러그인은 윌리슨이 OpenAI 문서를 GPT-6 Astra에 읽히고 기존 llm-typesafe를 참고해 만든 첫 알파 버전이다. 따라서 버셀의 공식 연동과 달리 초기 배포 단계라는 점은 구분할 필요가 있다. 윌리슨은 OpenAI와 Jev의 API 형태가 적어도 개념적으로 매우 비슷하다고 설명했다.²

읽기 목록은 이 브라우저에 저장됩니다.