버셀, AI 게이트웨이에 사설 모델 통합

2분 버셀AI 게이트웨이프라이빗 인퍼런스
최근 30일 조회수 — 좋아요 —

핵심 요약

자체 호스팅·미세조정 모델을 공개 모델과 동일한 인증·API·관측 체계에서 운영할 수 있게 됐다.

버셀, AI 게이트웨이에 사설 모델 통합 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

버셀(Vercel)이 11월 16일 AI 게이트웨이에 ‘프라이빗 인퍼런스(Private Inference)’를 추가했다. 기업이 자체 호스팅하거나 미세조정한 모델, 정식 출시 전 모델의 엔드포인트를 연결해 공개 카탈로그 모델과 같은 인증·소프트웨어 개발 키트(SDK)·응용프로그램 인터페이스(API)·관측 체계로 운영하는 기능이다. 이전에는 사설 모델마다 키와 클라이언트 코드, 로그를 따로 관리해야 했지만, 이제 팀이 쓰는 모델을 AI 게이트웨이 한곳에서 다룰 수 있다는 게 버셀의 설명이다.1

프라이빗 인퍼런스는 Chat Completions, Responses, Messages API 요청을 사설 엔드포인트의 형식에 맞게 변환한다. 따라서 개발자는 클라이언트 코드를 새로 짜지 않고 모델 ID만 바꿔 사설 모델과 카탈로그 모델을 전환할 수 있다. 사설 엔드포인트에 장애가 생기면 앤트로픽 등 카탈로그 모델을 대체 모델로 지정하는 것도 가능하다.

접근 범위는 해당 버셀 팀으로 제한된다. 사설 모델은 공개 카탈로그에 표시되지 않으며, 자격 증명은 암호화해 저장한다. 공급자별로 데이터 무보관(Zero Data Retention) 설정도 켤 수 있다. 다만 이는 버셀이 발표한 제품 사양이며, 구체적으로 지원하는 모델 유형과 요건, 과금 방식은 별도 문서를 확인해야 한다.

운영 지표도 하나로 합쳐진다. 사설 모델 요청은 카탈로그 모델 트래픽과 함께 로그, 트레이스 드레인, 맞춤형 보고서에 기록된다. 관측 차트에서는 사설 모델별 요청 수와 토큰 수, 첫 토큰이 나올 때까지 걸린 시간을 나눠 볼 수 있다. Claude Code, Codex, Cursor처럼 AI 게이트웨이에 연결된 코딩 에이전트에서도 사설 모델을 호출할 수 있다.

설정하려면 프라이빗 인퍼런스 페이지에서 기본 URL, API 형식, 자격 증명을 입력해 사설 공급자를 만든 뒤 제공할 모델을 등록한다. 버셀 CLI 65.16.0 이상에서도 등록할 수 있으며, 호출할 때는 private/<slug> 형식의 모델 ID를 쓴다. 이 기능의 의미는 새 추론 엔진을 제공한다는 데 있지 않다. 조직 내부 모델과 외부 카탈로그 모델 사이에 놓였던 인증·코드·모니터링의 경계를 AI 게이트웨이에서 통합한다는 데 있다.

Footnotes

  1. Vercel Blog, “AI Gateway now supports Private Inference” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. AI Gateway now supports Private Inference - Vercel — Vercel Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.