허깅페이스, 추론 라우터를 오픈라우터로 교체

최근 30일 조회수 — 좋아요 —

핵심 요약

기존 API를 유지하면서 가격·속도·안정성에 따라 오픈웨이트 모델 제공자를 자동 선택한다.

허깅페이스, 추론 라우터를 오픈라우터로 교체 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

허깅페이스(Hugging Face)가 언어 모델용 인퍼런스 프로바이더(Inference Providers)의 자체 라우터를 오픈라우터(OpenRouter)로 교체했다. 이에 따라 허깅페이스 허브에서 제공자가 지원하는 오픈웨이트 모델은 기존 허깅페이스 토큰과 같은 API로 호출하면서, 요청마다 가격·속도·안정성을 종합해 실행 업체를 자동으로 고를 수 있다. 기존 코드는 바꿀 필요가 없다.1

오픈라우터는 80곳이 넘는 제공자의 상태를 실시간으로 측정한다. 첫 번째 제공자가 느려지거나 오류를 내면 트래픽을 다른 곳으로 돌리고, 실패한 요청도 같은 호출 안에서 차선 제공자에게 다시 시도한다. 오픈라우터 자체 측정에서는 새 라우팅 방식이 용량 오류를 46% 줄였고, 첫 토큰이 나오는 시간과 처리량을 각각 16.9%, 16.3% 개선했다. 대화별 프롬프트 캐시를 보유한 제공자를 계속 이용하며, X-HF-Session-Id 헤더에 대화마다 고정된 UUID를 보내 이를 명시할 수도 있다.

기본 설정은 비용·속도·안정성의 균형을 택하지만 모델 ID 뒤에 접미사를 붙여 정책을 정할 수 있다. :fastest는 처리량, :cheapest는 최저가를 우선하며 :novita처럼 특정 제공자만 지정하는 방식도 지원한다. 모든 채팅 모델에서 OpenAI의 Chat Completions·Responses API와 Anthropic의 Messages API를 쓸 수 있어 Claude Code, Codex 같은 기존 도구와 SDK도 그대로 연결된다.

통합 배경에는 오픈웨이트 모델 사용량의 급증이 있다. 오픈라우터에서 오픈웨이트 모델이 차지한 토큰 비중은 2025년 10월 26.8%에서 2026년 9월 말 71.7%로 늘었고, 같은 기간 주간 처리량은 60배 넘게 증가했다. 폐쇄형 모델의 증가 폭은 약 10배였다. 평균 비용도 오픈웨이트 모델이 입력 100만 토큰당 0.28달러, 출력은 1.62달러로, 폐쇄형 모델의 1.27달러와 6.36달러보다 약 4분의 1 수준이다.

다만 성능 격차는 남아 있다. Artificial Analysis Intelligence Index에서 최고 오픈웨이트 모델인 Kimi K3.1 Pro는 46점으로 Claude Fable 5.2의 65점에 못 미쳤다. 대신 작업당 비용은 3.68달러로 26.54달러의 약 7분의 1이었다. 이번 통합은 이 비용·성능 절충안을 쉽게 선택하게 하지만, 최고 난도 작업에서도 폐쇄형 모델과 동등한 성능을 보장한다는 뜻은 아니다. 요금은 제공자 가격 그대로 허깅페이스 청구서에 반영되며 별도 마진은 붙지 않는다.1

Footnotes

  1. Hugging Face Blog, 「Hugging Face and OpenRouter join forces to make open-weight models easy to run」 ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Hugging Face and OpenRouter join forces to make open-weight models easy to run — Hugging Face Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.