ai.euno.news
패밀리 사이트

새 글 수는 최근 24시간 발행 기준입니다.

AI 소식을 출처와 함께

메뉴

코히어, 기밀 컴퓨팅 ‘모델 볼트’ 공개

2분 코히어모델 볼트기밀 컴퓨팅오픈 모델
최근 30일 조회수 — 좋아요 —

ai.euno.news 자동 뉴스 요약

핵심 요약

코히어가 전용 인프라와 추론 중 암호화를 지원하는 기업용 오픈 모델 운영 서비스 ‘모델 볼트’를 공개했다.

코히어, 기밀 컴퓨팅 ‘모델 볼트’ 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

코히어(Cohere)가 자사 모델뿐 아니라 주요 오픈 모델을 전용 인프라에서 운영할 수 있는 ‘모델 볼트(Model Vault)’를 공개했다. 기밀 컴퓨팅을 적용한 ‘모델 볼트 인크립티드(Model Vault Encrypted)’에서는 프롬프트와 응답을 전송·저장할 때뿐 아니라 추론 처리 중에도 암호화해, 코히어와 클라우드 사업자조차 평문을 볼 수 없다는 것이 회사 설명이다.12

표준 볼트는 DeepSeek, GLM, MiMo, Nemotron, Gemma, GPT-OSS, Phi, Qwen, Mistral AI 계열 모델을 지원한다. 암호화 볼트에서 쓸 수 있는 오픈 모델은 Gemma, GPT-OSS, Phi, Qwen, Devstral, Ministral로 범위가 더 좁다. 오픈 모델은 볼트 전용 엔드포인트에서 오픈AI 호환 Chat Completions API로 호출한다. 프롬프트와 응답을 보관하지 않는 제로 데이터 보존(Zero Data Retention)은 기본으로 켜진다.1

각 고객에게는 로드밸런서와 서빙 미들웨어, 추론 서버, GPU가 따로 배정된다. 공유 인프라의 자원 경합이나 호출 속도 제한 없이 최소·최대 복제본 수와 자동 확장을 설정할 수 있으며, 비용은 복제본이 사용하는 GPU 수와 운영 시간을 기준으로 매겨진다. 코히어가 배포와 업데이트, 확장을 맡기 때문에 기업은 자체 서빙 스택을 운영하지 않고도 모델과 GPU를 고를 수 있다.3

암호화 볼트의 핵심은 CPU와 GPU를 아우르는 하드웨어 기반 신뢰실행환경(TEE)이다. CPU에는 Intel TDX나 AMD SEV-SNP 기반 기밀 가상머신을, GPU에는 엔비디아의 기밀 컴퓨팅 모드를 쓴다. 클라이언트 환경에서 실행되는 코히어 OHTTP 프록시는 원격 증명을 검사한 뒤에만 요청을 암호화해 전송하며, 검증에 실패하면 연결을 거부한다. 따라서 암호화 볼트 엔드포인트를 직접 호출할 수는 없고, 로컬 프록시나 파이썬 conseel 패키지를 거쳐야 한다.24

다만 검증 증거의 성격은 하드웨어에 따라 다르다. Intel TDX의 증명 토큰은 Intel Trust Authority가 서명해 제3자가 사후 검증할 수 있지만, AMD SEV-SNP에서 프록시가 만든 토큰은 임시 키로 서명돼 이후 제3자가 확인할 수 없다.5 서비스 지역도 차이가 있다. 표준 볼트는 미국·유럽연합·캐나다에서 제공되지만, 암호화 볼트는 현재 미국에서만 운영되며 유럽연합과 캐나다 지원 시점은 아직 제시되지 않았다.1

Footnotes

  1. Cohere Docs, 「Open Models and Regional Serving in Model Vault」 ↩ ↩2 ↩3

  2. Cohere Docs, 「Encrypted Vault Overview」 ↩ ↩2

  3. Cohere Docs, 「Model Vault Overview」 ↩

  4. Cohere Docs, 「Calling an Encrypted Vault over the API」 ↩

  5. Cohere Docs, 「Compliance」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Cohere Documentation — Cohere Docs
  2. Cohere Documentation — Cohere Docs
  3. Cohere Documentation — Cohere Docs
  4. Cohere Documentation — Cohere Docs
  5. Cohere Documentation — Cohere Docs

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요.

관련 글