IBM, 통합 AI 모델 Granite Switch 4.1 공개

ai.euno.news 자동 뉴스 요약

IBM이 채팅, 의사결정, 음성 인식을 한 엔드포인트에서 처리하는 Granite Switch 4.1을 공개했다. 80억·300억 매개변수 모델인 Granite-Switch-4.1-8B와 -30B에 기본 언어 모델과 여러 어댑터, 음성 인식 모델을 결합했다. 서로 다른 작업마다 모델과 서버를 따로 운영하는 대신, 하나의 모델·엔드포인트에서 요청에 맞춰 기능을 전환하는 구성이 핵심이다.¹

두 모델에는 범용 판단을 맡는 새로운 Decision aLoRA와 안전 관련 판단에 특화된 Guardian aLoRA가 들어간다. IBM이 허깅페이스 블로그에 공개한 자체 평가에 따르면 Guardian은 안전 판단 과제에서 평균적으로 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash보다 높은 성능을 냈다. 여기에 음성을 문자로 바꾸는 Granite-Speech-5.0-Turbo-CTC도 함께 탑재했다. IBM은 이 모델이 OpenASR 리더보드에서 가장 빠른 자동 음성 인식(ASR) 모델이라고 밝혔다.¹

기능을 늘렸지만 GPU 비디오 메모리(VRAM) 사용량은 기본 모델 하나를 올렸을 때와 거의 같다는 게 IBM의 설명이다. 각 어댑터가 기본 모델에서 생성한 키-값 캐시(KV cache)를 재사용하는 활성화형 LoRA(Activated LoRA)로 만들어졌기 때문이다. 최근 vLLM에 반영한 저랭크 어댑터 추론 최적화와 같은 위치에 배치한 ASR 인코더도 전환 지연을 줄인다. 공개 데모에서는 8B 모델이 실시간으로 음성을 받아 적고 요약한 뒤, 유해성 여부와 사용자가 지정한 15개 항목을 한 엔드포인트에서 검사한다.¹

IBM은 전문 어댑터를 추가하는 비용도 거의 들지 않는다고 주장한다. 30B 기본 모델에 전문 aLoRA 네 개를 결합한 구성은 Qwen 기반 모델과 범용 의사결정 LoRA 하나를 쓴 Jev-27B보다 실제 5단계 검색증강생성(RAG) 작업을 더 빨리 마쳤다. 별도로 만든 30억 매개변수 모델은 게임 Doom에서 초당 60~100회 판단해 Jev가 보고한 초당 10회를 웃돌았으며, 플레이 중 설명과 질의응답도 수행했다.¹

다만 공개 글에는 Guardian 평가의 과제별 점수나 RAG 속도 수치가 제시되지 않았다. IBM도 세부 정보와 데이터를 추후 공개하겠다고 밝혀, 경쟁 모델 대비 우위는 현재로서는 회사 측 시험 결과로 봐야 한다. 향후에는 이용자가 Granite Libraries의 어댑터를 조합하고 직접 학습할 수 있도록 Mellea용 Adapter SDK와 관련 튜토리얼을 내놓을 계획이다.¹

읽기 목록은 이 브라우저에 저장됩니다.