IBM, 추론 특화 경량 LLM '그래니트 4.2' 3종 공개

ai.euno.news 자동 뉴스 요약

IBM이 30B 이하 경량급 모델로 구성된 추론 특화 대형언어모델(LLM) ‘그래니트(Granite) 4.2’ 3종을 공개했다. 허깅페이스 블로그에 게재된 IBM 그래니트 팀의 발표에 따르면, 이번 모델은 3B, 8B, 30B 세 가지 크기로 나오며 모두 아파치 2.0 라이선스로 풀렸다.

그래니트 4.2는 IBM이 처음 내놓는 ‘추론형(reasoning)’ 밀집 디코더 전용 모델군이다. 기존 그래니트 시리즈가 지시 수행에 강한 어시스턴트였다면, 이번 버전은 답을 내놓기 전에 사고 과정(chain of thought)을 거치는 능력을 명시적으로 넣었다. 모델은 깊이 생각하는 ‘싱킹(thinking)’ 모드와 곧바로 답하는 ‘논싱킹(non-thinking)’ 모드를 전환할 수 있고, 두 모드 사이에는 쉬운 질문에 짧은 추론 예산만 쓰는 ‘저부담(low-effort) 싱킹’ 모드도 마련했다.

세 모델은 크기만 다를 뿐 같은 아키텍처와 같은 학습 파이프라인을 공유한다. 사전학습부터 시작해 지도 미세조정(SFT), 다단계 강화학습(RL)까지 동일한 순서를 거친다. 다만 후반 학습 단계에서 크기별 차이가 갈린다. 8B와 30B 모델은 ‘에이전틱 RL’ 단계를 추가로 거치는데, 실제 샌드박스 환경 안에서 도구를 호출하고 코드를 작성·실행하고 터미널을 조작하고 웹을 검색하는 훈련을 받는다. 3B 모델은 이 단계를 거치지 않는다. 세 모델 모두 네이티브 도구 호출을 지원하며, vLLM 같은 OpenAI 호환 엔드포인트로 서빙하면 OpenAI 함수 호출 형식으로 도구 호출을 내보내 별도 연동 작업 없이 에이전트 프레임워크에 바로 꽂을 수 있다. SGLang에서도 지원되며, IBM은 SGLang용 서빙 예제(쿡북)도 함께 공개했다.

아키텍처는 그룹 쿼리 어텐션(GQA·40개 어텐션 헤드, 8개 KV 헤드), RoPE 위치 임베딩(θ=10,000,000), SwiGLU 활성화를 쓰는 MLP, RMSNorm(ε=1e-5)으로 구성된 밀집 트랜스포머다. 입력과 출력 임베딩은 묶지 않고 분리했으며, bfloat16 정밀도로 학습됐다. 세 모델의 구조적 차이는 아래와 같다.

사전학습은 약 15조 토큰 규모로 처음부터 진행됐으며, 5단계 전략을 따른다. 12단계는 기초 사전학습, 34단계는 데이터 품질을 점점 높여가는 ‘어닐링’ 방식의 중간학습, 5단계는 컨텍스트 윈도를 512K 토큰까지 늘리는 장문맥 학습이다. IBM은 이 사전학습 레시피가 이전 세대인 그래니트 4.1의 방식을 대체로 따른다고 밝혔으며, 데이터 구성과 단계별 일정, 장문맥 확장에 관한 자세한 내용은 그래니트 4.1 블로그를 참고하라고 안내했다.

이후 지도 미세조정 단계에서는 사고 과정, 추론, 에이전틱 궤적(agentic-trajectory) 데이터를 활용해 데이터 품질 관리를 거쳤다고 밝혔는데, 이 부분의 구체적인 절차는 원문 게시글에서 이어지는 대목이 잘려 있어 확인되지 않는다. 마찬가지로 다단계 RL 파이프라인의 세부 보상 설계나 벤치마크 성능 수치도 이번에 확보한 자료에는 포함돼 있지 않아, 실제 추론 성능이 동급 경량 모델과 비교해 어느 수준인지는 아직 판단하기 이르다.

읽기 목록은 이 브라우저에 저장됩니다.