메타, 코딩 특화 모델 ‘뮤즈 스파크 오픈’ 공개

ai.euno.news 자동 뉴스 요약

메타가 코딩과 도구 호출에 초점을 맞춘 오픈웨이트 멀티모달 모델 ‘뮤즈 스파크 오픈(Muse Spark Open)’을 공개했다. 이 모델은 텍스트뿐 아니라 이미지·문서·음성·영상도 입력받아 코드베이스를 읽고, 코드를 작성·디버깅하며, 여러 단계에 걸쳐 도구를 호출한다. 출력은 텍스트로 제한된다.¹

뮤즈 스파크 오픈은 전문가 혼합(Mixture-of-Experts·MoE) 구조를 쓴다. 전체 매개변수는 8160억 개지만 토큰마다 256개 전문가 가운데 8개만 선택해 약 420억 개를 활성화한다. 대형 모델의 용량을 유지하면서 매번 수행하는 연산은 줄이는 방식이다. 언어 모델은 62개 층으로 구성되며, 전문가가 전체 매개변수의 약 97%를 차지한다. 문맥 창은 최대 100만 토큰이어서 메타는 의존성과 레거시 코드, 수천 개 파일을 포함한 프로젝트를 한 번에 다룰 수 있다고 설명했다.¹²

훈련 목표도 단발성 코드 완성보다 장시간 이어지는 에이전트 작업에 맞췄다. 여러 파일을 고치는 리팩터링, 긴 디버깅, 테스트 실패 뒤 재시도처럼 계획하고 실행한 뒤 결과를 관찰해 스스로 수정하는 흐름이다. 18억 매개변수 규모의 인식 인코더는 텍스트와 이미지, 영상 프레임, 음성을 함께 처리한다. 따라서 화면 캡처의 오류를 읽거나 음성 메모와 화면 녹화를 참고하면서 코드를 다루는 작업을 한 모델 안에서 수행할 수 있다.¹²

배포판은 BF16과 엔비디아 블랙웰용 4비트 형식인 NVFP4로 제공된다. BF16 체크포인트만 약 1.5TB이며, 허깅페이스 설명 기준으로 transformers에서 실행하려면 H200 GPU 8개짜리 노드 4대가 필요하다. NVFP4는 B200 단일 노드에서 구동할 수 있다.¹ 애플 실리콘에서는 통합 메모리 512GB를 갖춘 M5 울트라 맥 스튜디오 두 대와 MLX를 이용해 전체 모델을 올릴 수 있다는 것이 메타의 설명이다.³

‘오픈웨이트’가 곧 가벼운 로컬 모델을 뜻하지는 않는다. 토큰당 연산량은 420억 매개변수 수준이어도 추론 장비는 전체 8160억 매개변수를 메모리에 보관해야 한다. 라이선스 역시 제한적 상업 조건을 둔 Muse Model License다.³⁴ 메타가 강조한 최초 시도 정확도와 도구 호출 성능도 제공된 자료에는 비교 수치가 없어, 실제 효율과 품질은 각 개발 환경에서 따로 검증해야 한다.

읽기 목록은 이 브라우저에 저장됩니다.