45개 언어 학습한 ‘라라 미니 베이스’ 공개

ai.euno.news 자동 뉴스 요약

영어를 포함한 45개 언어를 학습한 소형 언어모델 ‘라라 미니 베이스(Lara Mini Base)’가 공개됐다. 연구진은 6조 개 토큰으로 모델을 처음부터 학습했으며, 유럽연합(EU)의 24개 공식 언어를 모두 포함했다. 가중치는 CC BY-NC-SA 4.0으로 배포된다. 상업적 이용은 허용되지 않으며, 수정·재배포 때는 같은 조건을 따라야 한다.¹

라라 미니 베이스의 핵심은 전문가 혼합(Mixture of Experts·MoE) 구조다. 전체 매개변수는 72억 개지만, 토큰을 처리할 때 실제로 활성화되는 매개변수는 6억 개다. 전체 용량을 늘리면서도 연산량을 낮춰, 작은 모델에서 여러 언어가 한정된 용량을 놓고 경쟁하는 문제를 줄이려는 설계다. 문맥 길이는 최대 12만8천 토큰을 지원한다.¹

학습 데이터 구성도 기존 범용 모델과 다르다. 연구진이 검토한 공개 모델은 비영어권 사전학습 데이터 비중이 많아도 12%에 그쳤다. 반대로 유럽 언어에 집중한 기존 모델은 같은 크기의 범용 모델보다 평가 점수가 낮았다. 라라 미니 베이스는 학습이 진행될수록 영어를 제외한 44개 언어의 합산 비중이 영어보다 커지도록 했다. 언어 다양성을 성능 저하의 원인이 아니라 학습 자원으로 활용할 수 있다는 것이 논문의 주장이다.¹

연구진에 따르면 라라 미니 베이스는 활성 매개변수가 20억 개 이하인 공개 베이스 모델 가운데 영어·다국어·수학·코드 표준 벤치마크의 평균 점수가 가장 높았다. 특히 지원 언어를 대상으로 한 다국어 평가와 수학 평가에서 격차가 컸으며, 학습 토큰이 4~6배 많은 모델도 앞섰다. 양자화를 적용하지 않고 단일 GPU에서 한 명이 사용할 때는 평균 점수가 더 높은 모델보다 텍스트를 최소 1.8배 빠르게 생성했다고 연구진은 보고했다.¹

다만 이 수치는 논문 저자들이 정한 비교 범위와 벤치마크에 따른 결과다. 모든 공개 모델이 아니라 활성 매개변수 20억 개 이하의 베이스 모델을 대상으로 했다는 점도 함께 봐야 한다. 연구진은 후속 자료로 상식 추론 벤치마크 헬라스웨그(HellaSwag)를 110개 언어 변형으로 기계 번역한 ‘T-HellaSwag’도 공개할 예정이다.¹

읽기 목록은 이 브라우저에 저장됩니다.