바이두, ERNIE 5.5 기반 모델 공개

ai.euno.news 자동 뉴스 요약

바이두가 대규모 사전학습 비용을 직접 부담하지 않고도 후속 연구를 시작할 수 있도록 ERNIE 5.5 Flash Base를 공개했다. 사전학습 직후의 가중치를 개방한 기반 모델로, 중간학습이나 지시 튜닝 같은 후처리는 적용하지 않았다. 개발자는 이미 확보된 범용 능력을 출발점으로 삼아 도메인 적응, 추론 강화, 에이전트 학습을 직접 설계할 수 있다.¹

ERNIE 5.5 Flash Base는 희소 전문가 혼합(Mixture-of-Experts·MoE) 구조를 쓴다. 전체 매개변수는 2,800억 개지만 토큰 하나를 처리할 때 활성화되는 매개변수는 140억 개다. 33조5,000억 토큰으로 처음부터 사전학습했으며, 학습 문맥 길이는 최대 12만8,000토큰이다. 미세조정과 추론에서는 최대 100만 토큰 문맥을 지원한다. 전체 용량을 키우면서도 매번 쓰는 연산량을 제한해 후속 학습과 실행 비용을 낮추려는 구성이다.¹

모델은 43개 트랜스포머 층, 4,096차원 은닉 상태, 64개 어텐션 헤드로 이뤄졌다. 장문 처리 비용을 줄이기 위해 MLA(Multi-head Latent Attention)와 HCA(Heavily Compressed Attention)를 섞었다. 7개 층 가운데 1개만 전체 문맥의 토큰 단위 정보에 접근하는 MLA를 사용한다. 나머지 HCA 층은 128개 토큰을 캐시 항목 하나로 압축한 뒤, 압축된 전체 기록과 최근의 짧은 비압축 구간을 함께 살핀다. 바이두 설명대로라면 전체 문맥에 대한 시야를 유지하면서도 캐시 규모를 완전한 문맥 어텐션보다 크게 줄일 수 있다.¹

층별 어텐션 비용에 맞춰 헤드 차원도 달리했다. 문맥을 128분의 1로 압축해 처리 비용이 낮은 HCA 층에는 512차원의 넓은 헤드를 배정하고, 비용이 큰 층에는 더 좁은 헤드를 쓰는 방식이다. 데이터 구성에서는 후속 단계에서 보강하기 어려운 저장소 규모 코드 이해와 장문 이해에 무게를 뒀으며, 아키텍처와 대규모 학습 시스템도 함께 설계했다.¹

다만 이번 공개물은 완성된 대화형 모델이 아니라 후속 학습 전 체크포인트다. 곧바로 지시를 따르는 제품 성능보다 연구자가 같은 출발점에서 학습법별 효과를 비교하고, 필요한 능력에 자원을 집중할 수 있게 하는 데 의미가 있다. 자료에는 다른 기반 모델과의 성능·비용 비교 수치가 없어 실제 절감 폭은 확인할 수 없다.

읽기 목록은 이 브라우저에 저장됩니다.