AI4Bharat·엔비디아, 인도 언어 말뭉치 공개
최근 30일 조회수 — 좋아요 —핵심 요약
인도 22개 언어를 아우르는 2조8천억 토큰 말뭉치와 GPU 가속 생성 파이프라인이 공개될 예정이다.
AI4Bharat와 엔비디아(NVIDIA)가 인도 22개 언어를 아우르는 약 2조8천억 토큰 규모의 사전학습 말뭉치 Nemotron-pretraining-Indic-v1을 공개할 계획이다. 데이터뿐 아니라 이를 만든 GPU 가속 생성 파이프라인도 함께 공개한다. IIT 마드라스 산하 인도 언어 연구소 AI4Bharat와 엔비디아가 공동 개발했으며, 구체적인 공개 시점은 아직 제시하지 않았다.1
22개 언어는 인도 헌법에 명시된 언어들이다. 2011년 인구조사를 기준으로 인도인의 97%, 약 12억 명이 이 가운데 하나를 제1언어로 쓴다. 전체 구성은 젬마-4(Gemma-4) 토크나이저로 계산한 원문자 표기 2조6,010억 토큰과 로마자 표기 2,246억 토큰이다. 합계는 2조8,256억 토큰으로, 발표에서 이를 약 2조8천억 토큰으로 표현했다. 다만 문서 수에는 같은 영어 원문의 번역본과 문자 표기 변형이 각각 포함돼 있어, 고유한 영어 원문 개수를 뜻하지는 않는다.1
벵골어·구자라트어·힌디어·칸나다어·말라얄람어·마라티어·네팔어·오디아어·펀자브어·타밀어·텔루구어·우르두어 등 12개 언어는 원문자와 로마자 데이터를 모두 제공한다. 아삼어·보도어·도그리어·카슈미르어·콘칸어·마이틸리어·마니푸르어·산스크리트어·산탈어·신디어 등 10개 언어는 원문자 데이터만 담는다. 모두 34개 언어·문자 조합이다.1
이번 공개의 핵심은 말뭉치의 크기만이 아니다. 파이프라인에는 프롬프트, 거대언어모델(LLM) 작업 흐름, 품질 검사 절차가 포함된다. 수학·코드·질의응답 등 선별된 영어 자료를 문서 단위로 번역한 뒤 품질을 평가하고 필요한 부분을 보정한다. 수식과 표, 코드가 보존됐는지도 검사하며, 각 생성 결과를 원문과 대조할 수 있도록 출처 문서를 연결했다. 개발자는 말뭉치를 그대로 쓰거나 자체 문서에 맞춰 프롬프트와 검사를 수정할 수 있다.1
엔비디아는 이 말뭉치와 자연 작성 인도 언어 자료에서 12개 언어, 100억 토큰을 골라 Nemotron 3.5 Super VL의 추가 사전학습에 사용했다. 다만 AI4Bharat와 엔비디아도 합성 데이터가 현지 지식과 문화적 맥락을 담은 자연 작성 자료를 대신하지는 않는다고 밝혔다. 이번 자원은 그 부족분을 보완하고, 데이터 생성 과정을 재현·확장할 수 있게 공개했다는 데 의미가 있다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline — Hugging Face Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.