완전 감사 가능한 오픈소스 언어모델 OPEN-1B 공개

ai.euno.news 자동 뉴스 요약

연구팀이 학습 과정 전체를 다른 하드웨어에서 그대로 재현해 검증할 수 있는 오픈소스 언어모델 ‘OPEN-1B’를 공개했다. arXiv에 게재된 논문 “OPEN-1B: A Fully Auditable Training Run”에 따르면, 이 모델은 학습 중 일어나는 모든 연산을 이기종 범용 하드웨어에서 비트 단위로 동일하게 재현할 수 있도록 설계됐다.¹

지금까지 오픈소스 모델들은 가중치와 학습 데이터, 학습 레시피를 공개해도 재현성을 증명하지 못했다. 논문은 그 원인을 부동소수점 연산의 비결합성(non-associativity)에서 찾는다. 같은 연산이라도 더하는 순서가 달라지면 결과값이 미세하게 달라지는데, 이 오차가 GPU 종류나 클러스터 구성에 따라 누적되면서 같은 학습 코드로도 다른 결과가 나온다. 딥러닝 프레임워크가 제공하는 결정론적(deterministic) 실행 모드는 같은 장비에서는 재현을 보장하지만, 하드웨어가 바뀌면 그 보장이 깨진다. 결국 누군가 공개한 체크포인트가 실제로 공개된 레시피대로 학습됐는지 제3자가 검증할 방법이 없었고, 이는 비공개 데이터 사용이나 편향 주입, 백도어 삽입 같은 문제를 배제하지 못하는 허점으로 남았다. 논문은 기존의 학습 증명(proof-of-learning)이나 학습 데이터 증명(proof-of-training-data) 기법으로도 이런 문제를 걸러낼 수 없었다고 지적한다.

연구팀은 이 문제를 해결하기 위해 ‘완전 감사 가능(fully auditable)‘이라는 새로운 투명성 등급을 제안한다. 핵심은 학습 중 비결정성이 발생하는 세 가지 지점, 즉 GPU 커널 연산의 리덕션(reduction) 순서, 데이터 병렬 클러스터에서의 배치 순서, 노드 간·노드 내 집단 통신(collective communication) 순서에 고정된 순서를 부여하는 것이다. 이렇게 하면 대규모 분산 학습의 개별 스텝 하나하나를 범용 하드웨어 한 대에서 재생(replay)해 공개된 학습 궤적과 대조 검증할 수 있게 된다.

다만 전체 학습 과정을 한 대의 장비로 처음부터 끝까지 재생하는 것은 현실적으로 불가능하다. 이를 보완하기 위해 연구팀은 여러 독립된 검증자(auditor)가 각자 개별 스텝을 나눠 검증하고, 이를 합쳐 전체 학습 과정을 커버하는 ‘집단 검증(collective verification)’ 방식을 함께 제시했다.

연구팀은 이 체계로 학습한 모델 OPEN-1B와 함께 전체 사전학습 데이터셋, 모든 중간 체크포인트, 학습 코드베이스, 그리고 각 학습 스텝을 재현·검증하는 데 필요한 감사 도구(audit harness)를 함께 공개했다. 논문은 이번 공개로 가중치와 데이터를 넘어 학습 과정 자체의 무결성까지 제3자가 독립적으로 확인할 수 있는 길을 열었다고 밝혔다.

읽기 목록은 이 브라우저에 저장됩니다.