구글, LLM 강화학습용 제로-TIM 공개

2분 구글LLM강화학습TPU
최근 30일 조회수 — 좋아요 —

핵심 요약

구글이 샘플러와 트레이너의 로그확률을 비트 단위로 일치시키는 제로-TIM을 TPU에서 검증했다.

구글, LLM 강화학습용 제로-TIM 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

구글이 대규모 언어 모델(LLM)의 온폴리시 강화학습에서 샘플링과 학습 사이의 수치 불일치를 비트 단위로 없애는 제로-TIM(Zero Train–Inference Mismatch)을 공개했다. 같은 가중치와 토큰 이력을 입력했을 때 샘플러와 트레이너가 산출하는 로그확률을 허용 오차 없이 완전히 일치시키는 기법이다. 구글은 Tunix에서 이를 구현하고 TPU v5p 64개를 묶은 다중 호스트 환경(DP8×TP8)에서 검증했다고 밝혔다.1

온폴리시 강화학습에서는 업데이트에 쓰는 행동을 현재 정책과 정확히 같은 정책으로 생성하고 평가해야 한다. 동기식 학습 루프를 사용하면 롤아웃을 만든 가중치와 이를 평가하는 가중치는 맞출 수 있다. 그러나 실제 운영 환경에서는 토큰을 하나씩 생성하는 샘플러와, 배치 단위 순전파·역전파로 로그확률과 기울기를 계산하는 트레이너가 서로 다른 실행 경로를 쓴다. 이 때문에 가중치와 모델 수식이 같아도 동일한 토큰에 서로 다른 로그확률을 부여할 수 있다. 일정상으로는 온폴리시지만 수치 계산에서는 숨은 오프폴리시 간극이 생기며, 이 차이는 여러 턴에 걸친 궤적에서 누적된다.

원인은 부동소수점 연산의 특성에 있다. 합산 순서가 달라지면 반올림 지점도 달라지는데, 정밀도가 float32보다 낮은 bfloat16에서 차이가 더 잘 드러난다. 행렬곱의 부분합, 정규화 통계, 텐서 병렬 샤드의 출력 결합도 모두 이런 영향을 받는다. 기존 구성에서는 샘플러 디코딩과 트레이너 순전파가 서로 다른 토큰 배열 형태와 구현을 사용했다. JAX가 입력 형태에 맞춰 계산을 특수화하고 트레이너의 순전파는 미분 프로그램 안에서 실행되면서, 축약 순서와 중간 정밀도가 어긋났다.

제로-TIM은 샘플러 디코딩, 서빙 프리필, 트레이너 순전파라는 세 경로의 로그확률 원시 바이트를 비교한다. 디코딩과 프리필 비교로 서빙 엔진 내부의 일관성을 확인하고, 프리필과 트레이너 비교로 컴파일·미분 경계에서 생긴 차이를 가려낸다. 별도 엔진을 하나로 합치는 대신 샤드 내부 커널의 누산을 고정하고, 샤드 간 축약 순서를 정렬하며, 로그확률 계산 후단을 표준화하고, 서빙 커널에 사용자 정의 미분 규칙을 적용하는 방식이다. 다만 구글이 제시한 근거는 자체 구현과 TPU 환경의 검증 결과이므로, 다른 가속기나 소프트웨어 구성에서도 같은 안정성이 재현되는지는 이 자료만으로 판단할 수 없다.

Footnotes

  1. Google Developers Blog, “Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch — Google Developers Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.