딥시크 V3 구조, 순수 JAX 190줄로 재현

2분 딥시크 V3JAX오픈소스맥북 에어
최근 30일 조회수 — 좋아요 —

핵심 요약

MLA·MoE·균형 조정·MTP를 구현한 3,620만 매개변수 모델이 맥북 에어에서 처음부터 학습됐다.

딥시크 V3 구조, 순수 JAX 190줄로 재현 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

딥시크 V3(DeepSeek V3)의 핵심 구조를 190줄짜리 순수 JAX 코드로 재현하고, 맥북 에어에서 처음부터 학습한 오픈소스 프로젝트가 공개됐다. 바이바브 티와리(Vaibhaav Tiwari)가 만든 deepseek-v3-jax는 플랙스(Flax)·이퀴녹스(Equinox)·파이토치(PyTorch)를 쓰지 않는다. 매개변수는 배열을 담은 일반 딕셔너리이며, 모델의 각 부분도 deepseek_v3.py에서 위에서 아래로 읽을 수 있는 함수로 작성됐다.1

구현 범위는 단순한 트랜스포머에 그치지 않는다. 다중 헤드 잠재 어텐션(MLA)은 레이어마다 토큰 한 개를 처리할 때 키와 값 480개를 저장하는 대신 잠재값 144개만 캐시한다. 회전 위치 임베딩(RoPE)은 압축된 잠재값 밖에 두고 모든 헤드가 하나의 회전 키를 공유한다. 전문가 혼합 구조인 딥시크MoE(DeepSeekMoE)는 항상 실행되는 공유 전문가 1개와 라우팅 전문가 16개로 구성되며, 토큰마다 라우팅 전문가 4개를 선택한다.

전문가 쏠림을 줄이는 보조 손실 없는 균형 조정도 포함됐다. 전문가별 편향값으로 사용량이 적은 전문가가 선택되도록 하되, 전문가 가중치는 바꾸지 않는 방식이다. 여기에 가중치 α=1e-4인 시퀀스 단위 균형 손실과, 다음다음 토큰까지 예측해 전체 손실에 λ=0.3으로 반영하는 다중 토큰 예측(MTP)을 구현했다.1

공개된 기본 학습 결과는 다음과 같다.

항목결과
모델 크기3,620만 매개변수, 토큰당 1,360만 개 활성화
데이터탐정소설 207권, 학습 토큰 2,170만 개
학습1만2,000스텝, 약 9,800만 토큰, 약 2.6시간
장비메모리 24GB 맥북 에어 M5
처리 속도중앙값 초당 약 1만700토큰
검증 손실250스텝의 5.02에서 3.51로 감소

균형 조정의 효과도 수치로 확인됐다. 2,000스텝에서 편향을 적용하면 전문가별 부하가 5.76.9%로, 완전 균등한 6.25% 주변에 모였다. 편향이 없을 때는 0.0918.6%로 벌어졌다. 같은 시점의 검증 손실은 각각 3.921과 3.923으로 거의 같았다. 즉 공개된 한 차례 실험에서는 성능 손실 없이 전문가 사용량을 고르게 만들었다.

다만 저장소도 이를 강한 언어 모델이 아닌 ‘아키텍처 데모’라고 명시한다. 학습 자료가 공개 저작물 탐정소설로 제한됐고, 생성 예문 역시 짧은 문장 수준이다. 기본 실행 환경은 애플 실리콘 맥과 파이썬 3.12, 고정된 패키지 버전이며, 맥이 없는 경우 CPU에서도 실행할 수 있다. 배포 체크포인트는 임의 코드를 실행할 수 있는 파이썬 피클 형식이므로 신뢰할 수 있는 출처의 파일만 불러와야 한다.1

Footnotes

  1. Hacker News, 「GitHub - Vaibhaav-Tiwari/deepseek-v3-jax: DeepSeek V3 (MLA, DeepSeekMoE, aux-loss-free balancing, MTP) in 190 lines of pure JAX, trained on a MacBook Air」 ↩ ↩2 ↩3

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. GitHub - Vaibhaav-Tiwari/deepseek-v3-jax: DeepSeek V3 (MLA, DeepSeekMoE, aux-loss-free balancing, MTP) in 190 lines of pure JAX, trained on a MacBook Air. Write-up: vaibhaav.in/writing/deepseek-v3-jax — Hacker News

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.