LLM 가중치 공간 프로그래밍 재현
최근 30일 조회수 — 좋아요 —핵심 요약
Astra는 프로그램을 신경망 가중치로 변환하고 입력층 단서를 읽었지만 규칙과 악성 행동 파악에는 한계를 보였다.

프런티어 대규모 언어 모델(LLM)이 작은 신경망의 가중치를 직접 작성하고, 기존 신경망의 가중치만 보고 학습 목적을 추정하는 ‘가중치 공간 프로그래밍’ 재현 연구가 공개됐다. 11월 16일 arXiv에 제출된 논문은 GPT-6 Astra가 수행하는 핵심 작업이 복잡한 학습이라기보다 사람이 설계한 프로그램을 가중치로 컴파일하고 입력층의 배치를 읽는 데 가깝다고 결론 내렸다.1
연구진은 MIT가 최근 보고한 실험을 사흘 동안 재현하고 범위를 넓혔다. Astra가 직접 작성한 벽돌깨기(Breakout) 신경망은 각각 514점, 550점, 307점을 기록했다. MIT가 보고한 517점과 비슷한 수준이며, 규칙을 바꾼 벽돌깨기 두 종류에서도 성능이 유지됐다. Claude Opus 5.5도 작동하는 신경망을 작성했지만 출력 토큰을 자주 소진했다.
| 실험 | 결과 |
|---|---|
| Astra 벽돌깨기 신경망 | 514·550·307점 |
| MIT 기존 결과 | 517점 |
| Astra 손글씨 숫자 분류 | 평균 50% |
| 단순 분류기 | 82% |
연구진은 새 능력의 핵심을 ‘프로그램에서 가중치로의 변환’으로 봤다. 이전 세대 모델도 정책을 코드로 작성할 수 있었지만, 신경망 가중치를 직접 만들지는 못했다. 서로 다른 두 모델이 Astra의 벽돌깨기 신경망을 파이썬 코드로 역컴파일했을 때, 시험한 모든 상태에서 원래 신경망과 같은 행동을 냈다는 점도 이 해석을 뒷받침한다. 다만 손글씨 숫자 분류에서는 Astra가 만든 신경망의 평균 정확도가 50%로 단순 분류기의 82%보다 낮았다.
가중치를 읽는 능력도 입력층에 크게 의존했다. Astra와 Opus 5.5는 신경망이 어떤 게임을 하는지 거의 완벽하게 알아냈다. 그러나 연구진이 새로 설계하고 학습한 게임 세 종류에서는 보드 위 물체의 위치는 복원하면서도 게임 규칙은 대부분 파악하지 못했다.
보안 감사 가능성은 확인됐지만 깊이는 제한적이었다. 코드를 실행하지 않고도 Astra는 학습 중 오염된 소형 언어 모델을 10회 모두 골라냈고, 사후 추가 학습으로 오염된 모델은 10회 중 7회, 악성 어댑터는 32회 중 23회 찾아냈다. 반면 공격을 작동시키는 트리거나 악성 행동의 내용은 한 번도 식별하지 못했다. 오픈 가중치 모델도 프런티어 모델보다 뒤처졌다. 논문이 제시한 결과는 가중치 공간 분석이 해석 가능성 도구로 쓰일 여지를 보여주지만, 현재 단계에서는 작은 신경망과 얕은 구조적 단서에 한정된 초기 실험이다.
Footnotes
-
arXiv, Replicating and Extending Weight-Space Programming: Frontier LLMs Compile Programs into Weights and Read Input Layers ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Replicating and Extending Weight-Space Programming: Frontier LLMs Compile Programs into Weights and Read Input Layers — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.