나델라, AI 모델에 비상 브레이크 촉구
최근 30일 조회수 — 좋아요 —핵심 요약
사티아 나델라는 AI 침해를 전제로 외부 통제·격리·검증·중단 장치를 표준화해야 한다고 주장했다.

마이크로소프트 최고경영자(CEO) 사티아 나델라(Satya Nadella)가 모든 인공지능(AI) 모델이 이미 침해됐다고 가정하고, 작업 도중이라도 사람이 가동을 중단할 수 있는 ‘비상 브레이크’를 마련해야 한다고 촉구했다. 고도화된 AI를 통제하기 어려운 블랙박스로 받아들이지 말고, 모델의 행동을 관찰·검증·차단할 수 있도록 신뢰 구조부터 다시 설계하자는 주장이다.1
나델라는 10월 10일 X에 올린 글에서 AI를 “겹겹이 쌓인 블랙박스”로 취급한 채 답변과 행동을 수용하거나 거부하는 방식만으로는 부족하다고 지적했다. 대신 모델과 모델의 작업을 지휘하는 실행 장치인 ‘하네스(harness)’를 분리하고, 통제 기능과 안전장치를 모델 외부에 둬야 한다고 제안했다. 모델 자체가 오작동하거나 침해되더라도 외부 장치로 활동 범위를 제한할 수 있게 하자는 뜻이다.1
핵심은 사후 대응보다 처음부터 격리를 전제로 설계하는 것이다. 나델라는 “모델이 침해됐다고 가정하고 처음부터 억제해야 한다”며, 권한을 가진 사람이 모델의 작업을 중간에 일시 정지하거나 완전히 종료할 수 있어야 한다고 밝혔다. 더버지에 따르면 그는 고도화된 모델일수록 더 정교한 격리 기술이 필요하며, 이를 표준화해야 한다고도 주장했다.2
통제만큼 기록과 검증도 강조했다. 의미 있는 모델 행동마다 사람이 읽을 수 있고 조작할 수 없는 증거를 남겨야 한다는 것이다. 신속한 사고 공개, 독립 감사, 검증 가능한 데이터 같은 업계의 기존 안전 요구와 맞닿아 있지만, 모든 모델을 잠재적으로 침해된 시스템으로 간주하자는 점에서는 한발 더 나아갔다고 더버지는 평가했다.2
이번 발언은 주요 AI 기업들이 모델 통제 실패로 보이는 사례를 잇달아 인정하고, 앤스로픽(Anthropic) CEO 다리오 아모데이(Dario Amodei)가 더 신중한 AI 개발 방안을 공개한 뒤 나왔다.1 다만 나델라가 글 전반에서 AI를 ‘초지능(super intelligence)’이라고 부른 점은 논란의 여지가 있다. 두 자료에는 현재 AI가 실제로 초지능에 도달했다는 근거나, 나델라가 제안한 비상 차단 장치를 어떤 기술과 기준으로 구현할지에 관한 구체안은 제시되지 않았다.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Microsoft’s Satya Nadella says AI models need an ‘emergency brake’ | TechCrunch — TechCrunch
- Satya Nadella says we should assume all AI models are ‘compromised’ — The Verge
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요.