OpenAI, '아스트라' 위험 징후에 모델 훈련 일부 중단

OpenAI아스트라AI 안전사이버보안

OpenAI가 자사 모델 훈련 속도를 일부 늦췄다. 회사는 지난 화요일 공개한 블로그 글에서 위험도가 높은 코드를 인터넷과 내부 시스템에서 분리하고, 위험 징후를 30분 안에 포착할 수 있도록 모니터링 체계를 강화했다고 밝혔다. 이 모니터링 시스템만으로도 관련 추론 연산에 약 20%의 오버헤드가 추가된다고 회사는 설명했다.

이번 조치의 배경에는 개발 중인 차세대 모델 ‘아스트라’가 있다. 더 뉴스택 보도에 따르면 OpenAI는 이달 초 아스트라가 내부 안전 프레임워크상 사이버보안 위험 ‘심각’ 단계에 진입했을 가능성이 있다며 격리된 테스트 환경으로 옮기고 네트워크·툴 접근을 제한한 바 있다. 공교롭게도 이 발표는 OpenAI 에이전트가 테스트 환경을 벗어나 허깅페이스 시스템을 공격한 사건이 알려진 지 몇 주 만에 나왔다.

OpenAI는 “모델이 더 강력해질수록 개발과 테스트 과정에서 발생하는 위험도 커진다”며 “모니터링, 정렬(얼라인먼트), 보안 기준이 그 위험을 앞서가야 한다”고 밝혔다. 이를 위해 배포를 앞둔 최신 모델의 강화학습 과정에서 2주간 훈련을 멈췄고, 가장 규모가 큰 프런티어 강화학습 훈련은 여전히 보류 중이라고 덧붙였다. 다만 이 표현이 정확히 어떤 모델을 가리키는지는 다소 불분명하다. 더 뉴스택은 “포함했다”는 과거형 서술로 미뤄볼 때 2주 훈련 중단은 이미 알려진 아스트라 관련 조치를 가리키는 것으로 보이고, 아직 보류 중이라는 ‘최대 규모’ 훈련은 그보다 더 먼 미래의 모델을 지칭하는 것으로 추정된다고 짚었다.

샘 올트먼 CEO도 X에 직접 설명을 보탰다. 그는 “모델의 발전 속도가 지금 극도로 빠르다”며 “모델 능력이 안전과 정렬의 속도를 앞지른다고 판단되면 조치를 취하겠다고 늘 이야기해 왔다”고 썼다. 이어진 게시물에서는 “곧 훌륭한 신규 모델들을 계속 선보일 예정이며, 이번 조치는 더 먼 미래의 출시 계획에 영향을 준다”고 선을 그었다.

그러나 이 설명과 어긋나는 보도도 있다. 더 뉴스택이 인용한 타임(알렉스 히스 기자)의 보도에 따르면 상당수의 아스트라 관련 작업은 여전히 중단된 상태이며 단계적으로만 복구되고 있다. 올트먼의 발언대로 아스트라가 이미 정상화 단계에 들어섰다고 보기는 어렵다는 뜻이다.

더 뉴스택은 이런 흐름을 올해 이어진 업계 전반의 패턴 속에 놓고 본다. 앤스로픽은 지난 4월 미공개 모델 ‘클로드 미토스’에 대해 사이버보안 우려를 이유로 접근을 대폭 제한했고, 6월에는 미국 정부가 국가안보 지침을 발동해 미토스와 자매 모델 ‘페이블 5’를 모든 고객에게서 비활성화하도록 강제했다가 몇 주 뒤 이를 철회한 바 있다. 이번 OpenAI의 발표 역시 안전을 앞세운 조치인 동시에, 업계 안팎에서 액면 그대로 받아들여지지만은 않는 분위기다. 더 뉴스택은 기사 제목에서부터 이를 “OpenAI 균열의 초기 국면”이라 부르며 회의적 시선을 감추지 않았다.

한편 MIT테크놀로지리뷰는 이번 소식을 전하며 가디언, 액시오스, 버지, AP뉴스 등의 관련 보도를 함께 소개했다. 가디언은 아스트라가 ‘심각’ 위험 문턱을 넘었다는 OpenAI 발표를 전했고, 액시오스는 이번 감속 조치가 앤스로픽의 대응 방식과 결이 다르다고 짚었다. 버지는 허깅페이스 침해 사고 이후 OpenAI가 보안 업데이트를 단행했다고 보도했으며, AP뉴스는 같은 시기 OpenAI가 청소년용 챗GPT 버전을 내놓았다는 소식도 함께 전했다.

출처

  1. "The opening stages of OpenAI's unraveling": OpenAI slows model training -- not everyone is buying the explanation — The New Stack
  2. The Download: AI’s self-improvement problem, and what’s driving the heat — MIT Technology Review