포르투갈어 모델 안전 정렬, DPO는 실패
최근 30일 조회수 — 좋아요 —핵심 요약
Manacá 연구에서 안전-SFT는 효과를 냈지만 DPO는 실패했고 LLM 심사자의 표본 누락도 드러났다.

브라질 포르투갈어(PT-BR) 언어모델의 안전 정렬 실험에서 선호도 학습은 세 차례 모두 실패한 반면, 안전 데이터로 지도 미세조정한 방식은 뚜렷한 효과를 냈다. 10월 14일 arXiv에 공개된 Manacá-1B-Instruct-2 연구는 직접 선호 최적화(DPO)의 부정적 결과뿐 아니라, 모델을 채점하는 대규모 언어모델(LLM) 심사자가 일부 문항의 평가를 거부하면서 표본 수를 조용히 줄이는 문제도 확인했다.1
Manacá-1B-Instruct-2는 브라질 포르투갈어로 처음부터 사전학습한 17억2000만 매개변수 모델 Manacá-1B의 2세대 후처리 버전이다. 연구진은 29만1223개 예제로 지도 미세조정(SFT)을 수행하고, 별도로 세 가지 DPO 설정을 시험했다. 결과는 모두 부정적이었다. 특히 한 실험에서는 학습 중 보상 격차가 1.0에 도달했지만 자유 생성 결과는 전혀 달라지지 않았다. 학습 지표가 개선됐다는 이유만으로 실제 행동도 바뀌었다고 판단할 수 없다는 사례다.
안전성 향상은 DPO가 아니라 안전 응답을 집중적으로 학습한 안전-SFT에서 나왔다. 연구진은 이를 세 차례 다듬어 안전성과 유용성 사이의 경계를 개선했다. 안전-SFT에 섞는 일반 데이터 비율도 10%부터 60%까지 통제해 비교했는데, 과도한 답변 거부는 비율에 따라 일정하게 늘거나 줄지 않았다. 곡선이 크게 꺾이는 구간은 일반 데이터 40~50%였다.
최종 모델은 같은 문항으로 평가한 외부 PT-BR 모델 네 개보다 높은 안전성을 보였다. 윌슨 신뢰구간으로 계산한 Manacá-1B-Instruct-2의 안전성 하한은 94.1%였으며, 이는 네 비교 모델의 신뢰구간 상한을 모두 웃돌았다. 연구진은 짝지은 맥니마 검정과 홀름-본페로니 보정도 적용했다. 반면 일반 능력의 격차는 정렬 방식보다 사전학습 규모에서 비롯됐다고 분석했다.
평가 절차 자체에서도 결함이 드러났다. MT-Bench-PT의 안전 문항 6개 가운데 2개에서는 LLM 심사자가 평가 대상 답변과 무관하게 점수 부여를 일률적으로 거부했다. 오류를 내는 대신 응답하지 않아, 이 프로젝트의 기존 보고서마다 해당 범주의 실제 표본 수가 별도 경고 없이 감소했다. 연구진은 모든 코드와 원자료, 로그, 수치 재현 스크립트를 공개했다. 이번 결과는 정렬 기법뿐 아니라 심사자의 유효 응답 수까지 검증해야 안전성 비교를 신뢰할 수 있음을 보여준다.
Footnotes
-
arXiv, “Manacá-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Manacá-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.