EU AI법 기반 LLM 평가 도구 VERA 공개
최근 30일 조회수 — 좋아요 —핵심 요약
VERA는 EU AI법 기반 12개 기술 요건과 에너지 소비를 시각화해 LLM 배포 위험 검토를 지원한다.
유럽연합(EU) 인공지능법을 기술 요건으로 풀어 대규모 언어 모델(LLM) 배포 위험을 점검하는 오픈소스 대시보드 VERA가 공개됐다. VERA는 비엔지니어 심사자가 모델을 선택해 공개 벤치마크를 실행하고, 측정 가능한 책임 있는 AI 요건별 점수와 평가 과정의 에너지 소비량을 확인하도록 설계됐다.1
VERA가 겨냥한 문제는 규제 환경에서 기술 검증과 실제 승인 절차 사이의 간극이다. 기관이 LLM 배포를 승인하려면 책임 있는 AI 관행을 입증할 기술 자료가 필요하지만, 이를 만드는 벤치마크 도구는 대체로 명령줄에서 작동한다. 반면 결과를 검토하고 배포를 승인하는 담당자는 엔지니어가 아닐 수 있다. VERA는 원시 출력 파일을 읽고 해석해야 했던 과정을 셀프호스팅 웹 대시보드로 옮겼다.
평가 기준은 EU AI법의 기술적 해석 체계인 COMPL-AI를 따른다. COMPL-AI는 관련 증거를 6개 원칙 그룹과 18개 기술 요건으로 정리하며, 현재 벤치마크로 측정할 수 있는 요건은 이 가운데 12개다. VERA 역시 이 12개 요건만 점수화한다. 연구진은 서비스 형태로 구동한 오픈웨이트 모델 4개를 평가 파이프라인에 넣어 요건별 점수를 표시했다. 각 실행에서 소비한 에너지도 계측해 환경 영향에 관한 실행 단위 증거를 덧붙였다.1
같은 참가자가 원시 파일과 VERA를 각각 사용하는 방식으로 비교한 조직 내 연구에서는 책임 있는 AI 평가 시간이 평균 56초에서 30초로 줄었다. 26초, 비율로는 약 46% 감소한 셈이다. 설문에서 유용성 점수는 5점 만점에 4.36점이었다. VERA가 실제로 대형 유럽 은행의 책임 있는 AI 절차를 지원하도록 배포됐다는 점도 단순 시제품과 구별되는 대목이다.1
다만 VERA가 EU AI법 준수 여부 전체를 판정하는 것은 아니다. 18개 기술 요건 중 현행 벤치마크가 다룰 수 있는 12개만 평가하며, 논문 초록은 참가자 수나 모델별 점수도 밝히지 않았다. 따라서 공개된 결과는 대시보드가 기술 증거의 검토 속도와 접근성을 개선했다는 근거로 읽어야 한다. 연구진은 다른 조직에서도 결과를 재현할 수 있도록 대시보드와 연구 자료를 공개했다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- VERA: A Responsible AI Dashboard for Assessing LLM Deployments in Light of the EU AI Act — arXiv (cs.SE)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.