에디터 브리핑
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.
LLM 평가의 초점이 단발성 응답을 넘어 장기 의사결정과 사회적 중재의 안정성, 복잡한 에이전트의 보안으로 넓어지고 있다. 구단 운영 벤치마크, 시민 제안의 담당자 배정 실험, 시스템 프롬프트 추출 연구를 통해 성능뿐 아니라 누적 결과와 변동성, 공격 가능성을 함께 살펴볼 수 있다.
- 프로 구단 운영으로 LLM 장기 전략 평가
여러 시즌의 성적·재정·개선도를 함께 측정해 LLM의 장기 전략과 자원 배분을 어떻게 평가할지 보여준다. 단기 성과 중심 벤치마크의 한계를 보완하려는 설계가 핵심이다.
- LLM 시민 제안, 담당자 배정 불안정
같은 시민 의견도 실행과 입력 순서에 따라 담당자 배정과 소수 의견 반영이 달라질 수 있음을 보여준다. 공공 영역에서 대체안과 작성 목표를 공개해야 하는 이유를 짚는다.
- LLM 시스템 프롬프트 추출 기법 제안
복잡한 챗봇·에이전트의 시스템 프롬프트를 계층적으로 복원하는 공격과 평가법을 다룬다. 텍스트 유사도뿐 아니라 추출 결과의 실제 공격 활용도까지 봐야 한다는 문제를 제기한다.
· · 자동 요약이며 원문 출처를 함께 확인해 주세요.
최근 소식
기사 통계를 확인하고 있습니다.
-
프로 구단 운영으로 LLM 장기 전략 평가
GM 벤치는 LLM에 여러 시즌의 구단 운영을 맡겨 성적·재정·개선도를 함께 측정한다.
-
LLM 시민 제안, 담당자 배정 불안정
같은 시민 의견도 LLM 실행과 입력 순서에 따라 담당자 배정과 소수 의견 반영이 달라질 수 있다는 연구가 나왔다.
-
LLM 시스템 프롬프트 추출 기법 제안
ExtraHerO가 계층적 최적화로 챗봇·에이전트의 시스템 프롬프트 추출 성능을 높였다는 연구가 공개됐다.
-
툴스페이스, 실행 기록으로 장기 작업 환경 합성
실제 도구 호출 관계로 합성한 훈련 환경이 장기 도구 사용 벤치마크의 평균 성능을 높였다.
-
애플워치에 오디오 인텔리전스 추가
애플이 소리 감지와 대화 요약 등 기능을 시험하며 실용성과 상시 청취 우려가 함께 제기됐다.
-
엔비디아, GPU 장애 진단 AI 에이전트 공개
GPU 클러스터의 계층별 장애 원인을 분석하고 대응책을 제시하는 운영 에이전트를 공개했다.
-
엔비디아, 베라 루빈 지원 CUDA 13.5 출시
베라 루빈을 정식 지원하고 GPU 자원 분할과 MPS 제어·관리 기능을 강화한 CUDA 13.5가 출시됐다.
-
실제 기상경보 없으면 LLM 38% 오판
LLM은 실제 NWS 경보에 접근하지 못하면 최대 44.9%의 악천후 안내에서 잘못된 안도감을 줬다.
-
문맥 압축으로 장기 작업 비용 낮춘다
작업 상태를 자주 압축하면 긴 문맥 없이도 정확도를 유지하며 장기 추론 비용을 줄일 수 있다는 연구가 나왔다.
-
구글, 학교 AI·검색 연계 방침에 반발
학교가 생성형 AI를 제한하면 검색도 차단한다는 구글 방침이 독점 남용 논란을 일으켰다.
-
텐센트 Hy4, 버셀 AI 게이트웨이 합류
100만 토큰과 이미지 입력을 지원하는 Hy4가 버셀 AI 게이트웨이에 추가돼 연말까지 50% 할인된다.
-
음성 딥페이크 출처까지 찾는 VeriSpoof
VeriSpoof는 한 모델로 음성 딥페이크 탐지부터 생성 도구·합성 구간·공통 출처 분석까지 수행한다.