젯브레인스, Koog 프롬프트 최적화 공개

ai.euno.news 자동 뉴스 요약

젯브레인스 리서치(JetBrains Research)가 코틀린 에이전트의 프롬프트를 자동으로 다듬는 실험용 라이브러리 ‘Koog Agents Optimization Library’를 공개했다. 개발자가 초안 지시문과 학습 데이터, 출력 평가 방식을 지정하면 라이브러리가 에이전트를 반복 실행해 더 나은 지시문을 찾는다. 최적화 결과는 별도 JSON 파일로 저장되므로 사람이 검토한 뒤 버전 관리 시스템에 반영할 수 있으며, 에이전트 자체를 다시 작성할 필요는 없다.¹

이 라이브러리는 젯브레인스의 코틀린 에이전트 프레임워크 Koog를 대상으로 한다. Koog는 에이전트의 제어 흐름을 노드와 간선으로 이뤄진 타입 그래프로 표현하고, 단계마다 프롬프트와 도구, 모델을 배치한다. 최적화할 단계에서는 기존 subgraphWithTask를 optimizableSubgraphWithTask로 바꾸고 지시문을 optimizableInstruction 매개변수로 분리한다. 그래프의 흐름은 그대로 유지되며, 저장된 최적화 결과가 없을 때는 개발자가 작성한 원래 지시문으로 실행된다.

젯브레인스가 공개한 예제는 프롬프트 최적화 기법 GEPA를 사용한다. GEPA는 학습 세트에서 에이전트가 낸 성공과 실패를 다른 모델에 보여주고, 이를 바탕으로 지시문을 수정한다. 시험 대상은 개인정보가 포함된 사용자 질의를 다루는 PUPA 벤치마크와 개인정보 보호 파이프라인 PAPILLON의 Koog 이식판이다. 에이전트는 질문에서 개인정보를 제거한 뒤 큰 외부 모델에 전달하고, 그 응답을 토대로 최종 답변을 작성한다. 이 과정에서 개인정보 제거와 최종 응답 작성 단계의 지시문을 최적화 대상으로 삼았다.

젯브레인스 발표에 따르면 GEPA 적용 뒤 PUPA 점수는 81.19에서 94.22로 13.03점 올랐다.¹ 다만 이는 특정 개인정보 보호 파이프라인과 벤치마크에서 얻은 결과다. 다른 에이전트나 업무에서도 같은 폭으로 개선되는지는 제시된 자료만으로 확인할 수 없다. 또한 결과물을 자동 적용하지 않고 JSON으로 분리한 설계는 프롬프트 변경을 코드처럼 검토하고 기록하려는 실험의 성격을 보여준다.

읽기 목록은 이 브라우저에 저장됩니다.