OpenAI, 성공 시에만 과금하는 AI 요금제 시험

ai.euno.news 자동 뉴스 요약

OpenAI가 AI 작업이 성공했을 때만 요금을 청구하는 성과 기반 과금 방식을 일부 기업 고객을 대상으로 시험하고 있다. 정보 매체 더 인포메이션이 처음 보도한 내용을 더뉴스택이 전하면서 알려졌다.¹ 지금까지 AI 업계는 모델이 원하는 답을 내놓든 완전히 빗나가든 사용한 토큰량에 따라 요금을 매겨왔다. OpenAI가 검토 중인 방식은 이 관행을 뒤집는다. 작업을 제대로 완수했을 때만 돈을 받겠다는 것이다.

OpenAI는 정확한 가격이나 무엇을 ‘성공’으로 판정하는지는 아직 공개하지 않았다. 하지만 이 발상은 AI 에이전트를 만드는 개발자들에게 만만치 않은 기술적 과제를 던진다. 고객이 작업 완료 시에만 비용을 내는 구조라면, 누군가는 그 작업이 언제 끝났는지를 정확히 판정해야 하기 때문이다. 더뉴스택은 이를 두고 에이전트가 성공했는지 판단하는 일이 토큰을 세는 것보다 훨씬 복잡하다고 짚었다.

판정이 쉬운 경우도 있다. 고객 지원 티켓이 사람 개입 없이 종결됐는지, 단위 테스트를 통과했는지, API가 기대한 응답을 반환했는지는 소프트웨어가 비교적 명확히 확인할 수 있다. 문제는 애매한 영역이다. 인증 버그를 고치라는 요청을 받은 코딩 에이전트가 코드를 다시 짜고 모든 테스트를 통과시켰지만, 그 패치가 배포 이후 다른 문제를 일으켰다면 어떻게 볼 것인가. 에이전트는 기술적으로 작업을 마쳤지만, 고객 입장에서는 성공이라 부르기 어렵다. 브라우저와 데이터베이스, 여러 API를 오가며 열 단계짜리 작업을 수행하는 장시간 에이전트라면 상황은 더 복잡해진다. 아홉 단계까지 마치고 마지막에 실패했을 때, 토큰 과금이라면 그동안의 작업량이 모두 청구 대상이지만 성과 과금에서는 이 실행 전체가 청구되지 않을 수도 있다.

이런 판정을 뒷받침하는 인프라가 바로 ‘평가(eval)‘다. 개발자들은 이미 모델과 에이전트의 문제를 잡아내는 데 평가 도구를 쓰고 있다. OpenAI가 제공하는 호스팅 도구는 응답을 기대값과 비교해 모델의 성능을 채점하고, Braintrust 같은 도구는 에이전트 실행 중 벌어지는 모델 호출과 검색, 툴 호출을 트레이스로 기록한 뒤 작업 완료 여부와 사실 정확도, 툴 사용의 적절성 같은 기준으로 점수를 매긴다. 단위 테스트 통과 여부처럼 이분법으로 가릴 수 있는 결과는 논쟁의 여지가 적다. 하지만 판단이 필요한 ‘시맨틱 평가’는 다르다. LLM을 심사관으로 쓰는 방식은 두 버전의 에이전트를 비교하는 데는 유용해도, 그 판단을 근거로 실제 과금을 결정하는 일은 별개의 문제라고 더뉴스택은 지적한다. 오판이 성공 쪽으로 나면 고객은 완성되지 않은 작업에 돈을 내게 되고, 반대로 실패 쪽으로 나면 벤더가 성공한 실행의 비용을 떠안게 된다.

더 근본적인 문제는 이해상충이다. AI 회사가 에이전트를 직접 돌리면서 성공 기준까지 스스로 정한다면, 자기 작업을 자기가 채점하고 그 결과로 고객에게 청구하는 셈이 된다. 월간 매출 보고서를 만들라는 요청은 결과물을 확인할 수라도 있지만, ‘좋은’ 보고서를 만들라는 요청은 누군가 별도로 품질을 판단해야 한다. 전환율 개선처럼 목표 자체가 모호한 작업이라면 에이전트의 기여도를 얼마로 잡을지 정하기는 더 어렵다. 에이전트가 고객 지원 요청을 제대로 처리했는데 고객사 CRM에서 타임아웃이 나는 것처럼, 에이전트 바깥에서 실패가 발생했을 때 책임을 누구에게 물을지도 아직 답이 없는 질문으로 남아 있다.

읽기 목록은 이 브라우저에 저장됩니다.