앤스로픽, 워크벤치 없애고 무상태 플레이그라운드 도입

ai.euno.news 자동 뉴스 요약

앤스로픽(Anthropic)이 지난 8월 18일 개발자 콘솔의 프롬프트 테스트 도구였던 ‘워크벤치(Workbench)‘를 ‘플레이그라운드(Playground)‘로 교체했다. 더뉴스택(The New Stack)에 따르면 이번 교체는 단순한 이름 변경이 아니다. 저장된 프롬프트, 버전 기록, 평가(evals), 팀 공유 기능이 모두 사라졌고, 새 도구는 상태를 저장하지 않는(stateless) 방식으로 바뀌어 앤스로픽 서버에 아무것도 남기지 않는다. 기존 워크벤치에 데이터를 저장해둔 개발자는 9월 1일까지 내보내기를 해야 한다.

공교롭게도 같은 주에 오픈AI(OpenAI)도 비슷한 결정을 내렸다. 저장된 프롬프트와 평가 플랫폼을 11월 30일부로 종료한다고 발표한 것이다. 더뉴스택은 두 회사가 결국 같은 결론에 도달했다고 짚는다. 프롬프트는 웹 콘솔이 아니라 코드 안에 있어야 한다는 판단이다.

오픈AI의 플레이그라운드는 GPT-3 시절인 2020년 6월에 나온, ChatGPT보다 2년 반 앞선 도구다. 6년 된 이 도구와 나온 지 일주일밖에 안 된 앤스로픽의 신형 플레이그라운드를 비교한 것이 이번 기사의 핵심이다. 더뉴스택 필자는 앤스로픽이 실제로 쓸만한 도구를 내놓았는지, 아니면 ‘항상 무언가를 내놓는다’는 목표를 채우기 위해 형식적으로 만든 것인지 확인하려 했다고 밝혔다.

테스트 방식은 두 도구에 동일한 과제를 주는 것이었다. 코드 변경 사항을 읽고 위험도, 영향받은 파일, 한 줄 요약, 테스트 변경 여부를 정해진 JSON 형식으로 돌려주는 ‘PR 리뷰 봇’을 각 플레이그라운드에서 만들었다. 두 도구 모두 같은 지시문과 같은 코드 diff를 받았고, 테스트는 두 단계로 진행됐다. 하나는 봇을 만들어 실행한 뒤 내보내기 기능으로 실제 코드로 변환해 로컬 환경에서 돌아가는지 확인하는 것이었고, 다른 하나는 일부러 요청을 실패시켜 도구가 오류 원인을 얼마나 잘 설명하는지 보는 것이었다.

두 플레이그라운드 모두 구독 플랜에 포함되지 않아 별도로 크레딧을 충전해야 했다. 필자는 앤스로픽 계정에는 이미 18달러가량이 있었고, 오픈AI 계정에는 10달러를 추가로 넣고 테스트했다. 오픈AI가 11월에 없앨 예정인 저장 프롬프트, 버전 기록, 평가 기능은 테스트 대상에서 제외했다.

첫 번째 테스트에서 앤스로픽 플레이그라운드는 지시문과 diff를 입력하고 실행 버튼을 누르자 곧바로 정확한 결과를 냈다. 위험도 ‘낮음’, 수정된 파일 세 개, 한 줄 요약, 테스트 변경 여부까지 유효한 JSON으로 반환했고, 기본 모델인 claude-sonnet-5를 그대로 사용했다. 응답 시간은 1.9초, 토큰 사용량 102개, 비용은 0.0029달러였다. 내보내기 기능으로 만든 파이썬 코드도 수정 없이 그대로 터미널에서 실행됐고, 브라우저에서와 같은 JSON 리뷰 결과를 출력했다.

이어 오픈AI 차례가 됐다. 오픈AI의 플레이그라운드는 현재 ‘Chat’이라는 이름으로 바뀌었지만 프롬프트 테스트라는 용도는 동일하다. 화면에는 추론 강도와 응답 상세도를 조절하는 설정, 프롬프트를 자동으로 작성해주는 버튼 등 앤스로픽보다 많은 컨트롤이 있었다고 필자는 전한다. 다만 원문 자료는 오픈AI 쪽 테스트를 진행하기 직전, 크레딧이 부족했다는 대목에서 끊겨 있어 실제 실행 결과와 두 도구 간의 최종 비교는 이 자료만으로는 확인할 수 없다.

읽기 목록은 이 브라우저에 저장됩니다.