Bug0, AI 탐색 동작 캐시로 회귀 테스트

ai.euno.news 자동 뉴스 요약

리니어바이츠(Linearbytes)가 자연어로 작성한 브라우저 테스트를 실행하고, 성공한 동작을 캐시해 반복 재생하는 Bug0 QA Agent를 공개했다. 소스 공개형 Playwright 라이브러리인 Bug0는 인공지능(AI) 에이전트의 유연성과 기존 자동화 테스트의 실행 속도를 결합해 회귀 테스트의 지연과 유지보수 부담을 줄이는 데 초점을 맞췄다.¹

기존 웹 테스트는 CSS 클래스, 속성, data-testid 같은 구현 세부 사항에 의존하는 경우가 많다. 요구사항이 그대로여도 화면 구조가 바뀌면 테스트를 다시 작성해야 하고, 비동기 처리나 네트워크 지연 때문에 불안정한 테스트가 생기기도 한다. 반대로 모든 브라우저 조작을 거대언어모델(LLM)에 맡기는 방식은 구현 변경에는 비교적 잘 대응하지만, 단계마다 수초의 지연과 API 비용이 더해진다. 같은 지시에도 동작이 달라질 수 있다는 문제도 있다.

Bug0는 최초 탐색과 이후 실행을 분리한다. 개발자는 표준 Playwright 명세 안에 “상품을 클릭한다”, “색상을 흰색으로 선택한다” 같은 단계를 영어로 선언한다. 첫 실행에서 에이전트는 접근성 트리와 화면 캡처를 살펴 UI를 파악한 뒤 지시를 수행한다. 단일 동작이 성공하면 이를 구체적인 브라우저 조작으로 컴파일해 메모리 기반 Redis 저장소에 캐시한다. 다음 실행부터는 LLM을 다시 호출하지 않고 Playwright가 캐시된 조작을 재생한다.

버튼 위치나 폼 계층이 바뀌어 재생에 실패하면 테스트 전체를 즉시 끝내지 않는다. Bug0가 해당 캐시를 무효화하고 멀티모달 에이전트를 다시 실행해 현재 UI에 맞는 동작을 찾는다. 다만 캐시는 단일 동작에만 적용된다. 여러 조작이 섞인 복합 지시는 실행할 때마다 에이전트를 거친다.

검증도 캐시하지 않는다. Claude와 Gemini가 매번 각 검증 항목을 독립적으로 판단하고, 의견이 갈리면 세 번째 모델이 결정한다. 비디오 모델로 자동 소멸 알림이나 잠깐 나타나는 오류 배너도 확인할 수 있다. mailsink와 Mailinator 어댑터를 이용해 일회용 비밀번호와 매직 링크를 자연어 지시로 추출하는 이메일 테스트도 지원한다. 다만 이런 다중 모델 검증은 재생 단계에서 줄인 지연과 별개로 매 실행마다 모델 호출 비용을 남긴다.¹

읽기 목록은 이 브라우저에 저장됩니다.