토스, QA 자동화 플랫폼 '토션' 공개

ai.euno.news 자동 뉴스 요약

토스가 테스트가 스스로 동작하는 범위를 넓히는 것을 목표로 한 자체 자동화 체계 ‘토션(Tossion)‘을 공개했다. 토스 QA Platform 팀이 사내 기술 블로그 Toss Tech에 올린 글에 따르면, 이 플랫폼은 상용 테스트 관리 도구 TestRail을 대체하는 것에서 출발해 PRCheck, tcgen 등 여러 도구를 더해가는 방향으로 확장됐다.¹

토스는 매주 새 버전을 배포하며, 배포마다 평균 300~400건의 코드 변경이 들어간다고 밝혔다. 이 변경을 사람이 일일이 손으로 검증하는 방식으로는 속도를 따라갈 수 없다는 판단이 토션 개발의 배경이다. QA Platform 팀은 상용 도구가 정해 놓은 워크플로에 업무를 맞춰야 하는 한계, 새로운 AI 기능을 필요할 때 유연하게 붙였다 뗄 수 없는 제약을 이유로 자체 플랫폼을 직접 구축하기로 했다고 설명했다.

토션 안에는 여러 도구가 붙어 있다. 릴리즈 후보가 올라오면 ‘토스닥터(Toss Doctor)‘가 로그인부터 탈퇴까지 핵심 기능을 빠르게 훑는 스모크 테스트를 수행하고, ‘토스체커(Toss Checker)‘가 이번 주 변경이 기존 기능을 깨뜨리지 않았는지 확인하는 리그레션 테스트를 맡는다. 여기에 매주 쏟아지는 PR(Pull Request)을 사람이 전부 검토할 수 없다는 문제를 풀기 위해 PR 분석기 ‘PRCheck’를 붙였다. PRCheck는 변경 사항이 어디에 영향을 주는지, 무엇을 테스트해야 하는지를 버그 위험도와 우선순위까지 함께 짚어준다.

테스트 케이스 작성 부담을 줄이는 도구도 별도로 마련했다. PRD와 디자인 문서 등 흩어진 맥락 정보를 모아 테스트 케이스 초안을 자동으로 만들어 주는 ‘tcgen’이다. 처음부터 손으로 작성하는 대신 초안을 받아 검토에 집중하도록 설계했다. 이 밖에 매뉴얼 테스트와 자동화 테스트 결과를 한 화면에서 볼 수 있는 통합 페이지, 핫픽스 원인을 분류하고 재발 방지 대책을 기록하는 대시보드도 토션에 포함됐다. 여러 봇으로 흩어져 있던 자동화 기능은 ‘토스버틀러(Toss Butler)’ 하나로 통합했다.

토스 QA Platform 팀은 이번 자동화의 목표를 “테스트가 스스로 동작하는 범위를 넓히는 것”이라고 밝히면서도, 모든 판단을 AI에 넘기는 것은 아니라고 선을 그었다. 맡겨도 되는 판단은 AI에 맡기고 사람은 사람이 봐야 할 영역에 집중한다는 원칙이다. 크래시 지표 모니터링 후 핫픽스 여부를 결정하는 과정에서도 “빨리”보다 “정말 지금 필요한가”를 먼저 묻는다고 설명했는데, 핫픽스가 사용자에게 또 한 번의 업데이트를 요구하는 부담이라는 점을 이유로 들었다.

글 말미에서 팀은 도구를 만들며 세운 가설 하나를 소개했다. 테스트 케이스를 빠르게 만들어 제공하면 테스트에 대한 심리적 허들이 낮아질 것이라 기대했다는 것이다. 실제로 현장에서는 테스트 케이스를 더 쉽게 작성할 방법이 없느냐는 요청이 자주 있었고, 팀은 그 불편함만 덜어주면 많은 이들이 반길 것이라 판단했다고 밝혔다. 각 도구에 대한 상세한 소개는 이후 시리즈에서 하나씩 다룰 예정이라고 전했다.

읽기 목록은 이 브라우저에 저장됩니다.