LY코퍼레이션, LLM·코드 분리한 광고 리포트 자동화

ai.euno.news 자동 뉴스 요약

LY코퍼레이션이 광고 성과 데이터를 분석해 매출 변동 원인을 정리한 리포트를 매일 자동 생성하는 시스템을 개발해 기술 블로그를 통해 공개했다. 이 시스템은 LINE OA(공식계정 기반) 광고와 Display 광고 매출 데이터를 분석해 전일, 전월, 전년 대비 변화를 계산하고 주요 변동 요인과 성장·이탈 신호를 리포트로 만들어 Slack과 이메일로 발송한다.

리포트는 Executive Snapshot, Key Drivers(OA), Key Drivers(DA), Trend Diagnosis(OA), Trend Diagnosis(DA), Opportunity/Risk Signals 등 6개 섹션으로 구성된다. LY코퍼레이션 테크블로그에 따르면 도입 전에는 담당자가 여러 시스템에 직접 접속해 데이터를 조회하고 원인을 정리해야 했지만, 도입 후에는 매일 생성되는 리포트에서 주요 변동 요인과 확인 대상을 바로 확인할 수 있게 됐다. 담당자는 데이터 수집·정리보다 변화의 의미를 판단하고 후속 대응을 결정하는 데 더 집중하게 됐다고 밝혔다.

개발팀이 가장 고심한 지점은 LLM(대형언어모델)에게 얼마나 많은 작업을 맡길 것인가였다. 처음에는 당일 집계 데이터와 비즈니스 컨텍스트를 하나의 프롬프트에 넣어 리포트 전체를 한 번에 생성하는 방식을 시도했다. 겉보기에는 그럴듯한 결과가 나왔지만 실무에 쓰기에는 여러 문제가 드러났다.

가장 큰 문제는 수치 오류였다. LLM에게 직접 계산을 맡기자 세부 항목의 합이 전체 변화와 어긋나거나, DoD·MoM·YoY 변화율과 반올림 결과가 실행할 때마다 달라졌다. 매출 기여도가 큰 항목이 언급되지 않고 누락되는 경우도 있었고, 어떤 항목이 빠졌는지는 생성 결과만 봐서는 바로 파악하기 어려웠다. 섹션 순서나 불릿 수, 금지 표현 같은 형식 규칙도 매번 동일하게 지켜지지 않았다. 매일 실행하는 시스템에서는 확률이 낮은 형식 오류도 누적되면 반복적으로 나타난다는 점이 문제였다. 전체 매출의 증가·감소 요약은 만들어졌지만 어느 상품과 광고주가 그 변화를 주도했는지까지는 연결하지 못해, 실무자가 리포트를 읽은 뒤에도 다시 원천 데이터를 열어 원인을 찾아야 했다.

개발팀은 이 문제가 입력 데이터 양을 줄이는 것으로는 해결되지 않는다고 판단했다. 필요한 것은 단순한 숫자가 아니라 전체 집계에서 각 항목이 얼마나 기여했는지 확인된 근거였고, 이는 계산과 중요 항목 후보 선정, 커버리지 확인을 생성 과정 밖에서 코드로 처리해야 풀리는 문제였다. 이 경험을 바탕으로 LLM이 잘하는 일과 신뢰성이 반드시 보장돼야 하는 일을 분리한다는 원칙을 세웠다. 사실을 이해해 맥락에 맞는 문장을 만드는 일은 LLM이, 집계나 정합성 확인처럼 정확성과 완전성을 보장해야 하는 작업은 코드가 맡도록 역할을 나눴다.

이 원칙에 따라 DoD·MoM·YoY 변화와 상위 변동 항목은 데이터 분석 단계에서 코드로 먼저 계산하고, LLM은 확정된 수치를 다시 계산하지 않고 비즈니스 관점에서 해석하는 문장만 작성하도록 했다. 상품·업종·광고주 등 분석 단위별로 상위 매출 항목뿐 아니라 변화 폭이 큰 항목도 함께 후보로 선정해, 눈에 띄는 일부 수치만으로 리포트가 구성되지 않도록 했다. 선정된 후보에는 현재 매출, 변화량, 선정 이유를 함께 기록해 관련 섹션에 전달했다. 리포트는 섹션 단위로 나눠 병렬로 생성하는데, 섹션 생성에는 OpenAI GPT-5.4 모델을 reasoning effort=high 설정으로 사용하고 ThreadPoolExecutor로 여러 섹션을 동시에 호출한다. 생성 결과 검증에서 문제가 발견되면 해당 섹션만 다시 생성한다.

제공된 자료는 계산과 해석을 분리하는 설계 원칙과 리포트 구조까지를 다루고 있으며, 분석 에이전트로 원인 탐색을 확장한 이후 설계에 대해서는 자료에 구체적으로 소개되지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.