버셀 AI 게이트웨이, 세션 로그 추가

ai.euno.news 자동 뉴스 요약

버셀(Vercel)이 AI 게이트웨이(AI Gateway) 로그에 요청을 대화 단위로 묶어 보여주는 ‘세션(Sessions)’ 화면을 추가했다. 새 화면에서는 세션 어피니티(session affinity)가 각 요청을 어느 제공업체로 보냈는지 추적할 수 있다. 코딩 에이전트나 앱이 여러 차례 호출한 모델의 흐름과 캐시 활용 상태를 한곳에서 확인하려는 기능이다.¹

세션 목록의 각 행에는 Claude Code, Codex, Cursor처럼 세션을 실행한 클라이언트가 표시된다. 비용과 사용 모델, 제공업체뿐 아니라 전체 턴에서 입력 중 얼마가 캐시됐는지도 함께 나온다. 세션을 열면 캐시 적중률과 지속 시간, 요청 경로를 볼 수 있다. 요청 경로에는 턴마다 사용한 모델과 처리 시간이 기록되며, 현재 세션을 처리한 제공업체와 앞서 처리했던 제공업체도 표시된다.¹

이 정보가 중요한 이유는 세션 어피니티의 동작 방식과 비용·성능의 관계를 로그에서 직접 살필 수 있기 때문이다. 버셀 설명에 따르면 세션 어피니티는 직전 턴을 처리한 제공업체로 다음 턴을 보내도록 작동한다. 같은 제공업체가 이미 프롬프트 대부분을 캐시에 보관하고 있을 가능성을 활용하는 방식이다. 따라서 한 세션이 한 제공업체에 계속 머물수록 각 프롬프트에서 캐시로 읽는 비중이 커진다.¹

운영자는 턴 수, 클라이언트, 모델, 제공업체, 인증 방식, 비용을 기준으로 세션을 걸러낼 수 있다. 기본 최소 턴 필터를 해제하기 전에는 단일 턴 세션이 나타나지 않는다는 점은 확인이 필요하다.¹

세션 어피니티는 텍스트와 채팅 요청에 기본 적용된다. 개발자가 요청을 직접 같은 세션으로 묶으려면 대화의 모든 요청에 providerOptions.gateway의 동일한 sessionId를 넣거나 같은 x-session-id 헤더를 보내면 된다. 두 값이 없는 요청은 대화 첫 부분의 지문을 바탕으로 자동 분류되며, 로그에는 지문 기반 세션으로 표시된다.¹

읽기 목록은 이 브라우저에 저장됩니다.