텐센트, 활성 파라미터 490억 'Hy4 프리뷰' 공개

ai.euno.news 자동 뉴스 요약

텐센트가 29일 오픈웨이트 대형언어모델 ‘Hy4 프리뷰’를 공개했다. 총 파라미터 7700억 개, 실제 추론에 쓰이는 활성 파라미터는 490억 개이며 컨텍스트 윈도우는 100만 토큰, 허깅페이스에 올라온 가중치 용량은 1.56TB에 달한다. 이미지 입력은 지원하지 않는 텍스트 전용 모델이다. 개발자이자 블로거인 사이먼 윌리슨(Simon Willison)이 자신의 블로그에서 이 소식을 전했다.¹

이번 모델은 텐센트가 지난 7월 내놓은 이전 버전 Hy3와 비교하면 규모가 크게 뛰었다. Hy3는 총 파라미터 2950억 개, 활성 파라미터 210억 개, 컨텍스트 윈도우 25만 6000토큰, 용량 598GB였다. 총 파라미터 기준으로 약 2.6배, 활성 파라미터는 2.3배 늘었고 컨텍스트 윈도우도 4배 가까이 넓어졌다.

윌리슨은 최근 모델을 파악할 때 챗 템플릿(chat template) 파일을 함께 살펴보는 방법을 쓰고 있다고 밝혔다. Hy4의 chat_template.jinja 파일에는 reasoning_effort 값을 처리하는 조건문이 들어 있는데, 여기서 허용하는 값은 high와 no_think 두 가지뿐이다. 별도로 지정하지 않으면 기본값은 high이고, 이 값도 저 값도 아니면 오류를 발생시키도록 짜여 있다. 즉 이 모델은 추론을 켜거나(high) 끄는(no_think) 두 단계만 제공하며, 중간 단계의 추론 강도 조절 옵션은 없다는 뜻이다.

윌리슨은 자신이 즐겨 쓰는 테스트인 “자전거를 탄 펠리컨 SVG를 그려라” 프롬프트를 OpenRouter를 통해 기본값인 high 추론 모드로 실행해봤다. 이때 나온 추론 과정(reasoning trace)의 일부를 인용했는데, “헬멧을 추가하면 자전거 타는 느낌은 살겠지만 머리를 가릴 수도 있다. 작은 사이클링 모자나 헬멧은 어떨까? 사용자가 요청하지 않았으니 빨간 헬멧을 추가할까? 귀여울 수도 있다. 하지만 펠리컨 부리가 크니 헬멧이 가릴 수도 있다. 안 하는 게 나을 듯” 식의 문장이 이어졌다. 문법이 다소 어색하고 축약된 영어로 쓰여 있는 점이 눈에 띄는데, 윌리슨은 이에 대해 외부에 노출되지 않는 숨겨진 추론 텍스트인 만큼 완벽한 문법보다 토큰 효율이 더 중요하기 때문일 것이라는 추정을 내놓았다. 다만 이는 어디까지나 그의 짐작일 뿐, 텐센트 쪽에서 이런 스타일에 대해 공식적으로 설명한 내용은 확인되지 않는다.

읽기 목록은 이 브라우저에 저장됩니다.