링크드인, 멀티 티처 증류로 채용검색 학습 8배 가속

ai.euno.news 자동 뉴스 요약

링크드인이 AI 기반 채용 검색 시스템의 학습 인프라를 공개했다. 핵심은 여러 개의 대형 교사 모델(teacher model)이 가진 지식을 6억 파라미터짜리 소형 랭킹 모델로 압축하는 멀티 티처 증류(multi-teacher distillation) 파이프라인이다. InfoQ에 따르면¹ 이 작업의 진짜 성과는 증류 기법 자체보다 이를 실용적인 속도로 돌아가게 만든 시스템 엔지니어링에 있다.

소형 언어모델이 클릭, 지원 같은 관련성·참여도 지표를 학습하려면 학습 예제마다 하나 이상의 대형 교사 모델에 질의해야 한다. 문제는 초당 수십만 건의 쿼리를 처리해야 하는 링크드인 규모에서 이 교사 모델 서빙 자체가 병목이 된다는 점이다. 키워드 기반 검색에서 LLM이 감독하는 통합 랭커로 전환하려는 검색·추천 팀들이 공통으로 부딪히는 문제이기도 하다.

링크드인은 이 문제를 SGLang 위에 구축한 자체 프레임워크로 풀었다. 서로 다른 크기의 교사 모델을 로드해 텐서 병렬·데이터 병렬로 서빙하고, 비동기 클라이언트가 학습 중에 교사 모델에 질의해 출력값을 증류 손실 함수에 바로 반영한다. 이를 ‘온라인 멀티 티처 증류’라 부르는데, 여러 노드에 교사 모델 복제본을 두고 확장한 결과 증류 속도가 3배 빨라졌고 지연 시간도 낮게 유지돼 빠른 반복 실험이 가능해졌다. 여기에 더해 ‘오프라인 멀티 티처 증류’ 모드도 도입했다. 교사 모델 출력을 미리 계산해 HDFS나 NFS에 저장해두고 실시간 질의 없이 바로 학습에 쓰는 방식으로, 서빙 부담과 중복 연산을 줄인다.

이 온라인/오프라인 구분 위에 여러 학습 단 최적화가 쌓인다. 메모리 사용량을 줄이고 배치 크기를 2배로 늘리는 LiGer, 최대 3.5배 추가 가속을 내는 멀티노드 학습, 20% 성능 향상을 더하는 FSDP2, 여기에 다시 최대 30%를 더하는 H200 멀티노드 클러스터까지 순서대로 얹었다. 다만 FP8 혼합 정밀도는 평가했지만 채택하지 않았는데, 파라미터 80억 미만 모델에서는 형변환(casting) 오버헤드가 연산 절감분을 넘어서 이득이 없었다고 밝혔다. 이 최적화들이 누적된 결과가 제목에 언급된 약 8배 학습 속도 향상이다.

모델링 측면에서는 80억 파라미터 관련성 오라클과 17억 파라미터 참여도 교사 모델로부터 증류한 6억 파라미터 학생 모델이 채용 검색 결과를 개선했다. NDCG@10 지표가 0.7583에서 0.9432로 24.48% 상승했다. 추론 단에서는 구조적 가지치기(pruning)와 컨텍스트 압축을 적용해 GPU당 처리량을 초당 약 290건에서 2,000건 이상으로 끌어올렸다.

이 시스템은 이미 미국 사용자 대상 자연어 채용 검색에 실제 적용돼 운영 중이다. 자체 개발 서빙 스택 대신 링크드인이 이전 랭킹 워크로드에서도 투자해온 오픈소스 LLM 서빙 엔진 SGLang을 기반으로 한다. 링크드인은 이 접근이 매 요청마다 프런티어급 LLM 추론을 돌리는 고비용 구조 없이도 크로스 인코더 수준의 랭킹 품질과 실시간 지연 요구를 동시에 만족시키는 방법이라고 설명한다.

비슷한 시스템을 만드는 팀에게 주는 시사점은 두 가지다. 하나는 교사 모델 선택이 자주 바뀌는 초기 단계에는 온라인 질의를, 교사가 안정화되고 쿼리량이 늘면 오프라인 캐싱으로 전환하는 방식이다. 다른 하나는 성능 향상이 단일 기법이 아니라 LiGer, 멀티노드 데이터 병렬화, FSDP2, 신형 GPU가 각각 중간 정도씩 기여를 더한 누적 결과라는 점, 그리고 이 모든 과정에 80억 미만 모델에서는 FP8이 필요 없었다는 점이다. 저정밀도 연산을 기본값으로 고려하는 팀이라면 참고할 만한 대목이다.

읽기 목록은 이 브라우저에 저장됩니다.