AWS, 세이지메이커 서버리스 FFT 추가

2분 AWS세이지메이커FFTLLM
최근 30일 조회수 — 좋아요 —

핵심 요약

AWS가 GPU·클러스터 구성 없이 LLM 전체 파라미터를 학습하는 서버리스 미세조정 기능을 출시했다.

AWS, 세이지메이커 서버리스 FFT 추가 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

아마존웹서비스(AWS)가 세이지메이커 AI 서버리스 모델 맞춤화(SageMaker AI Serverless Model Customization)에 전체 미세조정(Full Fine-Tuning·FFT) 기능을 추가했다. 기업은 그래픽처리장치(GPU)를 직접 할당하거나 클러스터와 분산 학습 환경을 구성하지 않고도, 사전 학습된 대규모언어모델(LLM)의 전체 파라미터를 자사 데이터로 다시 학습할 수 있다.1

미세조정은 범용 지식에 맞춰진 LLM을 특정 분야나 업무, 문체에 적응시키는 과정이다. AWS는 작은 특화 모델이 특정 업무에서 최상위 범용 모델과 비슷하거나 더 높은 정확도를 내면서 토큰당 추론 비용은 낮출 수 있다고 설명한다. 요청이 수백만 건으로 늘어나는 서비스라면 이 비용 차이가 누적된다는 주장이다.1

이번 기능의 초점은 저랭크 적응(Low-Rank Adaptation·LoRA)의 한계를 보완하는 데 있다. LoRA는 기존 모델 가중치를 고정한 뒤 저랭크 행렬을 삽입해 일부 파라미터만 갱신한다. 필요한 GPU 용량을 줄일 수 있어 단순한 적응 작업에는 효율적이지만, 업데이트가 제한된 부분공간에서 이뤄져 복잡한 패턴을 충분히 표현하지 못할 수 있다. AWS에 따르면 데이터가 수만 건을 넘고 과제가 복잡해지면 LoRA의 랭크와 학습 파라미터 수를 늘려도 정확도가 더 오르지 않는 구간이 나타난다. AWS는 이를 단순한 파라미터 수 부족이 아니라 저랭크 구조 자체의 제약으로 해석했다.1

FFT는 이와 달리 모델 파라미터를 동시에 갱신해 가중치 행렬의 표현 용량을 폭넓게 사용한다. AWS는 복잡한 업무에 쓸 양질의 대규모 데이터가 있을 때 FFT가 더 잘 수렴하고, 모델 각 계층의 활성값 정렬과 사전 학습 지식 보존에서도 유리하다고 밝혔다. 코드 생성 실험에서는 학습 예제가 10만 건 이상일 때 ‘LLM 평가자(LLM-as-Judge)’가 판정한 의미적 정확성이 90.0%에 도달했다.1

다만 이 수치는 AWS가 자체 블로그에서 공개한 실험 결과다. 제공된 자료에는 같은 조건에서 LoRA가 기록한 점수나 사용 모델, 비용과 학습 시간 등 직접 비교에 필요한 세부 수치가 없다. 따라서 FFT가 모든 맞춤화 작업에서 더 낫다고 단정하기보다는, LoRA의 표현력 한계가 드러나는 복잡한 과제와 충분한 학습 데이터가 있을 때 선택할 수 있는 서버리스 방식이 추가됐다는 데 의미가 있다.

Footnotes

  1. AWS Machine Learning Blog, “Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization” ↩ ↩2 ↩3 ↩4

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization | Amazon Web Services — AWS Machine Learning Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.