Edge0, 로컬 구동 145B 모델 공개

ai.euno.news 자동 뉴스 요약

Edge0가 1,450억 매개변수 오픈소스 모델 Edge0-145B를 공개했다. 회사는 호환되는 맥북 프로에서 서버 없이 모델을 구동했으며, 생성 속도는 초당 80토큰 이상이라고 밝혔다. 모델 가중치뿐 아니라 통합 추론 프레임워크와 배포 도구, 1,200억 매개변수 모델 Edge0-120B도 함께 공개했다.¹

Edge0가 내세운 핵심은 대형 모델의 로컬 구동이다. 회사가 공개한 측정 결과에 따르면 Edge0-145B는 프롬프트를 처리하는 프리필(prefill) 단계에서 초당 1,100토큰 이상, 답변을 생성하는 디코드(decode) 단계에서 초당 80토큰 이상의 속도를 냈다. 일반적인 전력 소비량은 약 120W이며, 문맥 길이는 12만8,000~25만6,000토큰이다. 긴 입력에서도 속도가 거의 유지됐다는 것이 회사 설명이다.

이 사양이 중요한 이유는 온디바이스 AI가 겪어 온 성능과 하드웨어 사이의 절충을 줄이기 때문이다. Edge0가 정리한 67개 오픈 모델 자료에서는 2026년 9월 전까지 개인 기기용 모델 대부분이 100억 매개변수 아래에 머물렀다. 자료에 함께 제시된 애플 인텔리전스의 온디바이스 기반 모델은 약 30억, 구글 제미나이 나노는 18억·32억5,000만 매개변수였다. 다만 애플 모델은 가중치가 공개되지 않아 이 조사에서는 제외됐다.¹

Edge0는 Edge0-145B가 코딩과 추론뿐 아니라 작업 계획, 코드 실행, 오류 수정, 시각적 결과 확인까지 수행한다고 설명한다. 로컬에서 실행하므로 클라우드 모델의 토큰·API 요금이 들지 않고, 데이터를 컴퓨터에 남겨 둔 채 오프라인에서도 핵심 기능을 쓸 수 있다는 주장이다. 대신 하드웨어 구입비와 전력 비용은 사라지지 않는다.

성능 수치는 아직 Edge0가 보고한 결과라는 한계가 있다. 자료에는 최대 메모리가 표에서 29GB로, 이전 Edge0-35B와 비교하는 대목에서는 28GB로 서로 다르게 적혀 있다. “세계 최초의 1,450억 매개변수 오픈소스 온디바이스 모델”이라는 표현과 클라우드 최상위 모델에 견줄 만하다는 평가 역시 회사 주장으로, 독립적인 재현과 비교 검증이 필요하다.

읽기 목록은 이 브라우저에 저장됩니다.