AWS, S3 대용량 전송 도구 공개
최근 30일 조회수 — 좋아요 —핵심 요약
AWS가 병렬 전송과 자동 성능 조정을 지원하는 파일 무버 익스프레스를 오픈소스로 공개했다.

AWS가 로컬 시스템과 아마존 S3 사이에서 대용량 파일을 전송하는 ‘파일 무버 익스프레스(File Mover Express)’를 아파치 2.0 라이선스로 공개했다. macOS·윈도·리눅스를 지원하며, 병렬 전송과 자동 성능 조정, 재시도, 일시정지·재개, 파일 무결성 검증 기능을 갖췄다. 소스 코드와 운영체제별 설치 패키지는 깃허브에서 제공한다.1
파일 무버 익스프레스는 특히 테라바이트 단위 영상 자산을 온프레미스 저장소와 클라우드 사이에서 옮기는 미디어 작업을 겨냥했다. 일반 전송 프로그램은 데스크톱 세션이 끝나면 작업도 중단될 수 있고, 상용 제품은 라이선스 비용이나 독점 프로토콜, 외부 인프라 의존이 뒤따를 수 있다. AWS 개발진은 이 도구가 업로드와 다운로드를 모두 지원해 편집·검토·복원에 필요한 파일을 S3에 보내거나 다시 가져올 수 있다고 설명했다.1
핵심은 데몬 기반 전송 엔진이다. 전송 작업을 데스크톱 세션과 분리해 워크스테이션이나 데이터센터 서버, 아마존 EC2 인스턴스에서 계속 실행할 수 있다. 사용자는 암호화되고 비밀번호로 보호된 연결을 거쳐 드래그앤드롭 그래픽 사용자 인터페이스(GUI)나 스크립트로 제어할 수 있는 명령줄 인터페이스(CLI)에서 데몬을 조작한다. 감시 폴더에 들어온 파일을 자동으로 올리는 기능도 제공한다.1
대용량 파일은 여러 조각으로 나뉘어 S3 멀티파트 업로드로 병렬 전송된다. 자동 조정 모드는 회선 상태에 맞춰 병렬 스트림 수와 조각 크기를 바꾼다. 재시도 횟수와 대역폭 제한을 설정할 수 있으며, 먼 지역의 버킷에는 S3 트랜스퍼 액셀러레이션(S3 Transfer Acceleration)을 적용할 수 있다. 체크섬은 백그라운드에서 계산하고, 파일이 바뀌지 않았다면 로컬에 저장한 값을 재사용한다. 지원 알고리즘은 MD5, XXHash, XXHash64, XXH3다.1
보안 측면에서는 HTTPS 전송, 전송 중·저장 시 암호화, 제어 채널 암호화를 지원한다. S3 접근 권한은 AWS 아이덴티티 및 액세스 관리(IAM)로 통제하며, 오픈아이디 커넥트(OIDC) 기반 통합 인증도 제공한다. 모델 컨텍스트 프로토콜(MCP)을 통한 AI 비서 연동도 포함됐다. 다만 InfoQ가 전한 성능 설명은 “회선 속도 수준”을 목표로 한다는 AWS 측 표현과 기능 소개에 근거하며, 실제 전송 속도를 비교한 독립 벤치마크 수치는 제시되지 않았다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.