맥 사진·영상 로컬 검색 도구 SCM 공개

ai.euno.news 자동 뉴스 요약

맥에 저장된 사진과 동영상에서 장면뿐 아니라 화면 속 문자와 대사까지 찾는 도구 SCM이 공개됐다. SCM은 계정이나 클라우드 업로드 없이 모든 추론을 맥에서 처리한다. 자연어로 기억나는 장면을 설명하면 관련 사진을 찾고, 동영상은 파일 단위가 아니라 해당 장면의 타임코드로 바로 이동한다.¹

검색 방식은 네 가지다. ‘Files’는 사진과 동영상 전체를 의미에 따라 찾으며, 시각 임베딩의 코사인 유사도에 파일명과 문구 점수를 더해 순위를 정한다. ‘Scenes’는 동영상을 장면별로 나눠 검색하고, 결과에 장면 이미지와 타임코드를 표시한다. 한 동영상에서는 최대 3개 장면만 보여주며, 관련성이 낮으면 무의미한 결과를 늘어놓는 대신 일치 항목이 없다고 알린다.

‘OCR’은 테서랙트(Tesseract)로 이미지와 영상 프레임에 보이는 문자를 추출해 글자 그대로 대조한다. 영어를 기본으로 35개 언어를 켤 수 있고, 파일명이나 비전 모델은 사용하지 않는다. 따라서 AI 엔진을 준비하는 동안에도 작동한다. 중국어·일본어·한국어 질의는 겹치는 두 글자 단위로 나눠 검색한다. ‘Dialogue’는 위스퍼(Whisper)가 동영상 음성을 전사해 정확한 발화를 찾는다. 선택 기능인 로컬 거대언어모델(LLM)은 이미 추출된 대사·OCR·파일명을 바탕으로 답변하고 근거를 함께 제시한다.¹

폴더를 감시해 새 파일을 자동으로 가져오며, 콘텐츠 해시로 이름만 바뀐 중복 파일을 걸러낸다. 모델을 교체하면 검색을 막지 않고 백그라운드에서 임베딩을 다시 만든다. 검색어는 탭으로 저장할 수 있고 스크린샷과 이메일 전용 탭도 켜거나 끌 수 있다. 각 결과에는 시각 정보나 파일명 등 일치한 이유와 구성 요소별 점수가 표시된다.

SCM은 애플 실리콘과 macOS 12 이상에서 홈브루(Homebrew)로 설치할 수 있다. 기본 CLIP 모델은 처음 사용할 때 약 435MB의 가중치를 내려받으며, 이후에는 오프라인으로 동작한다. 다만 현재 패키징과 메뉴 막대 기능은 macOS에 맞춰져 있고, 저장소에 제시된 설치 절차에는 탭 또는 개별 캐스크를 신뢰하는 명령이 포함된다.¹

읽기 목록은 이 브라우저에 저장됩니다.