datasette-llm, 로컬 모델 연결 지원
최근 30일 조회수 — 좋아요 —핵심 요약
OpenAI 호환 API를 통해 Datasette Agent를 LM Studio·Ollama 등 로컬 LLM과 연결할 수 있게 됐다.

Datasette에서 다른 플러그인이 대규모 언어 모델(LLM)을 쓰도록 연결하는 중간 플러그인 datasette-llm이 0.1a11 버전에서 OpenAI 호환 엔드포인트를 지원하기 시작했다. 특정 업체의 서비스에 묶이지 않고, OpenAI의 사실상 표준 웹 프로토콜을 구현한 서버라면 어디서 호스팅하든 Datasette의 LLM으로 설정할 수 있게 됐다.1
datasette-llm은 직접 사용자 기능을 제공하기보다, Datasette 플러그인들이 사용할 LLM의 설정을 맡는다. 이번 변경의 실질적인 수혜 대상은 로컬 모델이다. 사이먼 윌리슨은 LM Studio, Ollama, 최근 1.0.0에 도달한 llama.cpp를 예로 들었다. 이들 도구가 제공하는 OpenAI 호환 API 주소를 api_base에 지정하면 Datasette Agent를 로컬 모델로 구동할 수 있다.1
윌리슨이 공개한 예시는 LM Studio에서 실행하는 Qwen 모델을 연결한다. 먼저 예제 데이터베이스를 내려받은 뒤 uvx로 Datasette와 datasette-agent를 실행한다.
wget https://datasette.io/content.db
uvx --with datasette-agent datasette \
--root --secret 1 \
-s plugins.datasette-llm.default_model '{
"model": "lmstudio-qwen",
"model_name": "qwen/qwen3.8-27b",
"api_base": "http://localhost:1234/v1"
}' content.db
실행이 끝나면 content.db를 다루는 Datasette Agent가 해당 로컬 모델을 기반으로 작동한다.1
이번 지원이 중요한 이유는 모델의 실행 위치와 Datasette 플러그인 사이의 결합을 줄였다는 데 있다. 로컬 컴퓨터에서 모델을 돌리면서 Datasette Agent를 붙일 수도 있고, 같은 프로토콜을 제공하는 다른 호스팅 환경으로 연결 지점만 바꿀 수도 있다. 다만 공개된 자료는 호환 프로토콜의 지원 범위나 인증 설정, 각 서버별 차이까지 설명하지 않는다. 따라서 “OpenAI 호환”을 내세우는 모든 엔드포인트에서 기능이 동일하게 작동하는지는 이번 발표만으로 확인할 수 없다.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Release: datasette-llm 0.1a11 — Simon Willison's Weblog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.