Docker AI Stack: 하나의 Docker Compose 파일로 구성된 자체 호스팅 AI 스택 (LLM, STT, TTS, MCP 포함)
Docker Compose를 통해 전체 로컬 AI 파이프라인 (LLM, STT, TTS, 임베딩, MCP)을 오케스트레이션합니다. 자동 API 키 생성 및 사전 정의된 서비스 네트워킹으로 수동 구성을 제거합니다.
운영 중Docker AI Stack
Docker AI Stack은 새로운 AI 모델을 만드는 것이 아니라 자체 호스팅의 '통합 비용'을 해결하고 있습니다. Ollama, LiteLLM, Whisper, Kokoro, MCP 게이트웨이를 하나의 응집력 있는 컴포즈 파일로 번들링하여 분절된 도구 모음을 기능적 백엔드로 변환합니다. 기술적 승리는 제로 구성 접근 방식, 특히 API 키의 자동 생성과 사용자가 모든 엔드포인트에 대해 환경 변수를 수동으로 매핑하지 않고도 컨테이너 이름으로 서비스가 통신할 수 있는 내부 네트워킹입니다.
제품 관점에서 MCP (모델 컨텍스트 프로토콜) 게이트웨이의 포함은 날카로운 전략입니다. 이는 스택을 단순한 챗봇에서 도구 기능을 갖춘 에이전트 환경으로 확장하여 로컬 모델이 파일 시스템 및 GitHub와 상호작용할 수 있게 합니다. CUDA 전용 컴포즈 파일의 가용성은 NVIDIA 하드웨어를 가진 사용자들이 일반적으로 로컬 AI 배포의 가장 큰 마찰점인 드라이버 패스스루 문제와 싸우지 않도록 보장합니다.
그러나 '제로 구성' 주장은 약간 낙관적입니다. 사용자는 여전히 시스템이 실제로 작동하기 전에 `docker exec`를 통해 모델을 수동으로 가져와야 합니다. 또한 경량 스택은 접근성 측면에서 좋지만, 8GB RAM에서 3B 모델의 성능은 전문적 사용의 병목 현상으로 남아 있습니다. 이는 DevOps 수고를 줄이는 고유틸리티 래퍼이지만, 오케스트레이션하는 개별 이미지의 기본 안정성에 여전히 의존합니다.
이는 주말을 YAML 파일 디버깅에 보내지 않고 로컬 AI의 개인정보 보호와 MCP의 확장성을 원하는 개발자를 위한 것입니다. '모델 실행'과 'AI 인프라 실행' 사이의 실용적인 다리입니다.