Ollama 빠른 실험
terminal
ollama pull llama3.1
ollama run llama3.1
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama3.1",
"messages": [{ "role": "user", "content": "hello" }]
}'vLLM 서버 실험
terminal
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--host 0.0.0.0 \
--port 8000
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Llama-3.1-8B-Instruct",
"messages": [{ "role": "user", "content": "hello" }]
}'선택 기준
Ollama
개인 개발, 빠른 모델 교체, Mac/로컬 실험에 좋습니다.
vLLM
GPU 서버, OpenAI 호환 서버, 동시 요청 처리량 비교에 좋습니다.
Hosted API
최신 모델 품질, 운영 안정성, 빠른 제품 검증에 유리합니다.
Gateway
여러 모델을 base URL과 라우팅 정책으로 교체할 때 필요합니다.