AI Extension · Inference

Local LLM 실행

로컬 모델은 “무료”라서가 아니라 비용, 보안, 오프라인, 모델 선택권을 실험하기 위해 사용합니다.

하네스와 같이 실행

모델만 바꾸면 품질 판단이 흔들립니다. 같은 평가 케이스로 Hosted API, Ollama, vLLM을 비교하세요.

Local LLM 실험 프롬프트

복사해서 사용하세요

"이 프로젝트에서 Local LLM을 실험하고 싶어. Ollama와 vLLM을 비교하는 실행 계획을 만들어줘. [프로젝트 정보] - 현재 LLM 호출 방식: [OpenAI SDK/HTTP 직접 호출/기타] - 실험할 기능: [예: 문서 QA, 요약, 분류] - 로컬 장비/서버: [Mac/GPU 서버/없음] - 중요 기준: [품질/비용/속도/보안/오프라인] [출력 요구사항] 1) Ollama 빠른 실험 절차 2) vLLM 서버 실험 절차 3) OpenAI 호환 base URL 전환 방식 4) 평가 하네스 실행 기준 5) Hosted API로 롤백하는 기준"

위 프롬프트를 복사하여 AI 채팅에 붙여넣으세요.

환경변수 전환 예시

.env.local

OPENAI_BASE_URL=http://localhost:11434/v1
OPENAI_API_KEY=ollama
AI_MODEL=llama3.1

실행 체크리스트

0/5 완료

실험 기능 고정한 기능과 평가 케이스로 제한

Ollama 스모크 테스트로컬 OpenAI 호환 엔드포인트 확인

vLLM 서버 테스트GPU 서버/포트/모델명을 기록

base URL 전환환경변수로 모델 공급자 교체

롤백 기준 작성품질/지연/오류율 기준 미달 시 복귀

TL;DR

Local LLM 작업 시 필요한 최소 기준과 검증 포인트를 빠르게 확인합니다.
실제 프로젝트 환경값(브랜치, 시크릿, URL, 임계치)은 팀 기준에 맞게 치환하세요.

사전 준비 (Prerequisites)

대상 리포지토리와 실행 환경 접근 권한 확인
로컬/CI에서 사용할 기본 명령어(`install`, `build`, `test`) 점검
환경변수/시크릿/배포 대상 정보를 최신 상태로 정리

실행 순서 (Steps)

변경 목표와 범위를 한 줄로 고정한다.
핵심 변경(Local LLM)을 최소 단위 커밋으로 적용한다.
검증 로그를 남기고 체크리스트/문서를 즉시 업데이트한다.

검증 (Validation)

빌드/테스트가 현재 브랜치에서 재현 가능하게 통과하는지 확인
핵심 경로(사용자 플로우 또는 운영 플로우)를 수동 샘플 점검
ko/en 문서와 링크가 동일 의도를 유지하는지 대조

문제 해결 (Troubleshooting)

오류 발생 시 로그/요청 본문/환경값을 먼저 캡처한다.
권한/환경변수/라우팅/빌드 산출물 순서로 원인을 좁힌다.
임시 조치와 근본 원인 수정을 분리해 기록한다.

Local LLM 실행

Local LLM 실험 프롬프트

환경변수 전환 예시

실행 체크리스트

TL;DR

사전 준비 (Prerequisites)

실행 순서 (Steps)

검증 (Validation)

문제 해결 (Troubleshooting)

관련 문서 (References)

관련 문서

Local LLM

AI 하네스

피드백 보내기