Choorai
Advanced Path

AI 서비스 빌더

이미 배포 URL을 만들어봤다면 다음 단계는 AI 기능을 서비스 안에 넣는 것입니다. 이 코스는 RAG, 평가 하네스, Skill, Local LLM을 하나의 운영 가능한 기능 흐름으로 묶습니다.

완료 기준

“챗봇이 답한다”가 아니라 입력 데이터, 검색 근거, 모델 응답, 평가 결과, 장애 시 우회 경로를 설명할 수 있으면 완료입니다.

AI Builder 공통 시작 프롬프트

복사해서 사용하세요

"너는 AI 기능을 제품에 붙이는 시니어 엔지니어다. 내 목표는 4일 안에 평가 하네스, 미니 RAG, 프로젝트 Skill, Local LLM 선택 기준을 가진 최소 AI 기능을 완성하는 것이다. 아래 형식으로만 답해줘: 1) 오늘 끝낼 산출물 2) 구현 순서 3-5단계 3) 복붙 가능한 파일/명령어/체크리스트 4) 실패했을 때 확인할 순서 5) 완료 기준과 다음 단계"

각 날짜의 세부 프롬프트와 함께 쓰면 산출물 범위가 흔들리지 않습니다.

AI Builder 4일 진행 현황

0/4 완료

4일 실행 미션

1일차

1. AI 하네스

(60-90분) 품질 기준

프롬프트가 좋아 보이는지보다 같은 입력에서 계속 통과하는지 먼저 확인합니다.

산출물

golden set 20개채점 기준실패 리포트

완료 기준

  • 핵심 질문 20개를 골랐다
  • 통과/실패 기준을 문장으로 썼다
  • 실패 케이스를 리포트로 남겼다

검증 방법: 같은 입력을 다시 실행했을 때 통과/실패 판단이 흔들리지 않는지 확인합니다.

AI 시작 프롬프트

내 서비스의 AI 기능을 배포하기 전에 평가 하네스를 만들고 싶어. 핵심 사용자 질문 20개, 통과 기준, 금지 행동, 실패 리포트 형식을 만들어줘.
2일차

2. 미니 RAG

(90-120분) 지식 연결

문서를 넣고, 검색하고, 답변에 출처를 붙이는 최소 흐름을 만듭니다.

산출물

문서 수집청킹/임베딩검색 API

완료 기준

  • 문서 3-10개를 수집했다
  • 검색 API가 근거 chunk를 반환한다
  • 답변에 출처가 포함된다

검증 방법: 출처 없는 답변은 실패로 처리하고, 근거 문서 제목이 응답에 포함되는지 확인합니다.

AI 시작 프롬프트

기존 서비스에 미니 RAG를 붙이고 싶어. 문서 수집, chunk 설계, 검색 API, 출처 포함 응답, 실패 정책을 최소 구현 순서로 정리해줘.
3일차

3. Skill / Tool

(60-90분) 반복 업무

반복되는 작업 절차를 Skill로 고정하고 필요한 도구 호출 범위를 정합니다.

산출물

SKILL.md입력/출력 계약검증 명령

완료 기준

  • 반복 작업 1개를 골랐다
  • SKILL.md에 트리거/입력/절차/검증을 썼다
  • 도구 권한 경계를 정했다

검증 방법: 새 대화에서 Skill만 읽고 같은 절차를 재현할 수 있는지 확인합니다.

AI 시작 프롬프트

내 프로젝트에서 반복되는 작업 1개를 Codex Skill로 만들고 싶어. 트리거, 입력, 절차, 읽어야 할 파일, 검증 명령, 실패 시 복구 순서를 SKILL.md 초안으로 써줘.
4일차

4. Local LLM

(60-120분) 모델 선택권

Ollama로 빠르게 실험하고 vLLM로 서버형 추론 경로를 비교합니다.

산출물

base URL 전환품질/비용 비교롤백 기준

완료 기준

  • Hosted API와 Local LLM 전환 지점을 정했다
  • Ollama 또는 vLLM 응답을 1회 검증했다
  • 품질/비용/운영 표를 작성했다

검증 방법: 1일차 하네스를 같은 입력으로 돌려 모델 변경 전후 차이를 비교합니다.

AI 시작 프롬프트

내 AI 기능에서 Hosted API, Ollama, vLLM 중 무엇을 쓸지 비교하고 싶어. 품질, 비용, 보안, 운영 난이도, 롤백 기준 표와 검증 순서를 만들어줘.

추천 산출물

  • /ai/ask 같은 최소 API 하나
  • docs/ai-evals.md 또는 evals/*.json 같은 평가 기준
  • RAG 실패 답변 정책: 모르면 모른다고 답하기, 출처 없으면 답변 보류
  • 모델 전환표: Hosted API, Ollama, vLLM 중 언제 무엇을 쓸지

마지막 업데이트: 2026년 6월 22일 · 버전: v0.0.1

피드백 보내기

입력한 내용으로 새 이슈 페이지를 엽니다.

GitHub 이슈로 보내기