프로젝트 개요

목표

<aside> 💡

SMPay 서비스에서 발생하는 AI 어시스턴트 대화를 수집하고, 패턴을 추론해서 LLM 지침(System Prompt)을 자동으로 개선하는 파이프라인 구축. (LLMOps)

</aside>

전체 흐름

사용자 대화 ↓ FastAPI 서버 (대화 수집 + 저장) ↓ Supabase PostgreSQL (대화 로그 DB) ↓ 배치 추론 (LLM이 대화 패턴 분석) ↓ 지침(Guideline) 자동 생성 및 버전 관리 ↓ 다음 대화에 지침 주입 (System Prompt 업데이트)

GitHub

https://github.com/seo-dongchan/smpay-ai-conversation-pipeline

기술 스택

역할	기술	선택 이유
서버	Python + FastAPI	LLM SDK 연동 편의성, 비동기 처리
DB	Supabase (PostgreSQL)	무료 플랜, REST API 내장, 인증 지원
LLM	Groq (llama / openai 호환)	무료 API, 빠른 추론 속도
배포	Render.com 또는 Railway	무료 티어, Python 지원
스케줄러	APScheduler 또는 Render Cron	배치 추론 자동 실행

단계별 전략

Phase 1 — 대화 수집 서버 구축

FastAPI 서버 세팅
대화 저장 API 엔드포인트 구현
- POST /conversations — 대화 1건 저장
- GET /conversations — 대화 목록 조회
Supabase 연동 (PostgreSQL)
대화 데이터 스키마 정의
- session_id, role (user/assistant), content, created_at
- context (어떤 페이지/기능에서 발생한 대화인지)