LIVE2025
AI PLATFORM · MULTI-LLM
Vote AI Gateway
멀티 LLM AI 플랫폼 — 3개 AI 프로바이더, 6개 AI 모듈, 5단계 안전 검증 시스템
Vote AI Gateway — 20s Overview
프로젝트 영상
프로젝트 개요
Claude, GPT, Gemini 3개 AI 프로바이더를 통합한 멀티 LLM 게이트웨이. 챗봇, 텍스트 개선, 게시판 요약, 리포트 생성, 콘텐츠 필터링 등 6개 AI 모듈을 제공하며, 5단계 안전 검증 파이프라인으로 선거 도메인에서도 안전하게 운영.
담당 역할
시스템 설계 · 멀티 LLM 추상화 · 5단계 안전 파이프라인 · 관리자 대시보드 · 비용 최적화
기술 스택
FastAPIClaudeGPTGeminiMulti-LLMSafety Pipeline
해결 과제
- 1정치적 중립성 — AI 편향으로 인한 선거법 위반 위험
- 2허위정보 방지 — 투표 데이터에 대한 AI 할루시네이션
- 3프롬프트 인젝션 공격 대응
- 4멀티 AI 프로바이더 비용 통제
솔루션
- ✓3개 LLM 프로바이더 자동 페일오버 포함 프로바이더 비의존 아키텍처
- ✓5단계 안전 파이프라인: 인젝션 → 편향 → 조작 → FAQ → 폴백
- ✓기능별 라우팅 — 각 AI 모듈에 최적화된 모델 배정
- ✓요청별 비용 추적 및 70%/90% 예산 경고
핵심 기능
멀티 LLM 라우터
3개 프로바이더, 9개 모델, 자동 페일오버
5단계 안전 파이프라인
인젝션 → 편향 → 조작 → FAQ → 폴백
6개 AI 모듈
챗봇, 텍스트 개선, 요약, 리포트, 필터링
관리자 대시보드
실시간 통계, 예산 관리, 사용자별 일일 제한
Architecture
운영 지표
6
운영 중 AI 모듈
9
사용 가능 모델
5
안전 검증 단계
<50ms
FAQ 응답 시간