LiveKit과 FastAPI를 활용한 실시간 Voice AI 구축하기
Voice AI 데모를 보여주는 것은 쉽습니다. 하지만 실제 프로덕션 환경에 Voice AI를 출시하는 것은 어렵습니다.
데모는 단 하나의 성공적인 경로(happy path)만 존재하며 부하가 없습니다. 반면 프로덕션 환경에는 지터(jitter), 사용자 중단, 재연결, 그리고 서비스 제공업체의 장애가 존재합니다. 이러한 요소들을 고려하여 설계하지 않으면, 여러분의 AI는 로봇처럼 들릴 것입니다.
이러한 시스템을 구축하려면 단순한 프레임워크 기술이 아닌 스마트한 아키텍처가 필요합니다. 상태(state)가 어디에 저장될지, 그리고 지연 시간(latency)이 어떻게 누적될지를 결정해야 합니다.
탄탄한 Voice AI 스택에는 다음과 같은 레이어가 필요합니다:
• Client: 마이크 입력을 캡처하고 오디오를 재생합니다. • Voice session layer: 인증 및 연결 라이프사이클을 관리합니다. • LiveKit room: 저지연 미디어 전송을 처리합니다. • STT pipeline: 음성을 텍스트로 변환합니다. • LLM orchestration: 프롬프트와 도구 호출(tool calls)을 관리합니다. • TTS pipeline: 텍스트를 오디오로 스트리밍합니다. • Backend APIs: 상태 및 비즈니스 로직을 위한 FastAPI 서비스입니다. • Observability: 지연 시간을 추적하기 위한 메트릭 및 로그입니다.
각 레이어를 독립적으로 유지하십시오. 클라이언트는 로직을 최소화해야 합니다. 오디오를 캡처하고 UI를 처리하는 역할만 수행해야 합니다.
FastAPI를 사용하여 LiveKit용 단기 토큰을 생성하십시오. 이를 통해 룸(room) 액세스 보안을 유지할 수 있습니다. 세션 기록은 안정적인 ID와 함께 서버에 저장하십시오. 사용자 ID, 룸 ID 및 현재 상태를 추적하십시오. 사용자가 재연결될 때 백엔드는 즉시 컨텍스트를 복구합니다.
Voice AI는 지연 시간과의 싸움입니다. 응답이 늦어지면 사용자는 말을 끊습니다.
모든 단계에 대해 지연 시간 예산(latency budget)을 설정하십시오:
- STT 지연 시간
- Orchestration 지연 시간
- Tool call 지연 시간
- TTS 시작 시간
- 첫 오디오 바이트 도달 시간
중단(interruption) 기능을 핵심 기능으로 지원하십시오. 사용자가 말을 하면 클라이언트는 반드시 중단 이벤트를 전송해야 합니다. 시스템은 현재 TTS 스트림을 취소하고 해당 응답을 '중단됨'으로 표시해야 합니다. 이를 통해 AI가 다음 턴에 오래된 컨텍스트를 유출하는 것을 방지할 수 있습니다.
재시도(retry)를 안전하게 만드십시오. 도구 호출 시 멱등성 키(idempotency keys)를 사용하십시오. 이를 통해 요청이 실패하여 재시도할 때, 고객에게 비용을 두 번 청구하는 것과 같이 동일한 작업을 두 번 수행하는 일을 방지할 수 있습니다.
사용자 경험에 중요한 메트릭을 추적하십시오:
- 엔드 투 엔드(End-to-end) 턴 지연 시간
- 첫 오디오 바이트 도달 시간
- 세션당 중단율
- 재연결 빈도
Voice AI는 단순히 LLM의 문제가 아닙니다. 이는 시스템의 문제입니다. 네트워킹, 상태, 보안 및 설계를 모두 아우릅니다.
LiveKit과 FastAPI를 사용하여 기반을 구축하십시오. 예측 가능한 계약(contracts), 명시적인 상태, 그리고 타이트한 지연 시간 루프에 집중하십시오. 그것이 바로 인간처럼 느껴지는 소프트웨어를 만드는 방법입니다.
Optional learning community: https://t.me/GyaanSetuAi