음성 기반 AI 시스템의 지연시간을 400ms 수준으로 줄인 자체 구축형 음성 에이전트 개발 사례를 다룸

STT, LLM, TTS를 실시간 파이프라인으로 연결해 기존 상용 플랫폼(Vapi 등)보다 2배 빠른 응답 속도 달성

Deepgram Flux로 발화 감지와 전환을 처리하고, Groq의 llama-3.3-70b 모델을 사용해 첫 토큰 생성 시간을 대폭 단축

지리적 배치와 네트워크 최적화를 통해 EU 지역 배포 시 지연시간을 절반 이하로 감소
음성 에이전트의 핵심은 실시간 오케스트레이션과 파이프라인 설계이며, 이를 직접 구현하면 성능 병목을 명확히 파악할 수 있음


음성 에이전트 구축 배경

소비재 대기업을 위한 음성 에이전트 프로토타입 개발 경험을 바탕으로, 상용 플랫폼의 복잡성을 직접 다루기 위해 자체 구축 시도
ElevenLabs와 Vapi 같은 플랫폼은 편리하지만, 내부 동작을 이해하기 어렵고 세밀한 지연시간 제어가 불가능함
목표는 Vapi 수준의 성능을 직접 구현하는 것이었으며, 하루와 약 100달러의 API 크레딧으로 실현

음성 에이전트의 복잡성

텍스트 기반 챗봇과 달리, 음성은 실시간 전환 관리(turn-taking) 가 필요
사용자가 말하는 순간 시스템은 즉시 발화를 중단하고, 멈추면 빠르게 응답을 시작해야 함
단순한 음성 감지(VAD)만으로는 발화 종료를 정확히 판단하기 어렵고, 지연·중첩 발화·불필요한 침묵이 발생

1차 구현: VAD 기반 테스트


FastAPI 서버와 Twilio WebSocket을 이용해 μ-law 오디오 스트림을 수신

Silero VAD로 음성 존재 여부를 판단하고, 발화 종료 시 미리 녹음된 WAV 파일을 재생
단순하지만 즉각적인 반응성과 자연스러운 대화 흐름을 확인할 수 있었음
이 단계에서 지연시간의 하한선을 측정하는 기준 확보

2차 구현: Deepgram Flux와 실시간 파이프라인


Deepgram Flux를 도입해 스트리밍 전사와 턴 감지를 통합
Flux가 발화 종료를 감지하면 다음 순서로 처리

전사 결과와 대화 이력을 LLM에 전달
첫 토큰이 생성되는 즉시 TTS(WebSocket) 로 스트리밍
생성된 오디오를 Twilio로 실시간 전송



TTS 연결을 사전 유지(warm pool) 해 약 300ms의 지연을 절감
사용자가 말을 시작하면 LLM·TTS·오디오 전송을 즉시 취소해 자연스러운 중단 처리 구현

지연시간 측정과 지역 배포

터키 현지에서 로컬 실행 시 평균 1.6~1.7초 지연 발생

Railway EU 리전에 배포하고 Twilio·Deepgram·ElevenLabs를 EU 리전으로 맞추자

평균 690ms(총 790ms) 로 단축, Vapi 대비 약 50ms 빠름


지연 감소로 대화 반응성이 크게 향상, 발화 중단 처리도 매끄러워짐

모델 선택과 성능 향상

초기에는 gpt-4o-mini 사용, 이후 Groq llama-3.3-70b로 교체
테스트 결과 Groq 모델의 첫 토큰 생성 시간(TTFT) 이 OpenAI 대비 최대 3배 빠름
평균 400ms 이하의 종단 간 지연 달성, 첫 오디오가 500ms 이내 도착
이 수준에서는 사람보다 에이전트가 더 빨리 반응하는 체감

주요 기술적 교훈


지연시간 최적화는 발화 종료부터 첫 음성 출력까지의 전체 경로 관리가 핵심

TTFT가 전체 지연의 절반 이상을 차지하므로, 저지연 모델 선택이 중요

STT→LLM→TTS를 순차 처리하지 않고 스트리밍 파이프라인화해야 함

발화 중단 시 전 구성요소를 즉시 취소해야 자연스러운 대화 유지

서비스 간 지리적 근접성이 지연에 결정적 영향을 미침

상용 플랫폼과의 비교

Vapi·ElevenLabs는 API, 안정성, 관찰성 등 부가 기능을 제공하므로 대부분의 팀에는 여전히 유용
그러나 직접 구축을 통해 실제 병목과 파라미터 의미를 이해할 수 있으며,
특정 요구에 맞춘 맞춤형 오케스트레이션이 가능
음성 시스템은 결국 오케스트레이션 문제이며, 구조를 명확히 보면 해결 가능한 엔지니어링 과제임

소스 코드

전체 구현은 GitHub에서 공개됨: github.com/NickTikhonov/shuo