Sarvam AI와 Swiggy가 협업해서 목소리 인식 AI 에이전트의 '800ms 장벽'을 깨는 아키텍처를 공개했어요

Sarvam AI와 Swiggy가 협업해서 목소리 인식 AI 에이전트의 '800ms 장벽'을 깨는 아키텍처를 공개했어요.

기존 음성 AI는 STT → LLM → TTS를 순차 처리하는 캐스케이드 파이프라인 방식인데, 이 구조에서 지연이 누적되면 배달 앱 고객이 전화를 끊어버린다는 거예요. 실험실에선 3초 지연이 '최적화 티켓'이지만, 배고픈 고객한테는 이탈 이벤트거든요.

해결책은 양방향 WebSocket 기반의 스트리밍 상태 머신이에요. 에이전트가 말하는 도중에도 사용자 음성을 동시에 듣다가, 중간에 말이 끊기면(Barge-in) 즉시 응답 로직을 롤백할 수 있어요. 인도 영어 혼용어(힝글리시)도 영어로 번역 없이 바로 처리하는 인도어 네이티브 모델을 써서 번역 단계 자체를 없앤 것도 핵심이에요.

음성 AI가 실제 서비스에 쓰이려면 '정확도'보다 '반응 속도'와 '끊김 처리'가 먼저 해결돼야 한다는 걸 보여주는 사례예요.