기존 음성 RAG는 벡터DB 네트워크 지연만 50~300ms라서 답변 생성 전에 시간이 거의 소진됐거든요

세일즈포스가 음성 AI용 VoiceAgentRAG를 공개했는데, 검색 지연을 최대 316배 줄여 200ms 응답 예산 문제를 정면으로 해결했어요.

기존 음성 RAG는 벡터DB 네트워크 지연만 50~300ms라서 답변 생성 전에 시간이 거의 소진됐거든요. VoiceAgentRAG는 문서 검색과 답변 생성을 분리한 듀얼 에이전트 구조예요.

Fast Talker는 로컬 시맨틱 캐시를 먼저 조회해 약 0.35ms에 컨텍스트를 찾고, 없으면 원격 DB를 조회해 바로 캐싱해요. Slow Thinker는 최근 6턴 대화를 보고 다음 3~5개 주제를 예측해 미리 문서 청크를 당겨와요.

핵심은 비동기 메모리 라우팅과 인메모리 FAISS IndexFlat IP 기반 캐시 설계예요. 음성 에이전트 경쟁력은 이제 모델 크기보다 밀리초 단위 시스템 아키텍처에서 갈릴 가능성이 커졌어요.