계기는 실제 사고였어요

음성 AI 파이프라인 지연 시간을 단계별로 측정하는 오픈소스 벤치마킹 도구 vox-bench가 공개됐어요.

계기는 실제 사고였어요. TTS 단계에서 340ms 급등이 발생했는데, 평균 지연만 보다가 6시간 동안 못 잡았거든요. 그 결과 전체 통화의 12%에서 AI가 말하는 도중 상대방이 끼어드는 현상이 생겼어요. 10,000건 이상의 실전 통화 데이터를 보면 왕복 800ms 이하면 자연스럽고, 1.2초 넘으면 질문 반복, 1.8초 넘으면 그냥 끊어버린다고 해요.

평균 지연이 아니라 단계별 퍼센타일(p95, p99) 추적이 핵심이에요. 기존 Datadog·New Relic은 음성 파이프라인 도메인을 모르고, 커스텀 계측으로 쌓다 보면 아무도 못 읽는 대시보드가 된다는 게 이들의 결론이었거든요.