초기엔 주사위·인벤토리·장면·효과음을 전부 함수 호출로 묶었는데, 음성 모드 연결 크래시율이 70%까지 올라갔거든요

GM-Genie, 음성 중심 AI 게임 마스터를 만들면서 멀티에이전트를 버리고 ‘제로툴 음성 아키텍처’로 갈아타 안정성을 잡았어요.

초기엔 주사위·인벤토리·장면·효과음을 전부 함수 호출로 묶었는데, 음성 모드 연결 크래시율이 70%까지 올라갔거든요. 최종 버전은 gemini-2.5-flash-native-audio-latest 기반 WebSocket 양방향 오디오로, 음성 파이프라인에서 툴 호출을 0개로 줄였어요.

서버가 GM 음성을 받아 전사한 뒤 SceneDetector가 장면 이미지, SFX, 앰비언트를 서버 측에서 트리거해요. 백엔드는 FastAPI로 POST /api/chat(SSE)와 WS /api/live(음성), 프론트는 React 19·Vite·Tailwind v4, 오디오는 16kHz 캡처와 24kHz 재생으로 분리했어요.

결국 실시간 AI 음성 UX는 기능을 더하는 것보다, 대화 흐름을 끊는 복잡도를 덜어내는 설계가 더 중요하다는 걸 보여준 사례예요.