28년 경력의 시스템 엔지니어가 병원 연간 수익 3억 달러 규모의 청구 워크플로우에 멀티에이전트 AI를 붙였거든요

의료비 청구 AI를 만들다가 기존 ML 지표가 전혀 쓸모없다는 걸 깨달은 개발자의 이야기가 화제예요.

28년 경력의 시스템 엔지니어가 병원 연간 수익 3억 달러 규모의 청구 워크플로우에 멀티에이전트 AI를 붙였거든요. 문제는 같은 진료 기록을 동일 모델에 두 번 넣으면 ICD-10 코드 추천이 미묘하게 달라진다는 거예요. 분류 태스크에선 그냥 넘어갈 수 있는 오차인데, 14단계 순차 워크플로우에서는 3단계의 작은 불일치가 5단계 사전승인 요건을 바꾸고, 8단계 청구 거절 확률까지 바꿔버려요.

더 큰 문제는 정밀도·재현율 같은 표준 지표로는 이걸 잡을 수 없다는 거예요. 여섯 번 삐끗하고 나서 결국 올바른 청구를 승인한 에이전트는 성공이 아니라 미래의 리스크예요. 거기다 멀티에이전트 간 컨텍스트를 넘기는 순간 PHI(개인 건강 정보)가 프롬프트에 새어나가 HIPAA 위반이 될 수 있어요.

규제 환경에서 AI 에이전트를 실제로 돌리려면 "결과가 맞냐"가 아니라 "올바른 경로로 왔냐"를 측정하는 새로운 지표가 필요하다는 걸 보여주는 사례예요.