현장에서는 환자 증상 환각을 어떻게 막는지 질문을 받고 답을 못한 뒤, 6주 만에 12개 지표 프레임워크를 구축해 모든 응답·툴 호출·검색 작업을 추적했어요

데모 성능이 좋아도 운영에서는 평가 하네스가 없으면 프로젝트가 멈출 수 있다는 사례가 나왔어요.

현장에서는 환자 증상 환각을 어떻게 막는지 질문을 받고 답을 못한 뒤, 6주 만에 12개 지표 프레임워크를 구축해 모든 응답·툴 호출·검색 작업을 추적했어요. 이후 컴플라이언스 승인을 받고 출시까지 갔어요.

핵심 임계값도 공개했어요. 예를 들면 환각률 8% 미만, 툴 실행 성공률 98% 초과, p95 응답시간 4초 미만, 컨텍스트 관련성 0.85 이상이 기준이에요. 이 방식은 100건 이상 엔터프라이즈 배포에서 다듬어졌어요.

결국 에이전트 성능은 모델 점수보다 운영 지표 체계가 좌우한다는 점을 보여주는 신호예요.