테스트에선 잘 되는데 실제 환경에서만 이상하게 작동하는 거죠

프로덕션 LLM 프롬프트가 버그 신고 두 주 후에 터지는 패턴, 개발자라면 한 번쯤 겪어봤을 거예요. 테스트에선 잘 되는데 실제 환경에서만 이상하게 작동하는 거죠.

원인은 대부분 "느낌으로 고치는 디버깅"이에요. 이 글에서 소개하는 4단계 진단법의 핵심은 먼저 실패를 정확히 정의하는 것부터 시작해요. "출력이 이상해요" 대신 "X 맥락에서 Y를 해야 하는데 Z를 하고 있어요"처럼 구체적으로 써야 한다는 거예요.

두 번째 단계가 특히 중요한데요, 새 지침을 추가하기 전에 기존 프롬프트에 충돌하는 규칙이 없는지 먼저 감사(audit)하는 거예요. 회귀 버그 대부분이 새 지침 추가가 아니라 기존 지침의 모호함 때문에 생기거든요.

직관 대신 구조적 진단을 쓰면 "하나 고치면 셋이 망가지는" 사이클에서 벗어날 수 있어요.