원인은 모델 자체가 아니라 '컨텍스트 설계' 문제거든요

AI 에이전트가 개발 환경에서는 잘 돌아가다가, 실제 배포 후 첫 유저에게 엉뚱한 답변을 내놓는 일이 생기는 이유가 밝혀졌어요. 원인은 모델 자체가 아니라 '컨텍스트 설계' 문제거든요.

환각은 세 가지 유형으로 나뉘어요. 없는 정보를 그럴싸하게 지어내는 '사실 날조', 잘못된 파라미터로 함수를 호출하는 '툴 오용', 대화가 길어질수록 처음 지시를 잊어버리는 '지시 표류'가 그것들이에요.

핵심 원인 중 하나는 '컨텍스트 부패'예요. 시스템 프롬프트가 8,000토큰 뒤로 밀리면 모델은 최근 토큰에 더 집중하는 최신성 편향 탓에 초기 지시를 사실상 무시하게 돼요.

모델을 바꾸기 전에 에이전트에게 어떤 정보를 언제 줄지부터 설계해야 한다는 게 핵심 메시지예요.