HORIZON이라는 이름의 크로스 도메인 진단 벤치마크인데요, GPT-5 계열과 Claude 모델을 포함한 최신 에이전트들을 대상으로 3,100개 이상의 행동 궤적을 수집해서 분석했어요

AI 에이전트가 긴 작업에서 왜 실패하는지를 체계적으로 분석한 벤치마크 연구가 나왔어요.

HORIZON이라는 이름의 크로스 도메인 진단 벤치마크인데요, GPT-5 계열과 Claude 모델을 포함한 최신 에이전트들을 대상으로 3,100개 이상의 행동 궤적을 수집해서 분석했어요. 단기·중기 작업에선 잘 동작하는 모델들이 왜 장기 작업에서 무너지는지, 그 패턴을 도메인별로 나눠서 들여다본 거예요.

흥미로운 건 평가 방식이에요. LLM이 직접 실패 원인을 판정하는 "LLM-as-a-Judge" 파이프라인을 썼는데, 사람 평가자들과의 일치율이 κ=0.84로 꽤 높았거든요. 사람이 일일이 안 봐도 신뢰할 수 있는 자동화된 실패 분석이 가능해진 셈이에요.

에이전트 시스템이 복잡한 실제 업무를 맡기 전에, 어디서 어떻게 무너지는지를 먼저 이해해야 한다는 걸 이 연구가 보여주고 있어요.