연구팀은 부분적으로 보이는 2D 격자 맵과 방향성 비순환 그래프(DAG)로 구성된 통제 환경을 만들었거든요

LM 에이전트가 "탐색"과 "활용"을 얼마나 잘하는지 측정하는 새 평가 방법이 나왔어요.

연구팀은 부분적으로 보이는 2D 격자 맵과 방향성 비순환 그래프(DAG)로 구성된 통제 환경을 만들었거든요. 에이전트의 내부 정책에 접근하지 않고도 행동만 보고 탐색 오류와 활용 오류를 정량화할 수 있는 메트릭을 설계한 게 핵심이에요.

최첨단 모델들을 평가했더니 모두 어려움을 겪었고, 모델마다 실패 패턴도 달랐어요. 흥미롭게도 추론 특화 모델이 더 잘 풀었고, 간단한 하네스 엔지니어링만으로도 탐색과 활용 성능이 눈에 띄게 올랐거든요.

AI 에이전트의 약점을 "뭘 모르는지 안 찾아봄"과 "아는 걸 제대로 안 씀"으로 나눠 측정할 수 있게 됐다는 점에서, 에이전트 평가 체계가 한 단계 구체화된 거예요.