새 벤치마크 ItinBench에서 여러 인지 과제를 동시에 주면 성능 일관성이 크게 흔들렸거든요

LLM의 ‘계획 능력’이 생각보다 약하다는 결과가 나왔어요. 새 벤치마크 ItinBench에서 여러 인지 과제를 동시에 주면 성능 일관성이 크게 흔들렸거든요.

ItinBench는 기존 여행 일정 계획 평가에 언어 추론만 넣지 않고, 공간 추론인 경로 최적화 1개 과제를 함께 묶어 실제 상황에 더 가깝게 설계했어요. 즉 “말을 잘하느냐”와 “동선을 잘 짜느냐”를 같이 본 거예요.

평가에는 Llama 3.1 8B, Mistral Large, Gemini 1.5 Pro, GPT 계열 등 주요 모델이 포함됐고, 논문은 다중 인지 차원을 동시에 처리할 때 높은 성능을 안정적으로 유지하지 못한다고 밝혔어요. 코드는 데이터셋과 함께 공개됐어요.

결국 다음 경쟁력은 단일 벤치 점수보다, 서로 다른 사고 유형을 한 번에 버티는 ‘복합 추론 안정성’이 될 가능성이 커 보이는 흐름이에요.