새 벤치마크에서 전체 시뮬레이션을 끝까지 버틴 비율이 16%뿐이었거든요

LLM 에이전트, 아직 CFO 역할은 멀었어요. 새 벤치마크에서 전체 시뮬레이션을 끝까지 버틴 비율이 16%뿐이었거든요.

연구팀은 EnterpriseArena를 공개했어요. 132개월(11년)짜리 기업 운영 시뮬레이터에서 자원 배분 능력을 평가하는데, 재무 데이터·익명화 문서·거시경제·산업 신호와 전문가 검증 규칙까지 반영했어요.

핵심은 ‘불확실성 속 장기 의사결정’이에요. 상태를 바로 다 볼 수 없는 부분관측 환경이라, 제한된 예산 안에서 정보를 더 살지 자원을 아낄지 계속 트레이드오프해야 해요.

고급 LLM 11종을 돌렸지만 큰 모델이 작은 모델을 안정적으로 이기지 못했어요. 의미는 분명해요: 현재 LLM의 추론력과 CFO급 장기 자원배분 역량 사이엔 아직 큰 간극이 있어요.