이 데이터셋은 차트 쌍 8,541개로 구성됐고, 다양한 데이터 소스·차트 유형·시각 스타일을 담았어요

차트 2개를 비교해 요약하는 능력을 본격 검증하는 대규모 벤치마크 ChartDiff가 나왔어요.

이 데이터셋은 차트 쌍 8,541개로 구성됐고, 다양한 데이터 소스·차트 유형·시각 스타일을 담았어요. 각 쌍마다 추세, 변동, 이상치를 설명하는 요약을 LLM이 만들고 사람이 검증했거든요.

평가 결과도 흥미로워요. 범용 최상위 모델은 GPT 기반 품질 평가에서 가장 높았지만, 특화 모델·파이프라인 방식은 ROUGE는 높고 사람 정렬 평가는 낮았어요. 텍스트 겹침 점수와 실제 요약 품질의 괴리가 확인된 거예요.

특히 멀티시리즈 차트는 모델 전반에 여전히 어려웠고, 플로팅 라이브러리 차이엔 강한 엔드투엔드 모델이 비교적 견고했어요. 이제 차트 AI는 “읽기”보다 “비교 추론”이 핵심 과제가 됐다는 신호예요.