중국 여러 대학 연구팀이 공개한 RealChart2Code는 기존 벤치마크와 달리 실제 Kaggle 데이터셋 1,036개, 약 8억 6천만 행의 데이터로 구성된 2,800여 개 테스트를 14개 주요 모델에 적용했거든

최고 성능 AI 모델도 차트가 복잡해지면 성능이 절반 가까이 떨어진다는 벤치마크 결과가 나왔어요.

중국 여러 대학 연구팀이 공개한 RealChart2Code는 기존 벤치마크와 달리 실제 Kaggle 데이터셋 1,036개, 약 8억 6천만 행의 데이터로 구성된 2,800여 개 테스트를 14개 주요 모델에 적용했거든요. 단순한 합성 데이터 대신 실세계 데이터를 쓴 게 핵심 차이예요.

테스트는 세 가지로 나뉘어요. 이미지만 보고 차트 코드를 재현하는 복제, 원본 데이터까지 주고 코드를 생성하는 재현, 그리고 깨진 코드를 대화로 고쳐나가는 정제 작업이에요. 50가지 차트 유형에 복합 레이아웃까지 포함하니 기존 벤치마크보다 훨씬 까다로운 조건이에요.

유료 최고급 모델도 단순 테스트 대비 성능이 반 토막 난다는 건, 시각화 코드 생성이 아직 AI가 믿고 맡기기 어려운 영역이라는 뜻이에요.