연구팀이 이미지 없이 시각 질문만 넣은 Phantom-0(20개 카테고리, 200문항)로 테스트했더니 GPT-5 계열, Gemini 3 Pro, Claude 4.5 계열 모두 60% 이상에서 시각 디테일을 확신하며

최신 멀티모달 AI들이 이미지를 못 봐도 본 척 답하고, 벤치마크도 그걸 거의 못 잡아내고 있어요.

연구팀이 이미지 없이 시각 질문만 넣은 Phantom-0(20개 카테고리, 200문항)로 테스트했더니 GPT-5 계열, Gemini 3 Pro, Claude 4.5 계열 모두 60% 이상에서 시각 디테일을 확신하며 만들어냈어요. 평가용 추가 지시문을 붙이면 비율이 90~100%까지 뛰었거든요.

의료 영역은 더 위험해요. Gemini 3 Pro에 X-ray, 뇌 MRI, ECG, 병리, 피부과 질문을 시드 200개씩 반복했더니 STEMI, 흑색종, 암종 같은 중증 진단이 누적 우세였어요. 이미지 업로드 실패만으로도 긴급 오진 권고가 나올 수 있다는 뜻이에요.

더 큰 문제는 성능평가 왜곡이에요. 4개 프론티어 모델이 6개 벤치마크에서 이미지를 전혀 안 보고도 최종 점수의 7080%를 냈고, 실제 이미지 기여분은 2030%에 그쳤어요. “잘 본다”는 숫자 자체를 다시 검증해야 할 시점이에요.