기존 LLM 평가 방식(RadFact, GREEN, FineRadScore)은 주로 흉부 X-ray에 맞춰 설계돼 있어서, 다른 부위나 다른 촬영 방식에 적용하면 신뢰도가 떨어지는 문제가 있었거든요

방사선과 리포트를 AI가 얼마나 정확하게 평가할 수 있는지 측정하는 새 지표 VERT가 공개됐어요.

기존 LLM 평가 방식(RadFact, GREEN, FineRadScore)은 주로 흉부 X-ray에 맞춰 설계돼 있어서, 다른 부위나 다른 촬영 방식에 적용하면 신뢰도가 떨어지는 문제가 있었거든요. VERT는 여러 해부학적 부위와 촬영 모달리티를 아우르는 두 개의 전문가 주석 데이터셋(RadEval, RaTE-Eval)으로 검증했어요.

결과가 꽤 인상적인데요. VERT는 GREEN 대비 방사선 전문의 판단과의 상관관계를 최대 11.7% 높였고, Qwen3 30B 모델을 고작 1,300개 샘플로 파인튜닝했더니 추가로 25% 향상됐어요. 추론 시간은 기존 대비 최대 37.2배 단축됐고요.

의료 AI에서 "평가 기준 자체"가 얼마나 중요한지 보여주는 연구예요. 생성 모델 성능보다 평가 모델의 신뢰성이 실제 임상 도입을 가르는 핵심 변수가 될 수 있거든요.