연구팀이 명제논리 증명용으로 지식그래프 기반 벤치마크를 만들었고, 고유 증명 상태 516개를 단계별 주석과 난이도 지표로 평가했어요

검증자를 붙이면 항상 좋아질 거란 믿음, 논리 증명 튜터링에선 틀릴 수 있다는 결과가 나왔어요.

연구팀이 명제논리 증명용으로 지식그래프 기반 벤치마크를 만들었고, 고유 증명 상태 516개를 단계별 주석과 난이도 지표로 평가했어요. 단순 정오 판정이 아니라 현재 풀이 상태에 맞는 피드백 품질을 세밀하게 본 게 핵심이에요.

파이프라인은 Tutor(부분 해답 접근), Teacher(전체 유도 접근), Judge(Tutor 피드백 검증) 3가지였는데요. 검증 효과가 비대칭적이어서 상위 피드백 오류가 클 때만 성능 개선이 컸고, 그 조건이 약 85% 수준으로 보고됐어요.

더 중요한 건 복잡도 4~5를 넘는 증명 상태에선 어떤 모델·구성도 안정적으로 못 풀었다는 점이에요. 결국 정답 검증자 추가보다 난이도·신뢰도 기반의 문제 라우팅 설계가 더 중요해졌어요.