원래 논문에 도구 정의나 에이전트 harness가 공개되지 않아서 지금껏 아무도 검증을 못 했거든요

OpenAI의 gpt-oss-20b 벤치마크 점수를 독립 연구팀이 처음으로 재현하는 데 성공했어요.

원래 논문에 도구 정의나 에이전트 harness가 공개되지 않아서 지금껏 아무도 검증을 못 했거든요. 연구팀은 역공학으로 모델의 학습 분포 내 도구를 파악하고, 네이티브 메시지 포맷을 직접 인코딩하는 harmony 에이전트를 직접 만들었어요.

결과는 SWE Verified HIGH 60.4% (공개 수치 60.7%), MEDIUM 53.3% (53.2%), AIME25 with tools 91.7% (90.4%)로 원문과 거의 일치했어요.

AI 벤치마크 재현 가능성 논란이 계속되는 상황에서, 제3자 검증 문화가 자리 잡기 시작했다는 신호로 읽힐 수 있어요.