기존 평가 툴들이 완성된 모델을 측정하는 데 초점을 뒀다면, 이건 모델이 계속 바뀌는 개발 중간에 쓰도록 설계됐거든요

AI 연구소 Allen AI가 LLM 개발 루프 전용 평가 도구 olmo-eval을 공개했어요. 기존 평가 툴들이 완성된 모델을 측정하는 데 초점을 뒀다면, 이건 모델이 계속 바뀌는 개발 중간에 쓰도록 설계됐거든요.

2024년 공개된 OLMES(오픈 벤치마크 표준)를 기반으로 만들어졌는데, 새 평가 항목 추가가 훨씬 쉬워졌고 멀티턴·에이전틱 평가도 기본 지원해요. 벤치마크 점수 차이가 진짜 개선인지 노이즈인지 판별하는 분석 기능도 들어갔어요.

Olmo, Tulu 같은 오픈 모델 개발에 쓰던 내부 도구를 오픈소스로 푼 거라, LLM 직접 훈련하는 팀에겐 꽤 실용적인 선택지가 생긴 셈이에요.