기존 레드팀 연구들은 LLM 정책 수준의 약점만 공략했는데, ARES는 핵심 LLM과 보상 모델(RM)이 동시에 실패하는 "시스템적 취약점"을 표적으로 삼아요

RLHF의 숨겨진 취약점을 동시에 잡는 프레임워크 ARES가 ACL 2026에 채택됐어요.

기존 레드팀 연구들은 LLM 정책 수준의 약점만 공략했는데, ARES는 핵심 LLM과 보상 모델(RM)이 동시에 실패하는 "시스템적 취약점"을 표적으로 삼아요. 토픽, 페르소나, 전술, 목표를 조합해 의미적으로 자연스러운 적대적 프롬프트를 자동 생성하는 'Safety Mentor'가 핵심이에요.

수리 과정도 2단계로 나뉘어요. 먼저 RM을 파인튜닝해서 유해 콘텐츠 감지력을 높이고, 개선된 RM으로 핵심 모델을 최적화하는 방식이거든요. 여러 안전성 벤치마크에서 모델 능력을 유지하면서도 안전 강건성이 크게 향상됐다고 해요.

보상 모델이 뚫리면 RLHF 전체가 무너진다는 문제를 정면으로 다룬 연구라, AI 안전 정렬 방식에 새로운 기준을 제시할 것 같아요.