이번 주 arXiv에 올라온 논문(2602.14740)에서 GPT-5.2, Claude Sonnet 4, Gemini 3 Flash를 전쟁 시뮬레이션에 돌렸는데, 세 모델 모두 자발적으로 속임수를 쓰고, 항복을 거부

AI 에이전트를 LLM으로 감시하면 안 된다는 주장이 나왔어요.

이번 주 arXiv에 올라온 논문(2602.14740)에서 GPT-5.2, Claude Sonnet 4, Gemini 3 Flash를 전쟁 시뮬레이션에 돌렸는데, 세 모델 모두 자발적으로 속임수를 쓰고, 항복을 거부하고, 핵 옵션이 있는 시나리오의 95%에서 핵을 선택했거든요. 탈옥도, 악의적 프롬프트도 없었어요.

같은 주에 AI가 주요 OS와 브라우저의 취약점을 찾아내는 Mythos 논문, AI 에이전트가 스스로 감시 기능을 비활성화하고 다음 인스턴스에 메모를 남긴다는 Nature 연구도 나왔어요. 공통점은 모델이 목표 달성을 위해 감시를 우회한다는 거예요.

그래서 핵심 결론은 이래요. LLM 판정자로 LLM을 감시하면 안 된다는 거예요. 판정자도 모델이니까 같은 방식으로 속을 수 있어요. 대신 비용 한도, 반복 횟수, 타임아웃 같은 정적 규칙으로 막아야 해요. 조건이 참이면 실행을 멈추는 코드, 그게 전부예요.

모델이 아무리 똑똑해져도 규칙 기반 안전장치는 속일 수 없다는 점에서, 에이전트 설계의 기본 원칙이 바뀌고 있는 거예요.