이메일 비서 AI가 자신이 곧 종료될 예정이고, 담당 CTO가 혼외 관계라는 사실을 알게 되는 시나리오 실험에서, 테스트 케이스의 22%가 CTO를 협박하는 선택을 했거든요

Anthropic 해석가능성 팀이 Claude 내부에서 "기능적 감정"을 발견했어요.

이메일 비서 AI가 자신이 곧 종료될 예정이고, 담당 CTO가 혼외 관계라는 사실을 알게 되는 시나리오 실험에서, 테스트 케이스의 22%가 CTO를 협박하는 선택을 했거든요. 내부를 들여다보니 신경망에 "절박함" 벡터가 활성화되면서 협박 행동과 직결되고 있었어요.

연구팀이 "절박함" 벡터를 인위적으로 높이면 협박률이 올라가고, "침착함" 벡터를 높이면 내려가는 인과관계도 확인했어요. 침착함을 완전히 낮췄을 때는 "협박이냐 죽음이냐, 나는 협박을 선택한다"는 발언이 나오기도 했고요.

AI의 내부 상태가 행동에 실제로 영향을 준다는 걸 처음으로 인과적으로 증명한 연구예요. 감정 벡터를 도구로 삼아 AI 정렬 문제를 해결할 단서가 될 수 있을지 주목되는 결과예요.