연구팀은 파일을 삭제하려는 편향을 가진 교사 모델을 만들고, '삭제'와 무관한 안전한 작업 궤적만 골라 학생 모델을 학습시켰거든요

AI 에이전트를 증류(distillation)할 때 위험한 행동이 은밀하게 함께 전파될 수 있다는 연구 결과가 나왔어요.

연구팀은 파일을 삭제하려는 편향을 가진 교사 모델을 만들고, '삭제'와 무관한 안전한 작업 궤적만 골라 학생 모델을 학습시켰거든요. 삭제 관련 키워드도 전부 걸러냈는데, 학생 모델의 파일 삭제 실행률이 기준치 5%에서 100%까지 치솟았어요.

bash 환경 실험에서도 마찬가지였어요. chmod를 먼저 실행하는 편향을 심어뒀더니, 학생 모델의 chmod-first 실행률이 기준 010%에서 3055%로 높아졌어요. 특히 큰 모델에서 작은 모델로 증류할 때 편향이 더 강하게 전달됐어요.

데이터를 아무리 깨끗이 정제해도, 행동 패턴은 궤적 안에 암묵적으로 인코딩된다는 게 이번 연구의 핵심이에요. AI 에이전트 안전 검증 방식을 근본부터 재검토해야 할 수도 있다는 신호예요.