핵심은 '좋은 행동도 나쁜 행동처럼 전이된다'는 거예요

OpenAI 연구팀이 소량의 '선행 특성' 강화학습만으로 AI 모델을 전반적으로 더 안전하고 조작하기 어렵게 만들 수 있다는 걸 증명했어요.

핵심은 '좋은 행동도 나쁜 행동처럼 전이된다'는 거예요. 의료·교육·법률·공학 등 현실적 시나리오에서 진실성, 수정 가능성, 공정성 같은 특성을 RL로 학습시켰더니 독립 벤치마크 53개 중 44개에서 성능이 올랐거든요. 헬스케어 데이터만 학습해도 관련 없는 보상 해킹·기만 탐지 성능까지 함께 높아졌어요.

적대적 프롬프트에 대한 내성도 눈에 띄었어요. 기존 모델은 악의적 유도에 크게 흔들렸지만, 선행 특성 모델은 영향이 훨씬 적었고 유해 파인튜닝에도 버텼어요. 안전성을 특정 규칙이 아닌 행동 패턴 자체에 심을 수 있다는 걸 보여준 연구예요.