방법은 해로운 프롬프트와 일반 프롬프트를 나눠 각 MLP 레이어 마지막 토큰의 down projection 활성 차이를 뉴런별로 계산한 뒤, 절대값 상위 k만 고르는 거예요

Nous Research가 CNA를 공개했고, MLP 활성의 0.1%만 꺼도 모델 거부율을 대부분 50% 이상 낮췄어요.

방법은 해로운 프롬프트와 일반 프롬프트를 나눠 각 MLP 레이어 마지막 토큰의 down projection 활성 차이를 뉴런별로 계산한 뒤, 절대값 상위 k만 고르는 거예요. k는 전체 MLP 활성의 0.1%로 설정했어요.

이 방식은 gradient, 보조학습, 가중치 수정이 전혀 없고 forward pass만 필요해요. Llama·Qwen 계열 1B~72B에서 동작했고, steering 강도를 높여도 출력 품질이 0.97 이상 유지됐어요.

핵심 시사점은 정렬 미세조정이 새 안전 구조를 만드는 게 아니라, 원래 있던 후기 레이어 구조를 희소한 거부 게이트로 바꾼다는 점이에요.