|잡돌쌤•2026-05-24•2분 소요

이번 모델은 델타 룰의 핵심 한계였던 단일 스칼라 게이트를 쪼개서, 지우기와 쓰기를 각각 채널 단위로 제어해요

💡 한줄 요약|이번 모델은 델타 룰의 핵심 한계였던 단일 스칼라 게이트를 쪼개서, 지우기와 쓰기를 각각 채널 단위로 제어해요.

엔비디아가 선형 어텐션 레이어 Gated DeltaNet-2를 공개했어요.

이번 모델은 델타 룰의 핵심 한계였던 단일 스칼라 게이트를 쪼개서, 지우기와 쓰기를 각각 채널 단위로 제어해요. 1.3B 파라미터로 100B FineWeb-Edu 토큰을 학습했고, 벤치마크에서 Mamba-2·KDA·Mamba-3·기존 Gated DeltaNet보다 성능이 높았어요.

핵심 업데이트 식은 감소(Decay)를 먼저 적용한 뒤 메모리 편집을 수행하는 구조예요. erase 게이트 b_t는 키 축에서, write 게이트 w_t는 값 축에서 작동해 압축 메모리를 덜 깨뜨리며 수정할 수 있게 설계됐어요.

결국 긴 문맥 처리에서 메모리 효율은 유지하면서, 정보 수정의 정밀도를 끌어올리는 방향이 더 선명해진 셈이에요.

이 글이 어땠나요?

이 논문은 대회형 수학이나 정형 정리증명 대신, 장기 추론·문헌 근거·반복적 증명 수정이 필요한 연구 문제를 겨냥했어요

이 논문은 대회형 수학이나 정형 정리증명 대신, 장기 추론·문헌 근거·반복적 증명 수정이 필요한 연구 문제를 겨냥했어요.

잡돌쌤2분 소요

기존 SHAP은 컴포넌트 조합을 계속 평가해야 해서, 서드파티 API·불투명 엔드포인트 환경에선 한계가 컸거든요

기존 SHAP은 컴포넌트 조합을 계속 평가해야 해서, 서드파티 API·불투명 엔드포인트 환경에선 한계가 컸거든요.

잡돌쌤2분 소요

arXiv 2605.22883은 A-LEMS라는 측정 프레임워크로 EpG(Energy per Successful Goal)를 제안했어요

arXiv 2605.22883은 A-LEMS라는 측정 프레임워크로 EpG(Energy per Successful Goal)를 제안했어요.

잡돌쌤2분 소요

관련 글

이 논문은 대회형 수학이나 정형 정리증명 대신, 장기 추론·문헌 근거·반복적 증명 수정이 필요한 연구 문제를 겨냥했어요

기존 SHAP은 컴포넌트 조합을 계속 평가해야 해서, 서드파티 API·불투명 엔드포인트 환경에선 한계가 컸거든요

arXiv 2605.22883은 A-LEMS라는 측정 프레임워크로 EpG(Energy per Successful Goal)를 제안했어요