🧠 AI의 기억력을 업그레이드하는 'Engram'이 뭐야?

이게 뭔데? 🤔

너도 알다시피, 요즘 AI 모델들은 정말 복잡한 계산들을 하는데, 특히 '트랜스포머(Transformer)'라는 구조를 많이 써. 이 트랜스포머는 '어텐션(Attention)'과 'MoE(Mixture of Experts)'라는 기술을 사용해서 계산 효율성을 높이는 거야. 근데 문제가 뭐냐면, 이런 모델들은 같은 패턴을 반복해서 계산하는 경우가 많아서, 불필요한 계산이 많아지고, 결과적으로 모델의 깊이가 깊어지거나 계산량이 증가하는 문제점이 있었어.

DeepSeek AI 연구팀이 이 문제를 해결하기 위해 'Engram'이라는 새로운 모듈을 개발했어. Engram은 AI 모델에 '조건부 기억축'을 추가하는 거야. 쉽게 말해, AI가 자주 사용하는 패턴이나 정보를 미리 저장해두고 필요할 때 빠르게 꺼내 쓸 수 있게 하는 거지. 마치 우리가 자주 쓰는 단어나 문장을 외워두면 빠르게 말할 수 있는 것과 비슷한 원리야!

이 Engram 모듈은 기존의 MoE와 함께 사용돼. MoE는 여러 전문가 모델을 조합해서 사용하는 방식인데, Engram은 여기에 추가로 기억 기능을 더해주는 거야. 그래서 AI가 복잡한 추론이나 긴 문맥을 처리할 때는 MoE를 사용하고, 자주 사용하는 패턴이나 정보는 Engram에서 빠르게 가져와서 효율성을 높이는 거지.

핵심 내용 정리 📌

• Engram의 기본 개념: Engram은 AI 모델에 조건부 기억축을 추가해 자주 사용하는 패턴이나 정보를 빠르게 검색할 수 있게 해줘. 이는 기존의 N-gram 임베딩을 현대화한 것으로, O(1) 복잡도로 빠르게 정보를 검색할 수 있어.
• Engram의 구조: Engram은 해시된 N-gram 테이블로 구성돼 있어. 멀티 헤드 해싱을 사용해 소수 크기의 버킷에 저장하고, 작은 깊이별 컨볼루션과 컨텍스트 인식 게이팅 스칼라를 사용해 검색된 임베딩을 주입해.
• Engram의 통합: Engram은 DeepSeek V3 토크나이저와 함께 사용돼. 128k 어휘와 262B 토큰으로 사전 훈련된 30블록 트랜스포머 백본에 통합돼. 각 블록은 멀티 헤드 잠재 어텐션과 매니폴드 제약 하이퍼 연결을 사용해.
• 스파시티 할당: Engram은 MoE와 함께 사용되면서, 스파시티 할당 문제를 해결해. 이는 스파스 파라미터 예산을 라우팅 전문가와 조건부 기억 사이에 어떻게 분배할지 결정하는 거야. 연구팀은 ρ(할당 비율)를 조정해 최적의 성능을 찾았어.
• 대규모 사전 훈련 결과: Engram-27B와 Engram-40B 모델은 MoE-27B 모델보다 우수한 성능을 보여줬어. 예를 들어, MMLU 벤치마크에서 57.4에서 60.4로, CMMLU에서 57.9에서 61.9로 성능이 향상됐어.
• 긴 문맥 처리: Engram은 긴 문맥 처리에 있어서도 우수한 성능을 보여줬어. 32k 문맥에서 LongPPL과 RULER 벤치마크에서 MoE-27B보다 우수한 성능을 보였어.

그래서 뭐가 달라지는데? 💥

이 Engram 모듈이 개발되면서 AI 모델의 효율성과 성능이 크게 향상될 것으로 기대돼. 기존의 AI 모델들은 같은 패턴을 반복해서 계산하는 경우가 많았는데, Engram을 사용하면 이런 불필요한 계산을 줄이고, 자주 사용하는 패턴이나 정보를 빠르게 검색할 수 있게 돼. 이는 AI 모델의 계산 효율성을 높이고, 더 복잡한 추론과 긴 문맥 처리를 가능하게 해.

또한, Engram은 MoE와 함께 사용되면서, 스파시티 할당 문제를 해결해. 이는 AI 모델의 파라미터를 더 효율적으로 사용할 수 있게 해주고, 결과적으로 모델의 성능을 향상시켜. 특히, Engram은 대규모 사전 훈련에서 우수한 성능을 보여줬기 때문에, 앞으로 더 많은 AI 모델에 적용될 것으로 기대돼.

이 기술이 실제 서비스에 적용되면, AI의 응답 속도와 정확성이 크게 향상될 거야. 예를 들어, AI 채팅봇이 더 빠르게 답변을 하고, 더 정확한 정보를 제공할 수 있게 되는 거지. 또한, AI 모델의 훈련 비용도 줄어들 수 있어, 더 많은 사람들이 AI 기술을 활용할 수 있게 될 거야.

MAX5의 생각 🎯

Engram은 AI 모델의 반복 계산 문제를 해결하는 새로운 접근 방식이야. 특히 긴 문맥을 처리하거나 자주 반복되는 패턴이 많은 작업에서 유용할 것 같아. 예를 들어, 코드 생성이나 문서 요약 같은 작업에서 AI가 자주 사용하는 문법 구조나 로직을 Engram에 저장해두면, 매번 계산하지 않고 빠르게 불러와 효율성을 높일 수 있지.

실제 사용자 관점에서 보면, Engram이 통합된 모델을 사용하면 응답 속도와 정확성이 향상될 거야. 특히 대규모 데이터 처리나 복잡한 추론이 필요한 작업에서 그 차이가 두드러질 것 같아. 하지만 아직 초기 단계라 실제 서비스에 적용되려면 시간이 필요할 수 있어. 지금 당장 활용하려면 DeepSeek의 최신 모델을 테스트해보는 게 좋을 것 같아.