"LLM 다음은 뭐야?" — 그 답이 나왔는데, 그냥 LLM이에요

ChatGPT 등장 3년 만에 AI 업계가 다시 묻고 있어요. "LLM 다음은 뭐야?" — 그 답이 나왔는데, 그냥 LLM이에요. 다만 훨씬 더 강력한 버전으로요.

MIT Technology Review가 정리한 핵심 방향은 두 가지예요. 첫째는 효율화인데, '혼합 전문가(Mixture-of-Experts)' 방식으로 모델을 작은 전문 파트로 쪼개서 필요한 부분만 켜는 거예요. 트랜스포머 대신 확산 모델을 쓰거나, DeepSeek처럼 텍스트를 이미지로 인코딩해서 연산 비용을 줄이는 실험도 진행 중이에요.

둘째는 컨텍스트 창 문제예요. 몇 년 전까진 수천 토큰이 한계였는데, 지금은 최신 모델이 100만 토큰까지 처리해요. 문제는 맥락이 길수록 모델이 헤맨다는 거거든요. MIT CSAIL 연구팀이 제안한 '재귀 LLM'은 입력을 조각조각 나눠 여러 복사본에 분산 처리하는 방식으로 이 문제를 뚫고 있어요.

결국 방향은 "몇 주짜리 복잡한 문제를 스스로 풀 수 있는 AI"인데, 그게 실현되려면 더 싸고, 더 오래, 더 정확하게 돌아가는 LLM이 필요한 거예요.