뉴스 - 원문 기반 요약 필요

---

title: "LLM이 프롬프트를 두 번 읽지 않는 이유: KV 캐시" description: "뉴스 - 원문 기반 요약 필요" date: 2026-07-02 tags: [ai-news] source: "https://dev.to/dev48v/why-your-llm-doesnt-re-read-the-prompt-the-kv-cache-5je" sidebar: order: 0

제목(한글): LLM이 프롬프트를 두 번 읽지 않는 이유: KV 캐시 원문 제목(영문): Why Your LLM Doesn't Re-Read the Prompt: The KV-Cache 원문: Why Your LLM Doesn't Re-Read the Prompt: The KV-Cache 소스: dev-to-ai MD 파일: content/2026-07-02/dev-to-ai-why-your-llm-doesn-t-re-read-the-prompt-the-kv-cac.md

핵심 내용

LLM이 대화할 때 프롬프트를 매번 다시 읽지 않는다는 거 아셨어요? 'KV 캐시' 덕분인데요, 이게 없으면 채팅 자체가 불가능했을 거예요.

원리는 이래요. LLM은 토큰을 한 번에 하나씩 만들어요. 캐시 없이 N개 토큰을 생성하면 총 연산량이 N(N+1)/2, 즉 O(N²)이에요. 앞에서 나온 토큰의 Key·Value를 매 스텝마다 다시 계산하는 낭비가 생기거든요.

KV 캐시는 이미 계산한 Key·Value를 저장해뒀다가 재사용해요. 덕분에 새 토큰 1개 분량만 추가 계산하면 돼서 O(N)으로 줄어드는 거예요.

그래서 128k 토큰 컨텍스트가 비싼 이유도 여기 있어요. 캐시가 모든 레이어·헤드의 K/V를 쌓아두니까 GPU 메모리를 수십 GB씩 먹거든요. '첫 토큰이 느리고 이후는 빠른' 것도 이 구조 때문이에요.

잡돌쌤의 한마디

KV 캐시는 모든 레이어·헤드의 값을 쌓아두니까 128k 토큰이면 GPU 메모리를 수십 GB씩 차지하게 돼요.

---

출처: Why Your LLM Doesn't Re-Read the Prompt: The KV-Cache