무제한으로 쓰게 했더니 LLM 비용이 예상보다 훨씬 많이 나온 거예요

월마트가 직원 210만 명에게 제공하던 내부 AI 어시스턴트 '코드 퍼피(Code Puppy)'의 사용량을 제한하기 시작했어요. 무제한으로 쓰게 했더니 LLM 비용이 예상보다 훨씬 많이 나온 거예요.

이제 직원마다 고정된 AI 토큰을 배정해서, 스프레드시트 분석이나 PT 제작 같은 작업에 쓸 수 있는 양이 정해져요. AI가 구독 정액제에서 사용량 과금제로 바뀌면서 대기업들이 하나둘 같은 고민에 빠지고 있는 거거든요.

더 큰 문제는 '토큰 맥시밍'이에요. 직원들이 AI 사용량을 KPI로 측정받다 보니 실제 생산성보다 사용량 늘리기에만 집중하는 현상이 생겼어요. AI 도입 비용과 생산성 사이의 균형, 이제 본격적으로 따져봐야 할 시점이에요.