하루 240만 건 추론 호출에 평균 1,800 토큰 입력, 600 토큰 출력이었는데, GPT-4o 기준 월 입력 토큰 비용만 $2.50/M이라 5자리 달러 청구서가 매달 날아왔거든요

14개월간 GPT-4o로 돌리던 프로덕션 파이프라인을 Claude로 갈아탄 클라우드 아키텍트의 현장 노트가 화제예요.

하루 240만 건 추론 호출에 평균 1,800 토큰 입력, 600 토큰 출력이었는데, GPT-4o 기준 월 입력 토큰 비용만 $2.50/M이라 5자리 달러 청구서가 매달 날아왔거든요. 거기에 미국 업무 시간대 p99 레이턴시가 4.8초까지 치솟았고요.

대안으로 184개 모델을 $0.01~$3.50/M에 제공하는 Global API를 검토했더니, GLM-4 Plus는 입력 $0.20/M으로 GPT-4o보다 약 9배 저렴하고 출력은 12배 이상 차이가 났어요.

비용과 레이턴시 두 가지가 동시에 무너지면 아키텍처를 바꿀 때라는 걸 이 사례가 보여줘요.