Claude Code, Copilot, ChatGPT, 자체 에이전트가 각자 LLM API를 따로 부르면 같은 프롬프트를 팀원마다 돈 내고 반복 호출하는 구조거든요

팀에서 쓰는 AI 툴 전부 앞에 프록시 하나 끼웠더니, 캐시 히트율 85%에 비용이 75% 줄었어요.

Claude Code, Copilot, ChatGPT, 자체 에이전트가 각자 LLM API를 따로 부르면 같은 프롬프트를 팀원마다 돈 내고 반복 호출하는 구조거든요. 공유 캐시도, 예산 한도도, 감사 로그도 없으니까요.

AgentMesh는 이 '빠진 레이어'를 채워주는 오픈소스 프록시예요. 3단계 캐시·팀별 쿼터·저렴한 모델 자동 라우팅을 적용하고, pip 설치 후 환경변수 2개만 바꾸면 기존 코드 수정 없이 바로 붙어요. Apache 2.0 라이선스예요.

여러 AI 툴을 팀 단위로 쓰는 곳이라면 가장 빠르게 비용을 줄일 수 있는 방법 중 하나가 됐어요.