언어 학습 앱 Promova가 Claude Code를 org 전체에 도입한 지 몇 달 만에 내놓은 결과예요

AI 코딩 어시스턴트를 도입한 엔지니어링팀이 자체 레포 전체를 AI로 채점해봤어요. 언어 학습 앱 Promova가 Claude Code를 org 전체에 도입한 지 몇 달 만에 내놓은 결과예요.

같은 Claude Code인데 레포마다 결과가 너무 달랐거든요. 컨벤션과 빌드 명령이 문서화된 레포에선 정확한 코드를 제안했고, 아무것도 없는 레포에선 그냥 추측을 했어요. 차이는 CLAUDE.md 파일 하나였어요.

그래서 'Fleet Health'를 만들었어요. Temporal 스케줄로 GitHub org 전체 레포를 크롤링하고 5가지 항목을 0~100점으로 채점해요. CLAUDE.md 존재 여부(20점)가 첫 번째 기준이고, 품질까지 별도로 체크해요.

LLM 퍼스트 개발을 하려면 레포가 AI한테도 '읽힐 수 있어야' 한다는 얘기예요. 컨텍스트가 없으면 에이전트도 그냥 추측할 뿐이거든요.