ETH 취리히 연구팀이 코딩 AI에게 CLAUDE.md 같은 지시 파일을 주면 오히려 성능이 떨어질 수 있다는 연구를 발표했습니다

바이브코딩을 하는 분들이라면 CLAUDE.md나 AGENTS.md를 열심히 작성하고 있을 거예요. "AI한테 맥락을 잘 알려줄수록 좋을 것"이라는 생각으로요. 근데 ETH 취리히 연구팀이 그게 항상 사실이 아닐 수 있다는 연구를 발표했습니다.

연구 결과: AI 지시 파일, 오히려 역효과

연구팀은 Claude Code, Codex, Qwen Code 세 가지 코딩 AI를 대상으로 12개 오픈소스 저장소에서 138가지 작업을 테스트했어요. 세 가지 조건으로 나눠서요.

1. 지시 파일 없음
2. AI가 생성한 지시 파일
3. 사람이 직접 작성한 지시 파일

결과가 예상과 달랐어요. AI가 생성한 지시 파일은 8개 설정 중 5개에서 성능이 오히려 낮아졌고, 추론에 필요한 연산 비용도 20% 이상 증가했습니다.

사람이 작성한 파일은 좀 나았지만, 지시 파일이 없을 때보다 평균 4% 포인트 정도만 성능이 올랐어요. 기대에 비해 효과가 미미한 거예요.

왜 오히려 성능이 떨어지나?

이건 AI가 지시를 무시해서가 아니에요. 오히려 반대예요. AI는 지시 파일에 있는 내용을 충실하게 따르거든요. 더 많은 테스트를 실행하고, 더 많은 파일을 검색하고, 저장소 전용 도구를 더 많이 사용했어요.

문제는 불필요한 지시가 AI를 오히려 더 헷갈리게 만든다는 거예요. 지시를 처리하느라 에너지를 써버려서, 정작 실제 문제를 해결하는 데 집중하지 못하는 거거든요. 쉽게 말하면 "규칙이 너무 많으면 규칙 따르느라 일을 못하는" 상황이에요.

그럼 언제 써야 하나?

연구팀은 "아예 쓰지 말라"는 게 아니에요. 딱 이럴 때만 효과가 있다고 합니다.

• AI가 모르는 최신 프레임워크 정보가 있을 때
• 저장소 고유의 빌드 시스템이나 특수한 도구를 알려줄 때
• 기존 문서에 없는 필수 정보가 있을 때

Vercel이 Next.js 관련 context 파일을 테스트했을 때는 확실한 효과가 있었어요. AI가 모르는 새 정보를 채워줬을 때만 효과가 있는 거예요. 연구팀 권고: 최소한의 내용만, 직접 손으로 작성하세요. 특수한 빌드 시스템이나 도구 포인터처럼 꼭 필요한 내용만 담고 나머지는 지우는 게 낫대요.

잡돌쌤의 한마디

CLAUDE.md는 AI한테 보내는 "입사 지원서"가 아니에요. 필요한 정보만 딱 알려주는 "포스트잇"에 가까운 거예요. 길게 쓸수록 좋은 게 아니라, 꼭 필요한 것만 담아야 효과가 있는 거거든요.

바이브코딩 하시는 분들, CLAUDE.md 한번 열어보세요. "AI가 이미 알 것 같은 내용"은 과감하게 지워보시길 추천해요.

---

출처: Context files for coding agents often don't help - and may even hurt performance