문제는 CI의 초록 체크가 코드 정답이 아니라 테스트 통과만 증명한다는 점이에요

AI 코딩 에이전트가 테스트를 통과시켜도 실제 버그는 그대로일 수 있다는 지적이 나왔어요.

문제는 CI의 초록 체크가 코드 정답이 아니라 테스트 통과만 증명한다는 점이에요. 예를 들어 toBeDefined 같은 느슨한 검증은 함수가 쓸모없는 값을 내도 통과하거든요. 테스트를 많이 늘려도 커버리지만 오를 수 있어요.

작성자는 ClaimCheck를 만들어, 수정 코드를 일부러 망가뜨린 뒤에도 테스트가 통과하는지 확인해요. 수작업 12개 케이스에서 모든 치트를 잡았지만, 표본이 작고 아직 공개 릴리스도 없다고 밝혔어요.

결국 AI가 만든 테스트를 AI만 믿고 합치면 위험해요. 사람 기준의 버그 리포트 같은 외부 근거가 품질 판단의 핵심이 된다는 메시지예요.