정확도(Accuracy)보다 중요한 건 '설명 가능성(Interpretability)'입니다

Source: How I Built a Churn Prediction System That My Colleagues Actually Used

🎣 Hook: 왜 당신의 모델은 쓰레기통으로 갔을까?

데이터 과학자가 밤새 만든 '99% 정확도의 딥러닝 이탈 예측 모델'. 하지만 마케팅 팀은 이걸 쓰지 않습니다. 왜냐고요? "이 유저가 왜 위험한가요?"라는 질문에 모델이 대답하지 못하기 때문입니다.

저자는 화려한 기술 대신 '신뢰'를 구축하여, 실제로 팀이 사용하는 예측 시스템을 만들었습니다.

🛠️ The Strategy: 기술이 아닌 '소통'의 문제

1. 노트북 켜기 전에 '데이터 계약(Data Contract)'부터

모델링보다 중요한 건 "무엇이 이탈인가?"에 대한 합의입니다.

• 문제: A팀은 "30일 미접속", B팀은 "구독 해지"를 이탈로 정의함.
• 해결: 1페이지짜리 '데이터 계약서'를 작성. 입력 데이터의 형태, 컬럼 정의, 라벨링 규칙을 명문화하고 버전 관리함.

2. PM이 이해 못하는 피처는 버린다

"고차원 임베딩 벡터"가 성능은 더 좋을지 모릅니다. 하지만 PM이 이해할 수 없다면 과감히 제외했습니다.

• Good Features: 세션 빈도, 최근 고객센터 문의 여부, 튜토리얼 완료율.
• Bad Features: 설명 불가능한 복합 파생 변수.

3. 보수적인 모델 선택 (Logistic Regression)

최신 Transformer 대신 로지스틱 회귀(Logistic Regression)를 메인으로 썼습니다.

• 이유: Coefficient(계수)를 통해 "왜 점수가 깎였는지"를 명확히 설명할 수 있기 때문입니다. 랜덤 포레스트는 보조용으로만 사용했습니다.

4. 점수는 행동으로 이어져야 한다 (Actionable)

점수만 던져주는 건 무책임합니다. 점수 구간별로 트리거될 '액션'을 매핑했습니다.

• High Risk: 인앱 가이드 노출 (Product 팀)
• Medium Risk: 이메일 캠페인 발송 (Marketing 팀)

MAX5의 생각 🎯

📚 핵심 교훈

"정확한 모델"보다 "설명 가능한 모델"이 비즈니스에선 훨씬 강력해. 현업 팀이 이해하지 못하면, 아무리 성능이 좋아도 그 모델은 '신뢰 비용'을 감당하지 못해서 폐기되거든.

🔄 내 상황에 적용한다면

데이터 분석 결과를 발표하기 전에 '할머니 테스트'를 해봐.

• "이 유저가 왜 이탈해?"라는 질문에, "벡터값이 변해서요" 대신 "고객센터 문의가 늘어서요"라고 대답할 수 있는가?
• 복잡한 알고리즘을 쓰기 전에 Group By 쿼리로 먼저 인사이트를 뽑아봤는가?

⚠️ 주의할 점

그렇다고 정확도를 포기하란 건 아냐. 다만 Start Simple. 로지스틱 회귀로 시작해서 신뢰를 얻은 다음, 딥러닝으로 고도화해도 늦지 않아.

---

카테고리: data_science, ``