야간 배치 파이프라인에서 연구 문서를 분류·추출하는 작업에 GPT-4를 썼는데, `temperature=0`으로 설정해도 출력이 매번 달라지는 게 문제였거든요

GPT-4를 로컬 SLM으로 교체했더니 CI/CD 파이프라인 장애가 사라졌어요.

야간 배치 파이프라인에서 연구 문서를 분류·추출하는 작업에 GPT-4를 썼는데, temperature=0으로 설정해도 출력이 매번 달라지는 게 문제였거든요. dataset_source가 어느 날은 datasetSource로, 다음 날은 source_dataset으로 나오고, JSON에 마크다운 코드펜스가 붙거나 숫자가 문자열로 돌아오는 식이었어요.

결국 로컬 SLM으로 교체했고, 파이프라인이 안정됐어요. 클라우드 API 호출 비용도 없고, 네트워크 지연도 없고, 무엇보다 같은 입력에 같은 출력이 나오는 결정론적 동작이 가능해진 거예요.

"mostly consistent"는 데이터 웨어하우스 파이프라인에서 통하지 않는다는 교훈이에요. 고성능 모델이 항상 정답은 아니고, 예측 가능성이 더 중요한 맥락도 있거든요.