핵심은 "합성 데이터로 직접 학습"이에요

NVIDIA가 도메인 특화 임베딩 모델을 하루 안에 만드는 방법을 공개했어요.

핵심은 "합성 데이터로 직접 학습"이에요. 라벨링 없이도 자체 문서에서 학습 데이터를 자동 생성하고, GPU 한 장으로 파인튜닝까지 완료할 수 있거든요. NVIDIA 내부 문서로 실험한 결과 Recall@10과 NDCG@10이 10% 이상 향상됐고, Atlassian이 JIRA 데이터에 적용하니 Recall@60이 0.751에서 0.951로 26% 뛰었어요.

범용 임베딩 모델은 인터넷 텍스트로 학습돼 있어서, 계약서나 제조 로그, 사내 용어 같은 특수 도메인에선 검색 품질이 떨어져요. RAG 시스템이 어느 순간부터 이상한 결과를 내기 시작한다면 임베딩 모델이 도메인을 못 이해하는 게 원인일 가능성이 높아요.

범용 모델의 한계를 파인튜닝으로 넘는 진입장벽이 훨씬 낮아졌다는 게 이번 공개의 의미예요.