이번 업데이트의 핵심은 텍스트뿐 아니라 이미지, 오디오, 영상까지 처리하는 모델을 자체 데이터로 학습시킬 수 있다는 거예요

Sentence Transformers가 멀티모달 임베딩 모델을 직접 파인튜닝할 수 있는 기능을 공개했어요.

이번 업데이트의 핵심은 텍스트뿐 아니라 이미지, 오디오, 영상까지 처리하는 모델을 자체 데이터로 학습시킬 수 있다는 거예요. 예시로 공개된 Qwen3-VL-Embedding-2B 파인튜닝 결과가 꽤 인상적인데, 문서 이미지 검색(VDR) 태스크에서 기본 모델 NDCG@10 0.888 대비 파인튜닝 후 0.947을 달성했거든요.

더 놀라운 건 모델 크기예요. 2B짜리 파인튜닝 모델이 자기보다 4배 큰 모델들을 전부 앞질렀어요. 즉, 거대한 범용 모델보다 도메인에 맞게 튜닝된 작은 모델이 더 실용적일 수 있다는 걸 보여준 거예요.