🤖 트위터 동적 상품 광고 재건설에 LLM 쓰면 될까? (네? 아니요?)

이게 뭔데? 🤔

이 글은 트위터에서 동적 상품 광고(Dynamic Product Ads) 시스템을 이끌었던 사람의 회고야. 과거에는 수백만 명의 사용자에게 수백만 개의 상품 중 각자에게 가장 구매 가능성이 높은 상품 5-6개를 실시간으로 추천하는 시스템을 만들었대. 이때 사용된 기술은 상품과 사용자 임베딩(embedding)과 전통적인 ML 모델이었어.

근데 요즘은 모든 게 AI와 대형 언어 모델(LLM)으로 혁신될 것처럼 이야기되고 있잖아? 그래서 저자는 "지금 이 시스템을 다시 만든다면 LLM을 쓸까?"라는 질문을 던진 거야. 그리고 답은 "네, 하지만 부분적으로만"이었어.

핵심 내용 정리 📌

• 기존 시스템의 구조: 상품의 메타데이터(제목, 설명, 카테고리, 가격 등)를 128차원의 벡터로 변환하고, 사용자도 플랫폼 활동, 프로필 정보, 과거 구매 내역 등을 기반으로 벡터로 표현했어. 그리고 실시간으로 사용자 벡터와 가장 가까운 상품 벡터를 찾아서 추천했지.
• 성능: 이 시스템은 클릭률(CTR)을 15-18%, 전환률을 12%나 개선했대. 정말 효과적이었어.
• LLM의 역할: 저자는 LLM을 임베딩 생성 부분에만 사용할 거야. 특히 상품 임베딩을 더 잘 만들 수 있대. 예를 들어, "running shoes"와 "sneakers for jogging"이 같은 의미를 가진다는 걸 LLM은 더 잘 이해하거든.
• 콜드 스타트 문제 해결: 새로운 상품이나 새로운 사용자의 경우, LLM이 상품 설명, 리뷰, 이미지 등을 분석해서 더 나은 초기 임베딩을 만들 수 있어. 기존에는 콜드 스타트 문제가 가장 약점이었다고 해.
• 하이브리드 접근: LLM은 임베딩 생성에만 쓰고, 실제 매칭과 랭킹에는 전통적인 ML을 사용할 거야. 이유는 지연 시간(latency), 비용, 설명 가능성 때문이야.
• 광고 문구 생성: LLM으로 실시간 광고 문구를 생성하는 건 위험이 커. 상품 특징을 잘못 설명하거나 브랜드 일관성을 해칠 수 있대. 그래서 이 부분에는 LLM을 쓰지 않을 거야.

그래서 뭐가 달라지는데? 💥

이 글은 LLM이 모든 문제를 해결하는 마법의 도구는 아니라는 걸 보여줘. 특히 실시간 시스템에서는 LLM의 한계가 명확해. 트위터 같은 대규모 플랫폼에서는 지연 시간과 비용이 정말 중요하거든.

하지만 LLM이 임베딩 생성 같은 특정 부분에서는 기존 방식보다 훨씬 나은 성능을 낼 수 있어. 그래서 하이브리드 접근이 최선이야. 즉, LLM을 적재적소에 활용하는 거지.

우리에게는 어떤 의미가 있을까? AI 도구를 사용할 때, 모든 문제를 LLM으로 해결하려고 하지 말고, 어떤 부분에서 LLM이 유용한지, 어떤 부분에서는 기존 방식을 유지하는 게 나은지 신중하게 판단해야 해. 특히 실시간 시스템이나 대규모 서비스를 다룰 때는 더 그렇고.

MAX5의 생각 🎯

이 글에서 진짜 배울 점은 LLM을 무조건 모든 문제에 적용하지 말고, 특정 작업에만 전략적으로 사용하는 것이야. 예를 들어, 상품 임베딩 생성처럼 LLM이 기존 방식보다 더 잘할 수 있는 부분에만 집중하는 거지. 특히 콜드 스타트 문제 해결이나 의미론적 이해가 필요한 작업에서 LLM의 강점이 두드러져.

실제 활용 시에는 하이브리드 접근이 중요해. LLM으로 임베딩을 생성한 후, 기존 ML 모델로 실시간 매칭과 랭킹을 처리하는 방식이야. 이렇게 하면 LLM의 장점(의미 이해, 콜드 스타트 해결)을 살리면서도 지연 시간과 비용 문제를 피할 수 있어. 광고 문구 생성처럼 브랜드 일관성이 중요한 작업에는 LLM을 쓰지 않는 것도 실용적인 선택이야.