지금까지 Langfuse, Helicone, Arize는 물론 직접 구현한 도구들까지 저마다 다른 트레이싱 형식을 써왔거든요

OpenTelemetry가 LLM 트레이싱 표준을 공식 발표했어요.

지금까지 Langfuse, Helicone, Arize는 물론 직접 구현한 도구들까지 저마다 다른 트레이싱 형식을 써왔거든요. 덕분에 모니터링 도구를 바꾸면 전부 재설정해야 하는 벤더 락인이 생겼었는데요.

새 표준인 GenAI Semantic Conventions는 스팬 이름 형식을 {operation} {name} 으로 통일해요. LLM 관련 스팬은 모델 호출(chat), 에이전트 실행(invoke_agent), 툴 실행(execute_tool) 세 가지로만 분류하고요. PII 노출 없이 프롬프트를 로깅하는 방법도 규정돼 있어요. 아직 실험적 단계지만, 실제 구현 사례는 거의 없는 상태예요.

LLM 에이전트가 프로덕션에 올라가는 팀이 늘면서, 관측가능성 표준화는 이제 선택이 아닌 필수가 되고 있어요.