뉴스 - 원문 기반 요약 필요

제목(한글): 이벤트 파이프라인, 확장하다 멈춘 이유 원문 제목(영문): The System I Broke Trying to Make Events Do Something Useful 원문: The System I Broke Trying to Make Events Do Something Useful 소스: dev-to-ai MD 파일: content/2026-05-27/dev-to-ai-the-system-i-broke-trying-to-make-events-do-someth.md

핵심 내용

한 팀이 클릭·API·배치 이벤트를 다 모으려다, 50ms 쓰기가 30초 지연으로 무너졌어요.

목표는 단순했어요. 비개발자도 SQL 테이블처럼 조회할 수 있게 Debezium(CDC)·Kafka·PostgreSQL 조합으로 전 이벤트를 적재하려고 했거든요. 그런데 운영 규모에서 순서 꼬임, 클라이언트 빌드별 스키마 드리프트, 다운스트림 소비자 장애가 한 번에 터졌어요.

특히 UI 토픽 단일 파티션이 병목이었어요. 브로커 리밸런싱 때마다 지연이 급증해서 실시간성은 사실상 사라졌고, 마케팅이 3개월 전 퍼널을 요청할 때 재현 가능성도 떨어졌어요.

결국 핵심은 수집 자체가 아니라 시간이 지나도 동일하게 꺼내 쓸 수 있는 이벤트 보존·재생 설계라는 점을 보여준 사례예요.

잡돌쌤의 한마디

운영 단계에선 이벤트를 쌓는 것보다 3개월 뒤에도 같은 맥락으로 재조회·재생 가능한 구조가 분석 신뢰도를 좌우해요.

---

출처: The System I Broke Trying to Make Events Do Something Useful