핵심은 HTML을 그대로 넣는 게 아니라, URL을 렌더링해 구조화 JSON으로 넘기는 방식이거든요

AI 에이전트에 ‘실시간 웹 읽기’ 능력을 붙이는 방법이 공개됐어요. 핵심은 HTML을 그대로 넣는 게 아니라, URL을 렌더링해 구조화 JSON으로 넘기는 방식이거든요.

원문은 SnapAPI의 /v1/analyze를 예시로 들었어요. Puppeteer로 페이지를 끝까지 렌더링한 뒤 title, headings, CTA, word_count, load_time_ms 같은 필드를 반환해요. 예시에선 단어 수 3,678개, 로드 시간 965ms였어요.

그냥 fetch(url)로 HTML을 넣으면 50150KB, 약 1.2만3.7만 토큰이 들어가요. GPT-4 기준 100만 토큰당 3달러면 페이지당 0.040.11달러, 하루 100페이지면 411달러까지 올라가요. 게다가 JS 사이트는 실제 본문이 비어 있는 경우도 많아요.

결국 비용·정확도·신선도 모두에서 “렌더링된 텍스트를 구조화해 전달”하는 툴링이 에이전트 품질의 분기점이 되고 있어요.