바로 '스켈레톤 오브 소트(SoT)'인데요, 핵심 아이디어는 답변을 병렬로 생성하는 거예요

LLM 응답을 2~3배 빠르게 만드는 프롬프트 기법이 화제예요. 바로 '스켈레톤 오브 소트(SoT)'인데요, 핵심 아이디어는 답변을 병렬로 생성하는 거예요.

일반적으로 LLM은 토큰을 하나씩 순서대로 생성해요. SoT는 이걸 3단계로 바꿔요. 먼저 뼈대(요점 제목 3~8개)만 뽑고, 각 항목을 동시에 병렬 요청으로 확장한 다음, 순서대로 이어 붙이는 거예요.

5개 항목 기준으로 순차 방식은 전체 합산 시간이 걸리지만, SoT는 가장 긴 항목 하나의 시간만 걸려요. 총 토큰은 더 쓰지만, 사용자가 체감하는 대기 시간은 확연히 줄어드는 거예요.