롤아웃과 학습을 분리한 Rollout-as-a-Service가 핵심이거든요

NVIDIA가 멀티턴 LLM 에이전트 RL 학습용 인프라 ProRL AGENT를 공개했어요. 롤아웃과 학습을 분리한 Rollout-as-a-Service가 핵심이거든요.

기존 SkyRL, VeRL-Tool, Agent Lightning, rLLM, GEM 같은 프레임워크는 롤아웃 제어를 학습 루프에 붙여놔서 병목이 컸어요. I/O 중심 환경 상호작용과 GPU 중심 정책 업데이트가 한 프로세스에서 충돌해 효율이 떨어졌어요.

ProRL AGENT는 독립 HTTP 서비스로 동작하고, 트레이너는 API로만 붙어요. 파이프라인도 INIT(샌드박스/도구 준비)→RUN(멀티턴 실행/trajectory 수집)→EVAL(정답 대비 보상 산출) 3단계 비동기 워커 풀로 분리해 단계별 작업을 겹쳐 처리해요.

결국 느린 평가(예: 전체 테스트 스위트)가 전체 학습을 멈추게 하던 구조를 깨고, 대규모 에이전트 학습의 확장성과 유지보수성을 동시에 올린 접근이라는 점이 시사점이에요.