์๋น๋์๊ฐ Codex CLIยทClaude CodeยทQwen Code ๊ฐ์ ๊ธฐ์กด ์์ด์ ํธ ํ๋ค์ค๋ฅผ ๊ฑฐ์ ์์ ์์ด GRPO ํ์ต์ ์ฐ๊ฒฐํ๋ Polar๋ฅผ ๊ณต๊ฐํ์ด์.
ํต์ฌ์ ํ๋ค์ค ๋ด๋ถ๊ฐ ์๋๋ผ ๋ชจ๋ธ API ๊ฒฝ๊ณ์ ํ๋ก์๋ฅผ ๋๋ ๋ฐฉ์์ด์์. ๊ธฐ์กด์ฒ๋ผ env.initยทenv.stepยทenv.reset ํํ๋ก ํ๋ค์ค๋ฅผ ์ฌ๊ตฌํํ์ง ์์๋, ๋ฒ ์ด์ค URL๋ง ๊ฒ์ดํธ์จ์ด๋ก ๋ฐ๊พธ๋ฉด ๋์ํ๊ฑฐ๋ ์.
ํ๋ก์๋ ์์ฒญ๋ง๋ค 4๋จ๊ณ๋ฅผ ์ฒ๋ฆฌํด์. API ์ ํ ๊ฐ์ง, ์์ฒญ ์ ๊ทํ, ํ๋กฌํํธ/์๋ต ํ ํฐ IDยทfinish reasonยทlogprob ์บก์ฒ, ๊ทธ๋ฆฌ๊ณ ์๋ ์ ๊ณต์ ์คํค๋ง๋ก ์ฌ๋ณํ๊น์ง ๋งก์์. ์คํธ๋ฆฌ๋ฐ๋ ๋น์คํธ๋ฆฌ๋ฐ ์๋ต์ ๋ฐ์ SSE ํํ๋ก ๋ค์ ๋ด๋ณด๋ด ํธํ์ฑ์ ์ ์งํด์.
๊ฒฐ๊ตญ ํ๊ฐ ํ๊ฒฝ์ ๋์์ ์ ์งํ ์ฑ ํ ํฐ ๋จ์ RL ๋ฐ์ดํฐ๋ฅผ ํ๋ณดํด, ์์ด์ ํธ ํ์ต ์ฌํ์ฑ๊ณผ ํ์ฅ์ฑ์ ํจ๊ป ๋์ด์ฌ๋ฆฌ๋ ์ ๊ทผ์ด์์.