그가 몇 달에 걸쳐 손수 조정한 GPT-2 학습 설정을 자율 에이전트에게 하룻밤 맡겼더니, 인간이 놓쳤던 세밀한 조정값들을 찾아냈거든요

Andrej Karpathy가 "AI 연구에서 병목은 이제 인간"이라고 말했어요.

그가 몇 달에 걸쳐 손수 조정한 GPT-2 학습 설정을 자율 에이전트에게 하룻밤 맡겼더니, 인간이 놓쳤던 세밀한 조정값들을 찾아냈거든요. 서로 상호작용하는 파라미터 조합까지요.

Karpathy의 결론은 명확해요. "최선의 결과를 얻으려면 스스로 병목이 되지 말아야 한다, 다음 프롬프트를 입력할 자리에 있으면 안 된다"는 거예요. 객관적 지표가 존재하는 영역에서는 연구자가 루프에서 빠져야 한다는 거죠.

다만 측정이 어려운 영역은 얘기가 다르다고 했어요. 코딩처럼 검증이 쉬운 작업의 성과가 '소프트한' 도메인으로 그대로 이어지진 않는다는 거예요.