Andrej Karpathy의 `nanochat`을 기반으로 만들어졌는데, Constitutional AI 방식으로 모델을 정렬시켜요

나만의 Claude Code를 $200에 직접 훈련할 수 있는 오픈소스 라이브러리 nanocode가 공개됐어요.

Andrej Karpathy의 nanochat을 기반으로 만들어졌는데, Constitutional AI 방식으로 모델을 정렬시켜요. SOUL.md라는 파일에 모델의 가치관을 직접 정의하고, 합성 데이터를 생성해서 선호도 최적화까지 진행하는 구조예요. 코드는 전부 JAX로 작성됐고, TPU에서 돌아가도록 설계됐어요.

1.3B 파라미터짜리 nanocode-d24를 TPU v6e-8에서 약 9시간 돌리면 재현할 수 있고, 비용은 $200 정도예요. 477M짜리 소형 모델은 $34에 1.5시간이면 충분해요. Google TRC 프로그램을 쓰면 한 달간 무료로 TPU를 쓸 수도 있어요.

"내 모델을 내 규칙으로 정렬한다"는 아이디어가 실제로 가능해진 거예요. 거대 AI 기업에 의존하지 않고 agentic 코딩 모델을 직접 만드는 시대가 열리고 있는 셈이에요.