한 번에 256단계를 내다보다, 퍼듀대 커리큘럼 추론 학습

LLM은 생각의 사슬(CoT) 없이 한 번에 여러 단계를 내다보는 암묵적 추론(implicit reasoning)이 약합니다. 퍼듀대 연구팀은 어휘 크기와 내다봐야 할 단계 수(lookahead)를 조금씩 늘리는 커리큘럼으로 파인튜닝해, 같은 연산량에서 Qwen3-0.6B가 lookahead 256 문제를 98% 정확도로 풀게 했습니다(커리큘럼 없이 45%). 효과는 11개 자연어 추론 벤치마크로 전이됐지만 향상폭이 포화 곡선을 그려 모델마다 천장이 있고 단계를 너무 크게 올리면 학습이 멈췄습니다.