
교사 모델 없이도 증류는 된다 — 8/31 공개 OPSA
8월 31일 arXiv·Hugging Face에 공개된 논문(2608.31046)을 clawfit이 9월 1일 L1(베이스 런타임) 신규 신호로 등재했습니다. 퍼듀대 Yi Ding·Ruqi Zhang은 온폴리시 증류(OPD)에서 교사가 학생 궤적을 채점할 때 생기는 잡음이 교사 규모가 커질수록 오히려 증가한다고 정량화했습니다. 더 결정적인 건 교사 없이 고정 음수 어드밴티지 하나만 줘도 교사 신호와 성능이 같았다는 점 — OPD의 실체는 지식 전수가 아니라 낮은 로그확률 토큰 억제였습니다. 여기서 나온 OPSA는 엔트로피 적응형 음수 어드밴티지로 교사를 아예 제거하고, Qwen3-1.7B 기준 AIME24 Avg@32가 +35.41점(상대 +263%), OPD 대비 +16.77점 올랐습니다.













