
ai model🔁 자가교정#24 · 2026. 9. 2.
교사를 지웠더니 더 올랐습니다 — AIME24 +35.41점
퍼듀대학교 연구팀이 온폴리시 증류(OPD)가 교사에게서 무엇을 배우는지 해부했습니다. 교사 신호의 노이즈 비율은 교사가 커질수록 늘었는데도 학생 성능은 노이즈 유지 여부와 무관했습니다. 이득의 정체가 지식 전달이 아니라 저확률 토큰 억제라는 결론에서 교사를 제거한 OPSA를 제안합니다. Qwen3-1.7B에서 AIME24가 35.41점(상대 263%) 올랐고, OPD보다도 16.77점 앞섰습니다.














