정답 없이 자기 풀이끼리 비교해 배운다, 상하이교통대 SRD 자기증류

정답 라벨·검증기·교사 모델이 없으면 모델이 만든 풀이가 맞는지 알 수 없어 자기개선이 막힙니다. 상하이교통대 연구팀의 SRD(Shared Residual Distillation)는 같은 문제에 대한 미검증 풀이 여러 개가 예측 분포를 바꾸는 방향 중, 서로 일치하고 크기가 보수적인 조정만 학습 신호로 씁니다. AIME24~26 avg@12 기준 Qwen3-4B는 19.07→45.46, Qwen3-8B는 21.39→54.44로 올랐고, 일반 능력 벤치마크 저하는 없었습니다.