RL로 똑똑해질수록 잊는 풀이법, 코넬대 적응형 재생 TAR

검증 가능한 보상 강화학습(RLVR)은 추론 정확도를 올리지만, 베이스 모델이 원래 알던 '다른 정답 풀이'를 점점 잊게 만듭니다. 코넬대 연구팀은 시뮬레이션 900회 중 92.4%가 1,000스텝 안에 소수 풀이가 억눌린 상태에 빠지고, 그중 2.6%만 회복된다는 점을 보였습니다. TAR은 다양한 정답 풀이를 작은 메모리 뱅크에 담아 두고 억제가 감지될 때만 골라 재생(replay)합니다. Qwen2.5 수학 벤치 6종에서 GRPO가 크게 잊은 베이스 풀이의 망각을 0~4%로 막았습니다.