틀린 다수결로도 학습이 되는 이유, 그래디언트 분해로 밝힌 연구

모델이 뽑은 여러 답의 다수결을 보상으로 쓰는 자기라벨 강화학습은 정답 정보를 더하지 않는데도 정답 보상 RL(RLVR)의 효과 대부분을 회복합니다. 다트머스대·워싱턴대 세인트루이스 연구팀은 이를 배치 단위 그래디언트 분해로 설명했는데, 다수결 오류의 방향이 프롬프트마다 제각각이면 배치가 커질수록 오도가 사라집니다. 5개 모델에서 두 업데이트의 노이즈 보정 코사인은 약 1이었고, 정답 라벨 30%를 무작위로 뒤집어도 방향이 유지됐습니다.