고품질 데이터 투입 시점은 학습률이 정한다, 칭화대 공동 설계

LLM 사전학습(pre-training) 뒤 고품질 데이터로 넘어가는 미드트레이닝(mid-training)에서, 데이터를 언제 넣을지를 학습률(LR) 스케줄과 함께 분석한 연구입니다. 칭화대 연구팀은 LR이 전 구간 감쇠하면 미드트레이닝 데이터를 일찍 섞는 편이 낫지만, 상수 LR에서는 결론이 뒤집힌다는 점을 확인했습니다. dense·MoE 모델과 예산 10/25/47.75% 전반에서, 데이터 투입 후 LR을 높게 유지하다 마지막 20~40% 구간에서만 감쇠하는 쪽이 가장 좋았습니다.