어텐션 헤드를 태스크별로 나눠 RL 망각을 줄이는 워싱턴대 연구

수학→지시이행→코딩처럼 RL 파인튜닝을 연달아 하면 새 업데이트가 이전 능력을 덮어쓰곤 합니다. 워싱턴대 등 공동연구팀은 헤드별 그래디언트 노름(gradient norm)으로 어텐션 헤드 순위를 매기고, 태스크마다 다른 헤드 집합을 배정하는 헤드 분할(head partitioning)을 제안했습니다. Qwen3-1.7B·4B, Mistral-7B에서 상위 50% 헤드만 학습해도 전체 튜닝에 근접했고, 이전 태스크 성능 하락은 줄이면서 새 태스크 적응력은 유지했습니다.