기능별 서브네트워크만 골라 갱신해 망각을 막는 하얼빈공대 CiMEO

LLM에 새 지시문을 계속 학습시키면 기존 능력을 덮어쓰는 파국적 망각(catastrophic forgetting)이 생깁니다. 하얼빈공대(선전) 연구팀의 CiMEO는 그래디언트 귀속으로 코딩·수학 같은 기능별 서브네트워크를 찾고, 예제마다 해당 영역의 파라미터와 옵티마이저 상태만 갱신합니다. 140만 지시문 순차 학습 후 Qwen3-1.5B 기준 5개 벤치마크 평균 38.92로 전체 파인튜닝(24.23)·LoRA(27.84)를 앞섰고, GSM8K는 67.55를 유지했습니다.