파인튜닝해도 기존 능력은 그대로, 버클리·구글 서브스페이스 튜닝

LLM을 도메인 데이터로 파인튜닝(SFT)하면 원래 갖고 있던 능력이 무너지는 파국적 망각(catastrophic forgetting)이 생깁니다. UC 버클리·구글 등 공동연구팀의 SST는 가중치 업데이트를 하위 특이값 부분공간으로만 제한해 주요 방향을 보호합니다. Qwen3-8B에서 일반 SFT는 기존 능력 점수가 25~57점 떨어졌지만, SST를 얹으면 변화가 -3.8~+1.3점에 그쳤습니다. 베이스 모델 대비 분포 이탈(KL drift)도 2~4배 줄었습니다.