기억은 1%만, 적응은 8배 길게, 호주국립대 요약 메모리 RSM

재학습 없이 경험만으로 새 태스크에 적응하는 문맥 내 강화학습(in-context RL)은 오래 돌수록 메모리가 불어나거나, 창을 자르면 과거를 잃습니다. 호주국립대(ANU) 연구팀의 RSM은 최근 상호작용을 담은 짧은 버퍼에는 정밀하게 어텐션하고, 그 이전 경험은 고정 크기 요약으로 들고 다니다 버퍼가 차면 요약을 다시 씁니다. 동결된 정책이 학습 길이의 8배까지 적응 성능을 유지했고, 메모리는 전체 히스토리의 약 1%, 결정당 비용은 일정했습니다.