추론 중 스스로 가중치를 갱신합니다 — 학습 길이 8배에서도 90% 유지

Test-Time Training(TTT)은 추론 시점에 모델이 자기 가중치(fast weight)를 계속 갱신해 긴 문맥을 처리하는 '학습하는 법을 학습' 계열 기법입니다. 기존 TTT는 토큰 단위 갱신의 표현력과 청크 단위 근사의 하드웨어 효율 사이에서 균형을 잡지 못했는데, 저자들은 청크 시작 가중치에서 gradient를 취하는 표준 근사 아래 닫힌 형태(closed-form) 상태 전이를 유도해 토큰 단위 재귀가 만들어내는 청크 끝의 fast-weight·모멘텀 상태를 정확히 재현했습니다. 덕분에 기존 청크 방식이 버렸던 갱신 규칙의 시간 구조를 보존하면서 청크 수준 완전 병렬 학습이 가능합니다. 최대 1.3B 파라미터 모델을 from scratch로 학습한 결과 언어 모델링은 기존 TTT·하이브리드 어텐션과 동등하고 in-context retrieval에서는 우위였으며, Needle in a Haystack passkey 테스트에서 학습 문맥 길이의 8배 구간에서도 90% 이상 정확도를 유지했습니다. 학습 처리량은 효율적 청크 방식과 동급이고 코드가 공개됐습니다.