vibecamp ai model

Meissa·KAIST·GIST·POSTECH 공동 연구팀이 이미지만 있고 참조 문장(referring expression)은 없는 조건에서 액티브러닝을 다시 정의했습니다. 파운데이션 모델로 보조 region-text 쌍을 만든 뒤, 모델 확신이 한 영역에 몰리는지 여러 후보로 흩어지는지를 재는 새 획득함수로 라벨링할 이미지를 고릅니다. RIS·REC 벤치마크에서 여러 베이스라인을 일관되게 상회했고, 설명 라벨링 속도는 최대 1.6배 빨라졌습니다.

이커머스 기업 Wayfair 팀이 콜드스타트 LLM 주석용 비용 인지 라우터 DRR을 공개했습니다. 일반 모델과 추론 모델의 성공 확률을 샘플 단위·규칙 단위로 각각 추정해, 추론이 실제로 판정을 바꿀 것으로 기대되는 건에만 비싼 추론 모델을 붙입니다. 실제 프로덕션 워크플로에서 가장 강한 신뢰도 기반 라우터와 정확도 동률을 지키며 추론 토큰 비용을 60% 이상 줄였습니다.

고려대·연세대 공동 연구팀이 파국적 망각을 손실함수 대신 라우팅으로 푸는 CPR(Critical-Point Routing)을 내놨습니다. 베이스는 틀리고 SFT 전문가는 맞히는 '임계 토큰'으로 경량 라우터를 학습시켜, 추론 시 토큰마다 전문가 호출 여부를 정합니다. 도메인 성능은 1.4~5.5% 올랐고 범용 능력 하락폭은 3.4~14.5%에서 최대 0.5%로 줄었습니다.

알리바바 연구진 11인이 다중 태스크 LLM 강화학습(GRPO)에서 롤아웃 예산 배분을 정하는 온라인 커리큘럼 PAC를 제안했습니다. advantage에서 뽑은 '학습 가능성'과 최근 보상 상승폭인 '진척'을 곱해 유틸리티를 만들고, Thompson Sampling 컨트롤러가 매 배치마다 롤아웃을 나눕니다. 베이스라인 SEC 대비 Qwen2.5-3B 13.1%, 7B 8.5% 상승, Hard는 12.8% 올랐습니다.

웁살라대학교 연구팀이 선호(preference) 라벨 500쌍 이하로 경량 선형 프로브를 학습시켜 5만 건 이상의 미라벨 데이터에 선호 라벨을 자동 전파하고, 그 데이터로 DPO 계열 선호 최적화를 수행하는 저라벨 적응 기법을 공개했습니다. 활성값 군집 분석으로 정렬된 LLM이 비주류 집단의 선호에서는 오히려 판단자로서 나쁘다는 점도 함께 보였습니다. 같은 라벨링 예산에서 직접 학습보다 일관되게 우수했고, 라벨을 50~100배 더 쓴 베이스라인과도 대부분 설정에서 대등했습니다.

연구진 21인이 에이전트가 스스로 시험 보고 스스로 판정한 경험을 실제 성능 향상으로 바꾸는지 재는 인터랙티브 벤치마크 S3Gym을 공개했습니다. 텍스트 게임 7종과 실행 가능한 환경 검증기 위에서 원본 히스토리 ICL, 요약 메모리, 파라미터 학습 세 경로를 같은 조건으로 비교했습니다. 자기개선은 자동도 균일하지도 않았고 최적 경로가 태스크 구조에 좌우됐으며, 파라미터 학습에서는 음의 전이도 관측됐습니다.

퍼듀대학교 연구팀이 온폴리시 증류(OPD)가 교사에게서 무엇을 배우는지 해부했습니다. 교사 신호의 노이즈 비율은 교사가 커질수록 늘었는데도 학생 성능은 노이즈 유지 여부와 무관했습니다. 이득의 정체가 지식 전달이 아니라 저확률 토큰 억제라는 결론에서 교사를 제거한 OPSA를 제안합니다. Qwen3-1.7B에서 AIME24가 35.41점(상대 263%) 올랐고, OPD보다도 16.77점 앞섰습니다.

베이항대·상하이교통대·IQuest·Langboat 공동 연구팀이 VLM의 웹 코드 자가개선에서 '제안한 모델이 심판까지 겸하는' 결함을 지적했습니다. WebWorld는 브라우저를 속일 수 없는 상대로 세워, 비평을 타입이 정의된 상호작용 계약으로 컴파일하고 재실행 결과가 목표 진전과 기능 보존을 모두 만족할 때만 수락 인증서를 냅니다. WebWorld-27B는 HTMLBench-400에서 5.3점, MiniAppBench-Val에서 14.9점 올랐습니다.

중산대·화웨이 클라우드·충칭대 연구진이 8월 28일 arXiv에 공개한 SWE-Prime은 코딩 에이전트 학습 데이터를 전부 쓰지 않고 골라 쓰는 2단계 선택 기법입니다. 테스트를 통과한 궤적 32,161건 중 상위 10%(약 3,200건)만 남기고, 그 안에서도 기여도가 높은 구간에만 손실을 겁니다. GLM-4.7-Flash의 SWE-Bench Verified 해결률은 전량 학습 41.4%→51.4%로 올랐고, 무작위 10% 표본은 39.6%에 그쳤습니다.

톰슨로이터와 임페리얼칼리지런던 공동 연구진 저자 26인이 8월 28일 arXiv에 공개했습니다. 공개 가중치 Qwen3.5-397B-A17B와 Qwen3.6-35B를 밑바탕으로 중간학습·후속학습 전 과정을 지속학습으로 돌려, B200 GPU 368장 이하와 엔지니어 36명 이하로 3개월(총 87,842 GPU 시간) 만에 Thomson 1.0을 만들었습니다. 법률·세무 등 목표 도메인은 크게 오르고 비목표 도메인은 베이스 모델 수준을 유지했으며, 코딩만 경미한 망각을 보였습니다.

스탠퍼드대와 토요타연구소(TRI) 연구진이 8월 28일 arXiv에 공개했습니다. 리플레이 버퍼 안에서 과거 성능을 실제로 붙잡아 두는 소수의 경험을 Memory Anchors로 규정하는데, 옛 관측과 표현은 겹치지만 요구되는 행동이 상충하는 지점에서 생깁니다. LIBERO 벤치마크에서 이 앵커 10%만 제외해도 파국적 망각이 4.5배 이상 늘었고, 반대로 버퍼의 10%를 앵커 몫으로 예약하자 행동이 충돌하는 태스크의 망각이 63% 줄었습니다.

Zhenya Liu와 Yuxin Chen이 8월 28일 arXiv에 공개한 ICML 2026 논문 PATH는 강화학습 환경 사이의 난이도 선후 관계를 방향성 비순환 그래프로 명시하고 그 위에서 능동학습을 수행합니다. 1단계는 여러 경로를 무작위로 훑어 커버리지를 넓히고, 2단계가 아직 숙달하지 못한 구간으로 학습 예산을 다시 배분합니다. BipedalWalker 10k 업데이트 기준 로버스트니스 해결률 0.76으로 ACCEL 0.56을 앞섰고, MiniGrid 일반화 해결률은 99.4%였습니다.

오하이오주립대와 프린스턴대 연구진이 8월 28일 arXiv에 공개한 CritICL은 1.5B~8B 작은 모델이 틀리는 방식을 실패 유형으로 모아 두고, 이를 비평 형태의 문맥 내 예시로 큰 모델 추론에 주입합니다. Qwen2.5-32B에서 정확도 49.8%로 5-shot 무작위 예시 45.0%를 넘었고, 7회 반복 생성하는 최강 베이스라인을 0.3점 차로 앞서면서 생성은 1회로 줄었습니다. 질문당 토큰도 3,768로 반복 생성 방식 5,440보다 적었습니다.

Rongfeng Wang 등 연구진이 8월 28일 arXiv에 공개한 MetaNet은 MoE 모델의 층별 활성 전문가 수를 태스크 단위로 메타학습합니다. 백본·전문가·라우터를 모두 동결한 채 소수의 서포트 예시만 보고 층별 임계값과 라우팅 바이어스를 예측합니다. DeepSeek-MoE-16B-Chat에서 보수 설정은 평균 3.61개(고정 6개 대비 40% 감소)로 MMLU 0.489를 기록해 고정 0.474를 넘었고, 공격적 설정은 평균 2.28개로 줄이는 대신 0.438로 내려갔습니다.

Yang Xiao 등 10인이 8월 28일 arXiv에 공개한 PILOT은 감독자와 작업자를 나눈 하네스로 실행이 끝난 뒤가 아니라 도중에 개입합니다. 별도 감독자가 진행 중인 워커의 방향을 바꾸거나 중단시키고, 실행 중 드러난 절차와 실패 유형을 재사용 가능한 스킬로 증류합니다. 고정 백본 GLM-5.1과 Kimi-K2.6 기준 자가개선 세팅에서 각각 14.6점·12.4점이 올랐고, 평균 출력 토큰은 42.9%·47.4% 줄었습니다.

Gyouk Chu·Myeongho Jeon·Eunho Yang이 8월 28일 arXiv에 공개한 J-Zero는 사람이 만든 데이터 없이 출제자·풀이자·심판 세 역할이 함께 진화하는 자가진화 프레임워크입니다. 핵심은 심판을 자기 점수로 학습시키지 않고, 어떻게 생성됐는지로 우열이 이미 정해진 선호쌍으로 학습시키는 것입니다. 검증 가능한 도메인에서 평균 4.2점, 검증 불가 도메인에서 8.0점 앞섰고 최소 10회 반복까지 개선이 이어졌습니다.

규제산업 문서 분류는 데이터 반출 금지, 콜드스타트 라벨 부족, 검토 인력 희소, 모델 거버넌스 비용이 겹쳐 '전량 라벨링 후 재학습' 방식을 쓸 수 없습니다. HIRA는 학습 없이(training-free) 동작하는 온프레미스 검색 캐스케이드로 먼저 분류하고, 확신이 낮은 건만 로컬 LLM 검증자에게, 그래도 애매한 건만 사람에게 올리는 선택적 human-in-the-loop 구조입니다. 핵심은 사람이 고친 건을 가중치 재학습 없이 마진 가중 검색 예시로 저장해 다음 판단에 곧바로 쓴다는 점입니다. 80개 클래스 무역금융 실사용 스트림 30,233건을 처리하면서 사람 교정 요청은 1,945건(6.4%)뿐이었는데 Macro-F1이 0.6218 → 0.8548로 올랐고, 풀의 24.8%인 518건만 고쳤을 때 이미 2,086건 전량을 정답 라벨로 색인한 oracle과 동등했습니다. 8월 25일 arXiv 리스팅으로 공개된 CIKM 2026 채택 논문입니다.

연합 지속학습(FCL)에서 망각은 태스크의 시간적 진화와 클라이언트 간 데이터 이질성이 얽힌 장기·분산 현상인데, 기존 replay·정규화·투영 기반 휴리스틱은 이를 국소적으로만 다룰 뿐 명시적으로 규제하지 못했습니다. FedQCL은 FCL을 태스크별 최적화의 나열이 아니라 확률적 제어 문제로 재정식화하고 Lyapunov drift-plus-penalty(DPP) 목적함수를 씁니다. 핵심 장치는 태스크와 클라이언트에 걸쳐 쌓이는 망각을 추적하는 가상 큐(virtual queue)로, 안정성-가소성 트레이드오프를 파라미터 하나로 명시 조절할 수 있게 합니다. Split-CIFAR-10, Split-CIFAR-100, Split-TinyImageNet 벤치마크에서 최신 베이스라인 대비 정확도 우위를 보였고 이질적 데이터 분포에서 망각을 크게 줄였는데, gradient projection이나 추가 통신 오버헤드 없이 달성했다는 점을 성과로 내세웁니다(초록에 정량 개선폭은 없습니다). 8월 21일 제출돼 8월 25일 arXiv 리스팅으로 공개된 CoLLAs 2026 채택작입니다.

배치형 시뮬레이터는 수천 개 시나리오와 수십억 상호작용을 며칠 만에 돌릴 만큼 처리량이 커졌지만 샘플 효율은 따라오지 못했습니다. 표준 방식인 도메인 랜덤화가 시나리오를 균일 샘플링하는 탓에, 학습에 거의 기여하지 않는 쉬운 케이스에 막대한 상호작용을 낭비하기 때문입니다. CL4AD는 배치형 자율주행 시뮬레이터 GPUDRIVE에 커리큘럼 학습을 처음 결합한 연구로, 시나리오 선택을 비지도 환경 설계(unsupervised environment design) 문제로 재정의하고 기존 regret 추정에 성공률과 주행 행동의 현실성(realism)을 더한 유틸리티 함수로 커리큘럼을 만듭니다. 커리큘럼 학습은 도메인 랜덤화보다 10억 스텝 먼저 성공률 99%에 도달해 실제 소요 시간(wall-clock)을 77% 절감했고, 연산 자원을 제한한 ablation에서는 샘플 효율이 67% 개선됐습니다. 정적·동적 속성 기반 휴리스틱 커리큘럼도 최대 스케일 1건을 제외하면 전부 상회했으며, 구현체 CLForAD를 GPUDRIVE에 공개했습니다.

검증 가능 보상 기반 RL은 사람이 큐레이션한 대규모 문제집을 전제로 합니다. 기존 zero-data 자가대전은 후보 문제를 던져보고 사후에 기각하는 방식으로만 학습 가능성을 걸러서, '난이도 축의 어디에 문제를 놓아야 하는지'는 끝내 학습하지 못했고 풀이자에게는 희소한 종단 보상만 줬습니다. LURE는 자가대전을 추격-도주 게임으로 재정의합니다. LLM 회피자(evader)가 환경의 난이도 축 위에 문제를 배치해 한 발 앞서려 하고, 계획-실행형 추격자(pursuer)가 검증 가능한 상호작용으로 이를 쫓습니다. 회피자는 풀이자가 롤아웃의 정확히 절반에서 자신을 잡을 때 최대가 되는 '포획 경계(capture-frontier)' 보상으로 학습되고, 추격자는 포획에 앵커된 조밀한 과정 크레딧을 받습니다. 검증 가능 추론 환경 3종과 백본 계열 3종에서 통합·전문화 설정 모두 기존 강력 베이스라인을 상회했고, 통합 모델은 3개 과제군에서 뽑은 9개 홀드아웃 벤치마크의 OOD 제로샷 정확도 총합에서 학습된 모든 베이스라인을 앞섰습니다(초록에 정량 개선폭은 없습니다).

패치 메모리 기반 이상탐지는 참조 뱅크가 전부 정상이라고 가정하지만, 산업 현장에서 추가로 긁어온 이미지는 검증되지 않습니다. '예시를 더 넣으면 나아진다'는 퓨샷 통념이 참조 순도가 무너지는 순간 반대로 뒤집힙니다. 연구진은 AnomalyDINO의 DINOv2 패치 메모리 위에서 믿을 수 있는 seed bank와의 거리로 후보 패치를 점수화해 가장 의심스러운 20%를 버리고, 남은 패치만 seed와 병합한 뒤 greedy coreset으로 뱅크 예산을 고정했습니다. 결함 마스크는 쓰지 않습니다. Severstal 강판 데이터에서 순진하게 추가한 참조는 9.46%가 결함 패치였는데 이 트리밍이 그중 78.1%를 걸러 잔여 오염을 2.59%까지 낮췄습니다. 동일한 51,200패치 예산에서 AUPRC 0.1084로 순진 확장 0.0950, 랜덤 제거 0.0952, 깨끗한 8장 0.1030을 모두 앞섰습니다. 반대로 깨끗한 뱅크에 결함 패치를 0.5%만 섞자 AUPRC가 0.1030에서 0.0759로 무너졌고, 완결된 5개 홀드아웃 쌍 전부에서 순진 확장을 이겨 평균 +0.0142 AUPRC를 기록했습니다.

파운데이션 모델은 자원 제약 환경에서 비경제적이고 경량 예측기는 대량의 학습 데이터를 요구합니다. 그래서 데이터가 희소하거나 느리게 축적되거나 프라이버시에 민감한 도메인은 양쪽 어느 쪽도 쓰기 어려운 딜레마에 놓입니다. MetaCaster는 에이전트를 예측자가 아니라 '중간 엔지니어'로 재배치합니다. 소수 예시와 텍스트 컨텍스트만 받아 에이전틱 데이터 생성을 수행하고, 배포용 태스크 특화 경량 시계열 예측기를 만들어 넘기는 meta-harness 최적화 멀티에이전트 프레임워크입니다. 18개 데이터셋, 23개 최신 경량 예측기, 14개 베이스라인 규모의 실험에서 데이터 효율과 계산 효율을 동시에 달성하면서 예측 품질을 유지했다고 밝혔습니다(초록에 정량 개선폭은 없습니다). 에이전트를 태스크별 전문가 모델을 만들어내는 메타 학습자로 두는 시계열 예측 패러다임을 제시한 EMNLP 2026 채택 논문으로, 8월 24일 제출돼 다음 날인 8월 25일 arXiv 리스팅에 올랐습니다.

장기 과제의 보상은 성공/실패라는 희소한 최종 신호뿐이라 어느 단계에서 틀렸는지 크레딧을 배정하기 어렵고, 기존 해법은 외부 크리틱이나 별도 보상모델, 더 큰 교사 모델을 붙여야 했습니다. SRPO는 LLM이 자기가 끝낸 궤적을 스스로 분석해 오류를 짧은 '리플렉션 패치'로 압축하고, 그 패치를 조건으로 매긴 교사 점수를 학생의 on-policy 롤아웃에 토큰 단위 학습 신호로 되먹이는 사후학습 프레임워크입니다. Qwen3-8B 기준 AIME 2024에서 73.3%를 스케일된 SFT 대비 학습 FLOPs 8%만으로 달성했고, WebShop 64.7%, ALFWorld 76.8%, SWE-Bench-Lite 31.2%로 장기 에이전트 벤치마크 성공률도 함께 개선했습니다. 외부 크리틱, 별도 보상모델, 대형 교사 모델 없이 동작한다는 점이 핵심이며, 8월 24일 제출돼 8월 25일 공개된 ICML 2026 채택 논문으로 코드도 GitHub에 공개돼 있습니다.

LLM은 매끄러운 추론을 쓰면서도 국소적인 의미 오류를 결론까지 전파합니다. 그런데 제약 없는 자가수정은 그 오류를 그대로 두거나, 오히려 증폭하거나, 없던 오류를 새로 만들기도 합니다. SRD는 오류를 '실행 가능한 오류 연산자'로 표현합니다. 오류 유형, 오류 위치, 손상된 명제, 복원된 명제를 명시한 연산자를 두고, 모델이 현재 궤적에 걸린 의미 노이즈를 스스로 식별해 한 단계 덜 오염된 상태로 되돌리는 마르코프 디노이징 학습법입니다. 기존 디퓨전 언어모델의 반복 정제가 노이즈를 토큰 마스킹·치환으로만 정의해 추론 과정의 오류 자체는 다루지 못했던 지점을 겨냥합니다. 수학·코드·지식·상식 6개 인도메인 벤치마크에서 동일 백본 최강 베이스라인 대비 평균 +3.2점, 7개 교차 데이터셋 전이에서는 Llama-3-8B-Instruct와 대등하고 Qwen3-8B 최강 베이스라인 대비 평균 +2.9점이었습니다. 개선의 핵심이 구조화된 의미 노이즈 예측과 반복적 연산자 실행에 있다는 점도 분석으로 확인했습니다.

양자화는 LLM 배포에 널리 쓰이지만 confidence·margin·abstention 같은 불확실성 행동에 미치는 영향은 좀처럼 1차 목표로 다뤄지지 않았습니다. 연구진은 보정(calibration) 데이터 선택을 '목표 의존적 불확실성 보존' 문제로 재정의하고, 분포 보존·경계 보존 리스크를 정식화한 뒤 단 하나의 보정 레시피가 모든 목표에 맞을 수는 없다는 mixture-mismatch 논증을 제시했습니다. 제안 기법 DPQ는 full-precision 예측을 이용해 confidence·entropy가 높은 '의심스러운(high-doubt)' 예시와 범용 앵커를 목표에 맞춰 섞는 경량 사전 양자화 레시피군입니다. 언어모델 8종·NLP 벤치마크 9종·비교기법 22개 실험에서 최고 고정 레시피는 보존 목표에 따라 갈렸습니다 — SQuAD2 답변가능성 경계 보존은 DPQ-r75가, 광범위한 객관식 QA 행동 보존은 DPQ-r50이나 confidence-only·entropy-only 같은 완만한 단일 신호 변형이 앞섰습니다. EMNLP Findings 2026 채택 논문입니다.

해석적(analytic) 지속학습은 반복 최적화를 폐쇄형 릿지 갱신으로 대체해 exemplar 없는 클래스 증분 학습의 대안으로 자리잡았지만, 확률적 기울기 덮어쓰기가 없는데도 구 클래스 성능이 드리프트하는 현상은 기존 망각 서사로 설명되지 않았습니다. 저자들은 원인을 '스펙트럼 간섭'으로 지목합니다 — 모든 태스크가 공유하는 역자기상관 연산자에 신규 태스크 샘플이 기존 지배 고유방향으로 실리면 스펙트럼이 희석돼, 구 라벨을 다시 보지 않아도 구 클래스 로짓이 교란된다는 것입니다. SPARCL은 실행 자기상관 행렬을 고에너지 코어와 잔차 보완부로 분해해 코어 부분공간의 구 클래스 분류기 성분은 동결하고 잔차 블록만 재귀최소자승으로 갱신합니다. 구 로짓의 코어 기여분에 대한 불변성을 증명 가능한 형태로 보장했고, 동결 ViT-B/16 프로토콜의 CIFAR-100·CUB-200·ImageNet-R·ImageNet-A에서 고전 해석적 학습기와 강력한 표현 매칭 기법 사이의 격차를 대부분 메웠습니다(초록에 정량 수치는 없습니다).

SFT 뒤에 GRPO를 얹는 표준 레시피가 트리 구조 과제에서 왜 무너지는지를 진단한 논문입니다. 동결된 SFT 체크포인트 기준으로 50-beam 제약 랭킹의 상위 16개 후보 안에 정답 Semantic-ID가 아예 없는 프롬프트가 많고, 이때 그룹이 비슷하게 타깃을 놓치면 아이템 단위 보상이 약하거나 퇴화된 변이만 만들어낼 수 있습니다. 제안 기법 DASO는 고정 난이도 버킷이나 정답 주입 대신, 매 롤아웃 그룹을 prefix-match depth로 프로파일링해 후보가 정답 경로를 이탈하는 병목 SID 레벨을 찾고 그룹의 제한된 비율만 prefix 유도 완성으로 재배분하며 나머지 원시 롤아웃은 대조군으로 남깁니다. 공개 벤치마크 12개 지표 중 11개에서 MiniOneRec식 GRPO를 앞섰고 9개에서 최고 성능을 냈습니다.

8월 24일 arXiv에 공개된 6페이지 논문으로, "제로샷 LLM이 파인튜닝 NLU 분류기를 대체한다"는 통념을 ATIS·CLINC150에서 부트스트랩 95% 신뢰구간과 대응표본 검정으로 직접 검증했습니다. 라벨이 충분한 ATIS에서는 파인튜닝 RoBERTa가 Claude Haiku 제로샷을 11.8포인트 앞섰지만(95.9 vs 84.1, p<0.001), 의도가 150개인 CLINC150에서는 학습 데이터 0건의 제로샷이 완전 지도학습 모델과 통계적으로 동률이었습니다(89.1 vs 88.5, p=0.24). 제로샷이 앞선 곳은 세 국면이었습니다 — 범위 밖(OOS) 탐지 재현율 85.6 vs 58.1, 통제된(controlled) ASR 잡음 내성 92.5 vs 80.0(0dB), 그리고 스키마가 바뀌는 새 앱에서 기존 분류기가 0%로 떨어질 때 스키마를 프롬프트로 받은 LLM은 재학습 없이 약 94%를 유지했습니다. 참고로 이 논문은 v1 제출이 6월 19일이고 arXiv 공개는 8월 24일로, 제출과 공개 사이 간격이 통상보다 깁니다.

Chain-of-Thought는 성능은 좋지만 장황한 추론 흔적 때문에 비용이 크고, 그 흔적을 압축하면 논리 사슬이 끊겨 정확도가 떨어집니다. 연구진은 컨텍스트에 넣을 것을 원시 예시(demonstration)가 아니라 과거 추론 흔적에서 뽑아낸 '재사용 가능한 추론 메모리'로 바꿨습니다. 반복되는 추론 패턴·핵심 제약·결정적 연산을 요약해두고 프리필 단계에서 검색해 스캐폴드로 주입하는, 추가 학습이 전혀 없는 training-free 프레임워크입니다. 프롬프트 기반 Chain-of-Draft 압축 위에 얹었을 때 GSM8K +21.4, MATH +28.0, BBH +29.5, MMLU-Sci +6.61 포인트가 올랐고 표준 CoT 대비 지연시간은 1.14~1.49배 빨라졌으며, 이 이득이 컨텍스트가 길어진 탓이 아니라 '관련성 있는 메모리' 덕분임도 추가 분석으로 확인했습니다.

Test-Time Training(TTT)은 추론 시점에 모델이 자기 가중치(fast weight)를 계속 갱신해 긴 문맥을 처리하는 '학습하는 법을 학습' 계열 기법입니다. 기존 TTT는 토큰 단위 갱신의 표현력과 청크 단위 근사의 하드웨어 효율 사이에서 균형을 잡지 못했는데, 저자들은 청크 시작 가중치에서 gradient를 취하는 표준 근사 아래 닫힌 형태(closed-form) 상태 전이를 유도해 토큰 단위 재귀가 만들어내는 청크 끝의 fast-weight·모멘텀 상태를 정확히 재현했습니다. 덕분에 기존 청크 방식이 버렸던 갱신 규칙의 시간 구조를 보존하면서 청크 수준 완전 병렬 학습이 가능합니다. 최대 1.3B 파라미터 모델을 from scratch로 학습한 결과 언어 모델링은 기존 TTT·하이브리드 어텐션과 동등하고 in-context retrieval에서는 우위였으며, Needle in a Haystack passkey 테스트에서 학습 문맥 길이의 8배 구간에서도 90% 이상 정확도를 유지했습니다. 학습 처리량은 효율적 청크 방식과 동급이고 코드가 공개됐습니다.

행동 복제(Behaviour Cloning) 정책은 실패해도 사람이 시연을 더 넣어주지 않으면 스스로 고치지 못하고, RL 파인튜닝은 수십억 파라미터 정책에 스케일되지 않습니다. Q-Planning은 대형 visuomotor 행동 복제 정책에 작은 off-policy Q-함수를 붙입니다. Q-함수는 행동을 모방하는 대신 가치를 추정하므로 배포 중 나온 성공·실패 롤아웃을 모두 흡수할 수 있고, 추론 시에는 행동 복제 샘플들에 대한 단일 스텝 Q-가중 평균으로 행동을 고르며 온라인 자가개선 단계에서 행동 복제 가중치는 그대로 두고 Q-함수만 미세조정합니다. 10회 반복 후 LIBERO-10은 93→99%, 양팔 RoboTwin은 83.8→91.4%로 올랐고, 실제 접촉 위주 양팔 과제에서는 사람 개입 없이 stack-cups 40→90%, insert-wallet 25→80%(5회 반복)를 기록한 반면 성공 롤아웃만 쓴 SFT는 각각 55%·30%에서 정체했습니다. 같은 온라인 예산에서 보조 actor 학습 없이 실패로부터 안정적으로 개선한 것은 이 방법뿐이었습니다.

생성(generation)→비평(critique)→수정(revision)으로 도는 self-refinement는 LLM 출력 품질을 올리는 표준 패러다임이자 다수 LLM 에이전트의 핵심 메커니즘입니다. 그런데 세 단계는 요구되는 인지 부하가 서로 다른데도 모델 크기는 대체로 구현 디테일로 취급돼 왔습니다. 저자들은 Qwen3 6개 크기와 Gemma 3 4개 크기로 서로 다른 도메인의 벤치마크 5종에서 단계별 모델 크기 효과를 처음으로 체계적으로 측정했습니다. 결과는 비대칭이었습니다 — 생성기와 수정기는 대체로 클수록 유리하고 특히 수정기가 지나치게 작으면 오히려 성능을 떨어뜨린 반면, 비평가 크기에는 성능이 매우 둔감해 아주 작은 비평가라도 붙이는 편이 비평을 생략하는 것보다 일관되게 나았습니다.

Prime Intellect 가 오픈소스 자가개선 하네스 Prime Agent v0.8.0 을 공개했습니다. 이 하네스는 실행 이력을 분석해 프롬프트·서브에이전트·스킬·메모리를 스스로 고쳐 쓰는데, 그동안 무엇을 어떻게 바꿨는지 되짚을 방법이 없었습니다. 이번 버전은 정제가 끝날 때마다 정제 기록(refinement) 메시지를 남겨 적용된 편집을 전후 비교(before/after diff)로 펼쳐 보게 했습니다. 또 정제 직전 훅(session_before_refine)으로 확장이 정제 계획을 자기 제안(더 싼 모델 등)으로 대체하거나 라운드를 건너뛸 수 있습니다.

도쿄대 팀이 LLM 에이전트의 하네스(agent harness) 코드를 반복 개선할 때 매 회차 검증셋을 통째로 돌리던 관행을 바꿨습니다. 후보 하네스끼리 답이 엇갈리는 태스크가 항상 맞거나 항상 틀리는 태스크보다 변별력이 크다는 관찰에서, 과거 채점 이력 기반 분산 가중 샘플링으로 능력 경계의 태스크만 골라 평가합니다. 샘플링 확률을 보정해 부분 평가만으로 전체 점수를 추정합니다. Terminal-Bench 2.1 등에서 최종 성능은 전체 탐색과 동등하고 평가 횟수만 80% 줄었습니다.

스트리밍 ML의 재학습 타이밍을 두고 주기적 재학습·오차 임계 트리거·ADWIN 드리프트 트리거를 무재학습 기준선과 맞붙인 실증 연구입니다. 재학습 예산과 학습·배포 지연을 명시한 통일 시스템 모델 위에서 드리프트 유형 3개·예산 3단계·데이터셋 3개를 조합해 3,933회를 돌렸습니다. 결론은 반전이었습니다. 배포 모델이 샘플 단위 증분 갱신을 하면 54개 짝비교 전부에서 무재학습과 실질 차이가 없었고, 증분 갱신이 없을 때만 정책이 드리프트 후 정확도를 15~55%p 갈랐습니다.

LLM은 추론 시점에 원문을 넣어주지 않으면 특정 문서 모음에 답하지 못합니다. IAR은 이를 문서 지식 내재화 문제로 봅니다. Inject는 원문을 이어쓰기·재작성·재구성 세 목표로 바꿔 주입하고, Align은 QA 지도학습으로 답변 행동을 맞추며, Recover는 적응된 모델을 원래 instruct 모델과 병합합니다. Llama·Qwen 등 8개 조합 중 7개에서 Vanilla SFT를 4개 지표 모두 앞섰고, 그 대비 도메인 QA +3.6%p, 일반 성능 +12.1%p입니다.

지역난방망은 망마다 수요 패턴이 달라 시스템별로 예측 모델을 새로 학습하고 유지해야 했습니다. 연구팀은 합성 데이터로만 사전학습된 제로샷 시계열 모델 TabPFN-TS를 재학습 없이 실제 열부하 예측에 투입해 다른 파운데이션 모델·전통 머신러닝과 비교했습니다. 최적 설정은 12주 롤링 컨텍스트로 24시간을 시간 단위 예측하는 것이었고, CVRMSE는 13.06%로 Chronos-2(12.48%)에 근소하게 뒤졌지만 확률 예측의 캘리브레이션은 오히려 더 좋았습니다.

테스트타임 적응(TTA)은 배포 모델이 라벨 없이 새 도메인에 스스로 맞춰가는 기법이지만, 학습 때 없던 클래스가 섞이면 잘못된 의사라벨을 먹고 무너집니다. 싱가포르 CFAR와 중산대 공동팀의 ReNC는 신경붕괴(neural collapse) 기하를 사전 삼아 사전학습 분류기 가중치를 프로토타입으로 쓰고, 유사도로 OOD를 걸러낸 뒤 신뢰 샘플로만 프로토타입을 목표 도메인에 근사시킵니다. 클래스 1,000개인 ImageNet-C에서 종합지표 ACC-H가 21.37%→31.02%로 올랐습니다.

추론 모델은 대개 고정 토큰 예산으로 돌아 쉬운 문제엔 과잉 연산, 어려운 문제엔 연산 부족이 함께 생깁니다. 연구진은 응답 첫 토큰에서 NoThink·Short·Long 중 하나를 모델이 직접 고르게 하고, 별도 라우터 없이 GRPO 학습 안에 그 선택을 넣었습니다. 1.5B 증류 모델에서 MATH500 정확도 0.782(베이스 0.796)를 지키며 평균 응답을 4,796→2,811토큰으로 줄였고, 재학습 없이 GSM8K로 전이돼 토큰 76%를 아꼈습니다.

툴이 타임아웃되면 에이전트는 실패를 보고 우회합니다. 위험한 건 캐시된 에러 페이지나 음수 가격처럼 기대한 포맷 그대로 도착해 사실로 소비되는 조용한 실패입니다. Outcome Monitors는 트레이스에서 채굴한 결과 계약(outcome contract) 위반을 탐지하고, 위반 속성명과 복구 툴 목록을 담은 비구속 영수증을 건네 에이전트가 복구 경로를 직접 고르게 합니다. ToolMaze 완료율은 10.9%→28.1%, tau-bench retail 두 티어는 14.0·12.0포인트 올랐습니다.