vibecamp ai model · #22 · 2026-08-26

vibecamp ai model 2026-08-26 — 전량 라벨링 대신 6.4%만 사람에게 — 재학습 없이 F1 0.62 →

2026-08-26 AI 모델 일간 호 — 오늘 8개 카드를 정리했습니다.

8개 카드 · 적은 예제로 스스로 깨우치는 학습법 일간

🎯

퓨샷 학습

예시를 더 넣었더니 나빠졌습니다 — 퓨샷의 1차 변수는 개수가 아니라 순도

패치 메모리 기반 이상탐지는 참조 뱅크가 전부 정상이라고 가정하지만, 산업 현장에서 추가로 긁어온 이미지는 검증되지 않습니다. '예시를 더 넣으면 나아진다'는 퓨샷 통념이 참조 순도가 무너지는 순간 반대로 뒤집힙니다. 연구진은 AnomalyDINO의 DINOv2 패치 메모리 위에서 믿을 수 있는 seed bank와의 거리로 후보 패치를 점수화해 가장 의심스러운 20%를 버리고, 남은 패치만 seed와 병합한 뒤 greedy coreset으로 뱅크 예산을 고정했습니다. 결함 마스크는 쓰지 않습니다. Severstal 강판 데이터에서 순진하게 추가한 참조는 9.46%가 결함 패치였는데 이 트리밍이 그중 78.1%를 걸러 잔여 오염을 2.59%까지 낮췄습니다. 동일한 51,200패치 예산에서 AUPRC 0.1084로 순진 확장 0.0950, 랜덤 제거 0.0952, 깨끗한 8장 0.1030을 모두 앞섰습니다. 반대로 깨끗한 뱅크에 결함 패치를 0.5%만 섞자 AUPRC가 0.1030에서 0.0759로 무너졌고, 완결된 5개 홀드아웃 쌍 전부에서 순진 확장을 이겨 평균 +0.0142 AUPRC를 기록했습니다.

💡few-shot 예시나 RAG 참조를 늘릴 때 개수부터 세지 말고, 새로 들어온 항목의 오염도를 먼저 재고 상위 의심분을 잘라내는 단계를 파이프라인에 넣어야 합니다.

원문 →#few-shot#이상탐지#DINOv2#데이터 품질#arxiv

📚

커리큘럼 학습

쉬운 시나리오에 쓰던 연산을 끊었습니다 — 자율주행 학습 시간 77% 절감

배치형 시뮬레이터는 수천 개 시나리오와 수십억 상호작용을 며칠 만에 돌릴 만큼 처리량이 커졌지만 샘플 효율은 따라오지 못했습니다. 표준 방식인 도메인 랜덤화가 시나리오를 균일 샘플링하는 탓에, 학습에 거의 기여하지 않는 쉬운 케이스에 막대한 상호작용을 낭비하기 때문입니다. CL4AD는 배치형 자율주행 시뮬레이터 GPUDRIVE에 커리큘럼 학습을 처음 결합한 연구로, 시나리오 선택을 비지도 환경 설계(unsupervised environment design) 문제로 재정의하고 기존 regret 추정에 성공률과 주행 행동의 현실성(realism)을 더한 유틸리티 함수로 커리큘럼을 만듭니다. 커리큘럼 학습은 도메인 랜덤화보다 10억 스텝 먼저 성공률 99%에 도달해 실제 소요 시간(wall-clock)을 77% 절감했고, 연산 자원을 제한한 ablation에서는 샘플 효율이 67% 개선됐습니다. 정적·동적 속성 기반 휴리스틱 커리큘럼도 최대 스케일 1건을 제외하면 전부 상회했으며, 구현체 CLForAD를 GPUDRIVE에 공개했습니다.

💡GPU를 늘려 처리량만 키우는 대신 '지금 이 학습에 쓸모없는 샘플'을 골라내는 쪽이 같은 예산에서 훨씬 큰 차이를 만든다는 사실을, 실제 wall-clock 수치로 보여준 사례입니다.

원문 →#curriculum-learning#자율주행#강화학습#샘플 효율#arxiv

문제를 내는 쪽을 학습시킵니다 — '절반만 잡히는 난이도'를 노리는 자가대전

검증 가능 보상 기반 RL은 사람이 큐레이션한 대규모 문제집을 전제로 합니다. 기존 zero-data 자가대전은 후보 문제를 던져보고 사후에 기각하는 방식으로만 학습 가능성을 걸러서, '난이도 축의 어디에 문제를 놓아야 하는지'는 끝내 학습하지 못했고 풀이자에게는 희소한 종단 보상만 줬습니다. LURE는 자가대전을 추격-도주 게임으로 재정의합니다. LLM 회피자(evader)가 환경의 난이도 축 위에 문제를 배치해 한 발 앞서려 하고, 계획-실행형 추격자(pursuer)가 검증 가능한 상호작용으로 이를 쫓습니다. 회피자는 풀이자가 롤아웃의 정확히 절반에서 자신을 잡을 때 최대가 되는 '포획 경계(capture-frontier)' 보상으로 학습되고, 추격자는 포획에 앵커된 조밀한 과정 크레딧을 받습니다. 검증 가능 추론 환경 3종과 백본 계열 3종에서 통합·전문화 설정 모두 기존 강력 베이스라인을 상회했고, 통합 모델은 3개 과제군에서 뽑은 9개 홀드아웃 벤치마크의 OOD 제로샷 정확도 총합에서 학습된 모든 베이스라인을 앞섰습니다(초록에 정량 개선폭은 없습니다).

💡커리큘럼을 사람이 손으로 튜닝한 난이도 구간이 아니라 학습되는 배치 전략으로 옮긴 설계라, 자체 평가셋을 계속 만들어야 하는 팀에게 그대로 이식할 만한 구조입니다.

원문 →#curriculum-learning#self-play#zero-data#추론 RL#arxiv

🪞

자가수정 학습

자기 실패를 패치로 요약해 되먹입니다 — SFT 대비 학습 연산 8%로 AIME 73.3%

장기 과제의 보상은 성공/실패라는 희소한 최종 신호뿐이라 어느 단계에서 틀렸는지 크레딧을 배정하기 어렵고, 기존 해법은 외부 크리틱이나 별도 보상모델, 더 큰 교사 모델을 붙여야 했습니다. SRPO는 LLM이 자기가 끝낸 궤적을 스스로 분석해 오류를 짧은 '리플렉션 패치'로 압축하고, 그 패치를 조건으로 매긴 교사 점수를 학생의 on-policy 롤아웃에 토큰 단위 학습 신호로 되먹이는 사후학습 프레임워크입니다. Qwen3-8B 기준 AIME 2024에서 73.3%를 스케일된 SFT 대비 학습 FLOPs 8%만으로 달성했고, WebShop 64.7%, ALFWorld 76.8%, SWE-Bench-Lite 31.2%로 장기 에이전트 벤치마크 성공률도 함께 개선했습니다. 외부 크리틱, 별도 보상모델, 대형 교사 모델 없이 동작한다는 점이 핵심이며, 8월 24일 제출돼 8월 25일 공개된 ICML 2026 채택 논문으로 코드도 GitHub에 공개돼 있습니다.

💡에이전트 실패 로그를 그냥 쌓아두고 있다면, 실패를 짧은 패치로 요약해 다음 롤아웃의 채점 기준으로 되먹이는 루프 하나만으로도 재학습 비용을 크게 줄일 수 있습니다.

원문 →#self-correction#강화학습#long-horizon#post-training#arxiv

자가수정이 오히려 오류를 키울 때 — 추론 오류를 연산자로 만들어 한 단계씩 되돌립니다

LLM은 매끄러운 추론을 쓰면서도 국소적인 의미 오류를 결론까지 전파합니다. 그런데 제약 없는 자가수정은 그 오류를 그대로 두거나, 오히려 증폭하거나, 없던 오류를 새로 만들기도 합니다. SRD는 오류를 '실행 가능한 오류 연산자'로 표현합니다. 오류 유형, 오류 위치, 손상된 명제, 복원된 명제를 명시한 연산자를 두고, 모델이 현재 궤적에 걸린 의미 노이즈를 스스로 식별해 한 단계 덜 오염된 상태로 되돌리는 마르코프 디노이징 학습법입니다. 기존 디퓨전 언어모델의 반복 정제가 노이즈를 토큰 마스킹·치환으로만 정의해 추론 과정의 오류 자체는 다루지 못했던 지점을 겨냥합니다. 수학·코드·지식·상식 6개 인도메인 벤치마크에서 동일 백본 최강 베이스라인 대비 평균 +3.2점, 7개 교차 데이터셋 전이에서는 Llama-3-8B-Instruct와 대등하고 Qwen3-8B 최강 베이스라인 대비 평균 +2.9점이었습니다. 개선의 핵심이 구조화된 의미 노이즈 예측과 반복적 연산자 실행에 있다는 점도 분석으로 확인했습니다.

💡'다시 검토해봐' 같은 열린 자가수정 프롬프트를 붙여둔 파이프라인이라면, 고칠 오류의 유형과 위치를 먼저 지정하게 하는 구조로 바꾸는 것만으로 역효과를 줄일 수 있습니다.

원문 →#self-correction#추론#denoising#LLM 후처리#arxiv

🧪

액티브러닝

전량 라벨링 대신 6.4%만 사람에게 — 재학습 없이 F1 0.62 → 0.85

규제산업 문서 분류는 데이터 반출 금지, 콜드스타트 라벨 부족, 검토 인력 희소, 모델 거버넌스 비용이 겹쳐 '전량 라벨링 후 재학습' 방식을 쓸 수 없습니다. HIRA는 학습 없이(training-free) 동작하는 온프레미스 검색 캐스케이드로 먼저 분류하고, 확신이 낮은 건만 로컬 LLM 검증자에게, 그래도 애매한 건만 사람에게 올리는 선택적 human-in-the-loop 구조입니다. 핵심은 사람이 고친 건을 가중치 재학습 없이 마진 가중 검색 예시로 저장해 다음 판단에 곧바로 쓴다는 점입니다. 80개 클래스 무역금융 실사용 스트림 30,233건을 처리하면서 사람 교정 요청은 1,945건(6.4%)뿐이었는데 Macro-F1이 0.6218 → 0.8548로 올랐고, 풀의 24.8%인 518건만 고쳤을 때 이미 2,086건 전량을 정답 라벨로 색인한 oracle과 동등했습니다. 8월 25일 arXiv 리스팅으로 공개된 CIKM 2026 채택 논문입니다.

💡라벨 예산이 빠듯한 사내 분류기라면, 모델을 다시 학습시키는 대신 '사람이 고친 건을 검색 예시로 되돌려 넣는' 경로부터 만들어 보는 편이 훨씬 싸게 먹힙니다.

원문 →#active-learning#human-in-the-loop#문서 분류#RAG#arxiv

🔄

지속학습

망각을 '대기줄'로 관리합니다 — 연합 지속학습을 제어 문제로 다시 쓴 FedQCL

연합 지속학습(FCL)에서 망각은 태스크의 시간적 진화와 클라이언트 간 데이터 이질성이 얽힌 장기·분산 현상인데, 기존 replay·정규화·투영 기반 휴리스틱은 이를 국소적으로만 다룰 뿐 명시적으로 규제하지 못했습니다. FedQCL은 FCL을 태스크별 최적화의 나열이 아니라 확률적 제어 문제로 재정식화하고 Lyapunov drift-plus-penalty(DPP) 목적함수를 씁니다. 핵심 장치는 태스크와 클라이언트에 걸쳐 쌓이는 망각을 추적하는 가상 큐(virtual queue)로, 안정성-가소성 트레이드오프를 파라미터 하나로 명시 조절할 수 있게 합니다. Split-CIFAR-10, Split-CIFAR-100, Split-TinyImageNet 벤치마크에서 최신 베이스라인 대비 정확도 우위를 보였고 이질적 데이터 분포에서 망각을 크게 줄였는데, gradient projection이나 추가 통신 오버헤드 없이 달성했다는 점을 성과로 내세웁니다(초록에 정량 개선폭은 없습니다). 8월 21일 제출돼 8월 25일 arXiv 리스팅으로 공개된 CoLLAs 2026 채택작입니다.

💡망각을 사후에 복구할 손실 항이 아니라 실시간으로 길이를 재는 큐로 두면, 안정성과 가소성의 균형을 운영 중에 손잡이 하나로 조절할 수 있게 됩니다.

원문 →#continual-learning#federated-learning#catastrophic forgetting#Lyapunov#arxiv

🧬

메타러닝

에이전트가 예측하지 않고 예측기를 만듭니다 — 소수 예시로 경량 모델 자동 양산

파운데이션 모델은 자원 제약 환경에서 비경제적이고 경량 예측기는 대량의 학습 데이터를 요구합니다. 그래서 데이터가 희소하거나 느리게 축적되거나 프라이버시에 민감한 도메인은 양쪽 어느 쪽도 쓰기 어려운 딜레마에 놓입니다. MetaCaster는 에이전트를 예측자가 아니라 '중간 엔지니어'로 재배치합니다. 소수 예시와 텍스트 컨텍스트만 받아 에이전틱 데이터 생성을 수행하고, 배포용 태스크 특화 경량 시계열 예측기를 만들어 넘기는 meta-harness 최적화 멀티에이전트 프레임워크입니다. 18개 데이터셋, 23개 최신 경량 예측기, 14개 베이스라인 규모의 실험에서 데이터 효율과 계산 효율을 동시에 달성하면서 예측 품질을 유지했다고 밝혔습니다(초록에 정량 개선폭은 없습니다). 에이전트를 태스크별 전문가 모델을 만들어내는 메타 학습자로 두는 시계열 예측 패러다임을 제시한 EMNLP 2026 채택 논문으로, 8월 24일 제출돼 다음 날인 8월 25일 arXiv 리스팅에 올랐습니다.

💡LLM을 추론 시점마다 호출해 답을 받는 대신 '작은 모델을 만들어내는 도구'로 쓰면, 운영 비용은 경량 모델 수준으로 유지하면서 초기 데이터 부족만 에이전트로 메울 수 있습니다.

원문 →#meta-learning#few-shot#시계열 예측#멀티에이전트#arxiv

이 호가 도움됐다면 공유해 주세요 — 빌더 한 명이 더 알게 됩니다.

📤 공유하기𝕏 @in f 💬✈B ✉