vibecamp ai model · #36 · 2026-10-16

vibecamp ai model 2026-10-16 — 이미지당 픽셀 1개 라벨로 세그멘테이션 학습, 워털루·애플 TEAL

2026-10-16 AI 모델 일간 호 — 오늘 8개 카드를 정리했습니다.

8개 카드 · 적은 예제로 스스로 깨우치는 학습법 일간

🎯

퓨샷 학습

인과 추상화, 실행 가능한 인과 개입, 전이 불변성 검증 3단계로 자기 생성 인컨텍스트 예시를 걸러내는 파이프라인 도식

모델이 만든 퓨샷 예시를 인과 개입으로 검증, 예시 줄이고 정확도 올린 ECI2D

모델이 스스로 만든 퓨샷 예시는 보통 '정답을 맞혔는가'로만 거릅니다. 하지만 끼워 맞춘 풀이도 정답을 낼 수 있어 관찰만으로는 구별이 안 됩니다. 상하이자오퉁대 등 중국 연구팀의 ECI2D는 예시의 풀이 근거를 실행 가능한 프로그램으로 바꾼 뒤, 비슷한 다른 문제에 개입(do-intervention)을 걸어도 통하는 예시만 남깁니다. 남기는 예시는 39~57% 줄었고, GSM-Symbolic-P2(Qwen2.5-7B) 정확도는 58.12→65.28로 올랐습니다.

💡퓨샷 예시를 손으로 고르지 않고 자동 생성·검증하는 파이프라인에 바로 응용할 수 있습니다. 프롬프트는 짧아지고, 숫자나 조건이 바뀐 변형 문제에는 더 강해집니다.

원문 →#few-shot#in-context-learning#causal-inference#prompting

필요한 예시를 스스로 찾아 넣는 멀티모달 에이전트, UT 오스틴 ActICL

멀티모달 ICL은 어떤 예시를 넣느냐에 성능이 좌우되지만, 기존 방식은 유사도 점수로 정해진 개수를 한 번에 뽑아 중복과 노이즈가 섞였습니다. UT 오스틴·럿거스대의 ActICL은 멀티모달 LLM을 에이전트로 사후학습해, 지금 무엇이 부족한지 판단하고 도구로 예시를 반복 검색·필터링하게 합니다. 7개 벤치마크·3개 모델에서 유사도 검색보다 평균 11.6%포인트, 최강 기존 기법보다 4.4점 높았습니다.

💡예시 은행만 갖춰 두면 작은 에이전트 모델이 예시를 골라 큰 모델에 넘기는 구성이 가능합니다. 프런티어 모델에 예시 4개로 넘겼을 때도 3.5점 올랐습니다.

원문 →#few-shot#multimodal#agent#retrieval

📚

커리큘럼 학습

일반 GRPO는 초반 실패로 후반 단계 연습이 막히지만, 참조 궤적으로 앞 h턴을 이어받는 가이드 시작 GRPO는 후반 단계 학습 신호를 얻는다는 비교 도식

정답 궤적 끝부분부터 이어받아 배우는 에이전트 RL, 서울대 커리큘럼

보상이 완주 시에만 나오는 장기 과제에서는 롤아웃이 전부 실패해 GRPO 학습 신호가 0이 되기 쉽습니다. 서울대·건국대 연구팀은 성공 궤적 앞부분을 재생해 주고 모델이 이어받는 Guide Assisted GRPO에서 시작 위치·인계 단위·이동 규칙을 체계적으로 비교했습니다. 과제 끝 근처에서 시작할 때 가장 좋아 BFCL 8B에서 59.0점으로 GRPO(52.0점)를 앞섰고, AppWorld도 43.1→47.2로 올랐습니다. 설정에 따라 GPU 시간도 약 21% 줄었습니다.

💡도구 호출 에이전트를 RL로 후학습할 때 '어디서 시작해 언제 앞당길지'가 핵심 설계 변수임을 수치로 보여줍니다. 1.7B~8B 소형 모델에도 적용됩니다.

원문 →#curriculum-learning#grpo#agent-rl#tool-use

🪞

자가수정 학습

반성 루프 없이 한 번에 고친 답, 토큰 25.8% 줄인 자기수정 학습 LSPO

추론 모델은 오류를 고치려고 테스트 시점에 반성(reflection) 루프를 돌려 비용과 지연이 커집니다. 항저우사범대 연구팀의 LSPO는 '틀린 추론 상태를 더 나은 상태로 고치는 전이'를 학습 단위로 삼아 에너지 함수로 평가하고, 고친 답을 생성기에 직접 흡수시킵니다. Qwen3.5-27B의 단일 패스 정확도는 71.8%로 반성 루프(71.9%)와 비슷하면서 지연은 28%, 토큰은 25.8% 줄었습니다.

💡자기수정을 학습 단계에서 모델 안에 넣어두면 서비스할 때 반성 루프 비용을 덜 수 있습니다. dense·MoE 백본 모두에서 재현됐고 코드도 공개됐습니다.

원문 →#self-correction#reasoning#inference-cost#rl

정답 없이 스스로 연산자를 늘리는 QA 에이전트, 버그 전부 걸러낸 페이팔

기존 자기개선 에이전트는 보상이 높거나 판정 모델을 설득하면 스킬을 채택해, 틀린 스킬이 남아 오류가 쌓이곤 합니다. 페이팔 AI 연구팀의 에이전트는 독립적으로 작성한 두 식이 모든 레코드에서 일치할 때만 답하고, 부족한 연산자는 직접 만들되 독립 2차 구현과 일치하고 보존 법칙을 통과할 때만 채택합니다. 답변 가능한 질문은 약 3배로 늘었고, 버그를 심은 연산자 변형 138개를 모두 거부했습니다.

💡'실행되면 채택' 같은 흔한 기준이 버그를 놓친다는 점을 보여줍니다. 금융·의료 표 데이터 QA처럼 정확한 답이 필요하다면 교차 구현 합의를 검토해볼 만합니다.

원문 →#self-improving-agent#table-qa#verification#dsl

🧪

액티브러닝

이미지당 픽셀 1개 라벨로 세그멘테이션 학습, 워털루·애플 TEAL

세그멘테이션(segmentation) 데이터는 픽셀 단위 라벨링 비용이 큽니다. 워털루대·애플 연구팀의 TEAL은 고정된 ViT(DINOv3) 백본의 토큰 격자 위에서 다양성 기준으로 라벨링할 픽셀을 고르고, 불확실성(margin)으로 한 번 더 걸러내는 ViT 표현 기반 최초의 픽셀 단위 액티브러닝(active learning) 프레임워크입니다. 이미지당 1픽셀 라벨로 최강 기준선보다 최대 24.36 mIoU 높았고, 10픽셀만으로 완전지도학습 성능의 최대 97%에 도달했습니다.

💡자율주행·의료영상처럼 라벨링이 비싼 팀이라면, 백본은 고정한 채 '어디를 클릭할지'만 잘 골라도 라벨링 예산을 크게 줄일 수 있다는 실무 레시피입니다.

원문 →#active-learning#segmentation#vit#labeling-cost

🔄

지속학습

SST가 가중치 스펙트럼 상위 성분을 고정하고 꼬리 성분만 업데이트해 기존 능력 손실을 줄이면서 새 과제 정확도를 높이는 구조와 결과 그래프

파인튜닝해도 기존 능력은 그대로, 버클리·구글 서브스페이스 튜닝

LLM을 도메인 데이터로 파인튜닝(SFT)하면 원래 갖고 있던 능력이 무너지는 파국적 망각(catastrophic forgetting)이 생깁니다. UC 버클리·구글 등 공동연구팀의 SST는 가중치 업데이트를 하위 특이값 부분공간으로만 제한해 주요 방향을 보호합니다. Qwen3-8B에서 일반 SFT는 기존 능력 점수가 25~57점 떨어졌지만, SST를 얹으면 변화가 -3.8~+1.3점에 그쳤습니다. 베이스 모델 대비 분포 이탈(KL drift)도 2~4배 줄었습니다.

💡옵티마이저와 무관하게 기존 SFT 레시피에 그대로 얹을 수 있어, 사내 도메인 파인튜닝 때 범용 능력을 지키는 기본값 후보로 시험해볼 만합니다.

원문 →#continual-learning#fine-tuning#catastrophic-forgetting#qwen

🧬

메타러닝

재학습 없이 경험만 쌓아 나아지는 에이전트, 알리바바 등 MetaExp

에이전트가 피드백을 재사용 가능한 경험으로 바꾸는 능력은 보통 특정 과제나 외부 스캐폴드에 묶여 새 과제로 옮겨 가지 못합니다. 마카오대·알리바바 등 공동연구팀의 MetaExp는 공유 도구·워크플로는 유지하고 과제만 바꾼 1,000개 검증 가능 과제군의 궤적 4,956개로 Qwen3.5-122B-A10B를 파인튜닝해, '경험에서 배우는 능력' 자체를 학습시켰습니다. 파라미터를 고정한 채 경험만 쌓아 SpreadsheetBench +8.5점, AutomationBench +14.8점을 기록했습니다.

💡학습에서 뺀 도메인에서도 개선이 유지돼 경험 학습이 옮겨 갈 수 있는 능력임을 시사합니다. 배포 후 계속 나아지는 업무 자동화 에이전트 설계에 참고할 만합니다.

원문 →#meta-learning#self-improving-agent#experience-learning#qwen

이 호가 도움됐다면 공유해 주세요 — 빌더 한 명이 더 알게 됩니다.

📤 공유하기𝕏 @in f 💬✈B ✉