vibecamp ai model · #16 · 2026-08-18

vibecamp ai model 2026-08-18 — 라벨 대신 설명을 물어보면 GNN의 지름길이 끊긴다

2026-08-18 AI 모델 일간 호 — 오늘 10개 카드를 정리했습니다.

10개 카드 · 적은 예제로 스스로 깨우치는 학습법 일간

🎯

퓨샷 학습

파인튜닝 없이 예시만 검색해 넣은 저자원 번역 22개 방향

저자원 언어는 파인튜닝에 쓸 병렬 데이터도 연산 자원도 부족합니다. 플로리다대 Gators 팀은 모델 가중치를 전혀 건드리지 않고, 추론 시점에 BM25로 입력과 가장 비슷한 병렬 예시를 학습 뱅크에서 뽑아 Gemini 2.5 Flash에 many-shot 프롬프트로 넣는 파이프라인을 WMT26 공유 태스크에 제출했습니다. 영어와 북동인도 11개 언어 사이 양방향 22개 조합에 적용했고, 예시 뱅크는 공식 데이터에 Samanantar 등 공개 코퍼스와 과거 배포본을 합쳐 구성했습니다. 검색 예시 수와 개발셋 예시 수는 22개 방향 전부에 대해 그리드 서치로 정했습니다.

💡새 도메인이나 새 언어에 모델을 맞출 때 파인튜닝부터 떠올리기 전에, 예시 검색 개수 자체를 하이퍼파라미터로 두고 튜닝하는 쪽을 먼저 시도해 볼 만합니다.

원문 →#퓨샷#검색 증강#번역#저자원 언어

예시를 더 넣어도 못 푸는 질문이 있다, 퓨샷의 이론적 한계

인컨텍스트 학습(ICL)을 '함수의 예시로부터 추론'으로만 보면, 이행성·반대칭성·비교불가능성이 얽힌 부분순서(partial order) 과제에서 예시를 아무리 넣어도 답이 정해지지 않는 상황을 설명할 수 없습니다. 연구진은 논리적 식별 가능성, 필요한 예시 수(teaching number), 구조적 복잡도, 좌표 디코더의 표현력을 각각 분리해 이론을 세웠습니다. 긍정·부정 예시가 섞인 유한 프롬프트에는 강제 참 / 강제 거짓 / 진짜 모호의 삼분법이 성립함을 증명했습니다. 개방세계에서 필요한 예시 수는 커버 수와 blocker 히팅 수의 합이며, 원소가 늘수록 제곱에 가깝게 커집니다.

💡프롬프트에 예시를 계속 더해도 답이 흔들린다면 예시가 부족한 게 아니라 질의 자체가 결정 불가능한 경우일 수 있습니다. 개방세계인지 폐쇄세계인지 가정을 프롬프트에 못 박는 쪽이 빠릅니다.

원문 →#ICL#퓨샷#학습 이론#프롬프트 설계

📚

커리큘럼 학습

지금 실력에 맞는 과제를 씨앗마다 새로 빚었더니 40.0→49.2%

few-shot·Self-Instruct 같은 고정 레시피는 모든 씨앗 과제에 같은 프롬프팅 정책을 적용해, 지금 정책에 필요한 게 더 어려운 과제인지 더 쉬운 과제인지 아예 다른 과제인지를 구분하지 못합니다. Envs-FORGE는 검증기 보상을 씨앗별 환경 합성 액션으로 바꾸고, 씨앗별 통과율을 추정한 뒤 목표 학습 프런티어 주변 6개 방향을 점수화해 혼합정수선형계획(MILP)으로 액션을 고릅니다. 선택된 액션은 지시문·테스트·Docker 환경까지 함께 다시 쓰고, 검증을 통과한 번들만 강화학습에 투입됩니다. Qwen 3.5 35B 기준 tb-core 1회 통과율이 40.0→49.2%, tb-2.0이 23.0→29.4%, SWE-bench Verified가 73.4→77.1%로 올랐습니다.

💡합성 데이터를 무작정 늘리기 전에, 지금 모델의 통과율을 먼저 재고 그 근처 난이도로 과제를 다시 빚는 루프를 만들어 보세요. 같은 학습셋 크기로도 성적이 달라집니다.

원문 →#에이전트 RL#환경 합성#커리큘럼#SWE-bench

🪞

자가수정 학습

재학습 없이, 안전 분류기가 자기 오판만 골라 뒤집는 법

실서비스 안전 분류기는 두 갈래로 무너집니다. 학습 당시 정책만 반영해 배포자가 실제 원하는 기준과 어긋나고, 트래픽이 변하면 성능이 서서히 떨어집니다. RCV는 분류기를 재학습하지 않고 감싸는 경량 래퍼로, 내부 표현에서 '이 예측이 배포자 정책과 어긋날 확률'을 스스로 추정해 틀릴 가능성이 높은 예측만 골라 뒤집습니다. 같은 추정치를 라벨 없는 분포 이동 감지 신호로도 재사용해, 평소에는 정정 레이어만 갱신하다 정말 안 되는 구간에서만 파인튜닝으로 넘어갑니다. 기성 분류기 3종과 벤치마크 2종의 모든 조합에서 배포자 정책 적합도가 올랐고, 놓치던 유해 콘텐츠의 최대 0.81을 회수했습니다.

💡분류기 성능이 떨어졌다고 곧장 재학습을 잡기 전에, 예측이 틀릴 확률을 따로 추정하는 얇은 층을 얹어 정정과 드리프트 감지를 한 번에 처리해 보세요.

원문 →#안전 분류기#자기수정#드리프트#LLM 운영

컴파일러 오류를 되먹여 고쳐 쓰니 8B가 32B를 앞질렀다

자연어로 쓰인 수학을 Lean 4 형식 문장으로 옮기는 자동형식화는 문법만 통과하고 원래 수학적 의미를 잃어버리는 실패가 흔합니다. MathForm은 검색 플래너가 Mathlib에서 관련 정의와 기존 형식화를 먼저 끌어온 뒤 문장을 생성하고, Lean 컴파일러 진단 메시지와 의미 일관성 피드백을 받아 자기 출력을 반복 수정하는 리파인먼트 루프입니다. 검증된 Lean 4 예제 약 36만 7천 건의 FormalVerse 데이터셋을 공개했고, MathForm-8B는 6개 벤치마크 평균 문법 통과율 88.06%, 의미 일관성 72.37%(8회 시도 기준)를 기록해 어려운 구간인 FATE-H 63%, FATE-X 37%에서 전용 32B 모델을 앞질렀습니다.

💡LLM 출력에 컴파일러나 테스트처럼 기계가 판정할 수 있는 신호가 있다면, 그 결과를 다시 프롬프트에 넣어 고쳐 쓰게 하는 루프부터 붙여 보세요. 모델을 키우는 것보다 싸게 먹힙니다.

원문 →#자동형식화#Lean 4#자기수정#검증 피드백

🧪

액티브러닝

라벨 대신 설명을 물어보면 GNN의 지름길이 끊긴다

그래프 신경망(GNN)은 인과가 아니라 상관만 있는 엣지·특징, 즉 지름길(shortcut)에 기대 문제를 풀어버려 분포 밖 데이터에서 신뢰성이 무너집니다. XIGL은 아키텍처를 가리지 않고, 모델이 무엇을 근거로 판단했는지 보여주는 설명(explanation)을 사람에게 넘겨 교정 피드백을 받는 human-in-the-loop 구조입니다. 다만 전문가 교정은 단순 라벨보다 비싸고 인지 부하도 크기 때문에, 지름길 행동을 보일 가능성이 높은 설명부터 골라 묻는 액티브러닝(active learning) 질의 전략을 함께 제안했습니다. 여러 GNN 아키텍처에서 효과를 확인했고 구현체도 공개했습니다.

💡검수 예산이 빠듯하다면 라벨을 더 모으기 전에, 모델 설명 중 수상한 것부터 사람에게 보여주는 순서를 먼저 설계해 보세요. 같은 시간으로 훨씬 많은 오판을 걷어낼 수 있습니다.

원문 →#GNN#액티브러닝#설명가능성#데이터 효율

쉬운 데이터가 항상 정답은 아니다, 모델 크기가 기준을 바꾼다

추론 능력을 가르치는 지도 미세조정(SFT)에서는 교사 모델이 만든 후보 응답 중 무엇을 학습에 쓸지 골라야 합니다. 최근 연구들은 학생 분포에 가까운, 즉 likelihood가 높은 응답이 더 좋은 지도라는 규칙을 사실상 보편 법칙처럼 써 왔습니다. 연구진은 1.5B~8B 학생 모델로 수학 추론 통제 실험을 돌려 그 규칙이 조건부임을 보였습니다. 결과는 용량에 따라 갈리는 'Fast-Fit / Slow-Gain' 패턴으로, 높은 likelihood 데이터는 특히 작은 모델에서 초반 개선이 빠르고 안정적이지만 큰 모델을 오래 학습시키면 낮은 likelihood 데이터가 갈수록 유리해집니다. COLM 2026 채택 논문입니다.

💡데이터 선별 기준을 고정값으로 두지 말고, 모델 크기와 컴퓨트 예산에 따라 쉬운 지도와 어려운 지도의 비율을 다시 재보세요. 작은 모델에서 버린 데이터가 큰 모델에서는 이득일 수 있습니다.

원문 →#데이터 선별#SFT#추론#COLM 2026

🔄

지속학습

세션이 끊길 때 무엇을 넘겨야 하나, 인계의 최소 단위

컨텍스트 한도를 넘거나 앱이 재시작되거나 다른 에이전트에게 일을 넘길 때, 이전 세션에서 무엇을 넘겨야 하는지는 그동안 감에 맡겨져 있었습니다. 이 논문은 그 문제를 '과제 상대적 인컨텍스트 학습(ICL) 상태의 이전'으로 정식화하고, 과거 문맥의 정확한 복원과 목표 분포의 보존을 구분합니다. 예측이 같아진다는 조건으로 가장 성긴 결정적 충분 핸드오버와 고정 길이 비트 요구량을 규정했습니다. 실무 처방은 3부 기록입니다. 결정과 제약은 원문 그대로 저장하고, 반복되는 근거는 과제에 맞는 통계량으로 압축하고, 그 통계량으로 보존되지 않는 원관측만 따로 남깁니다.

💡요약 인계 프롬프트를 쓸 때 '결정과 제약은 원문 그대로, 반복 근거는 수치로 압축, 나머지는 버림'이라는 3부 구조를 템플릿으로 굳혀 보세요.

원문 →#컨텍스트#핸드오버#ICL#에이전트

🧬

메타러닝

물리 법칙이 바뀌자 자기진화 에이전트가 35.9%에서 멈췄다

기존 자기진화(self-evolving) 에이전트 평가는 실행 조건을 고정해 두고 같은 환경에서 얼마나 더 잘하게 되는지만 쟀습니다. PACE-Bench는 목표와 인터페이스는 그대로 두고 물리 법칙만 변형한 환경을 짝지어, 6개 물리 도메인에서 144개 적응 쌍을 구성했습니다. 원래 통하던 코드 해법이 바뀐 환경에서는 반드시 실패하도록 설계해, 제한된 시도 예산 안에서 진단 피드백을 보며 설계를 고쳐야만 풀립니다. 10개 기법을 평가한 결과 Reflexion과 Qwen3-14B 조합은 전체 적응 쌍의 35.9%, GPT-5.5는 전체 시도 예산을 다 쓴 조건에서 Statics 서브셋의 66.7%를 풀었습니다. 병목은 파라미터 추정이 아니라 메커니즘 자체를 다시 설계하는 일이었습니다.

💡에이전트에게 시도 횟수를 더 주기 전에, 실패한 접근을 버리고 설계를 갈아엎게 하는 장치가 있는지부터 점검해 보세요. 넓은 탐색은 수렴 없이 헤매기만 했습니다.

원문 →#자기진화#벤치마크#메타러닝#에이전트

규칙 모르는 게임에서 세계 모델을 직접 짜게 했더니 97.8%

ARC-AGI-3 같은 지속학습형 과제는 규칙을 모르는 새 환경에 얼마나 빨리 적응하느냐가 관건인데, 지금까지는 세계 모델(world model)을 과제마다 사람이 하드코딩해 새 과제로 옮겨 붙일 수 없었습니다. Twin은 코딩 에이전트가 테스트 시점에 실행 가능한 세계 모델, 곧 디지털 트윈을 직접 작성하게 합니다. 지금까지 관측한 모든 전이를 그 프로그램이 재현할 때까지 행동을 보류하고, 예측과 실제가 어긋난 지점을 반례로 삼아 모델을 고쳐 나갑니다. 183개 레벨 중 179개(97.8%)를 클리어했고 그중 158개(88.3%)는 사람보다 효율적이었으며, 트윈을 붙이기 전 7.8→93.3%로 뛰었습니다. 저자들은 정작 어려운 문제가 무엇이 목표인지 알아내는 일이었다고 정리합니다.

💡에이전트가 낯선 시스템을 다룬다면 바로 행동하게 두지 말고, 지금까지 본 결과를 재현하는 작은 시뮬레이터를 먼저 코딩해 통과시키는 단계를 끼워 보세요.

원문 →#세계 모델#ARC-AGI#테스트 타임#에이전트

이 호가 도움됐다면 공유해 주세요 — 빌더 한 명이 더 알게 됩니다.

📤 공유하기𝕏 @in f 💬✈B ✉