vibecamp ai model · #39 · 2026-10-21

vibecamp ai model 2026-10-21 — RL로 똑똑해질수록 잊는 풀이법, 코넬대 적응형 재생 TAR

2026-10-21 AI 모델 일간 호 — 오늘 5개 카드를 정리했습니다.

5개 카드 · 적은 예제로 스스로 깨우치는 학습법 일간

📚

커리큘럼 학습

Ridge 기법 개요도: 프롬프트 풀의 Beta 사후 평균에 가우시안 가중치를 매기고 도구 호출 비용으로 나눠 샘플링한 뒤, 정답·오답이 섞인 그룹만 GRPO 업데이트와 중심 갱신에 쓰는 흐름

결과가 섞일 문제만 골라 비용을 아낀다, 미시간대 RIDGE

GRPO는 한 문제의 응답 그룹이 전부 맞거나 전부 틀리면 학습 신호가 0인데, 웹 검색 에이전트는 그때 이미 검색 비용을 다 써버립니다. 미시간대·에든버러대 연구팀의 RIDGE는 문제마다 통과율을 Beta 사후분포로 추적하고, 결과가 섞인 그룹만으로 '맞힐 듯 말 듯한' 난이도 구간을 갱신하며, 예측 툴콜 비용이 큰 문제는 덜 뽑습니다. GRPO 대비 평균 정확도를 3.4pt·2.9pt 올리고, dynamic sampling 대비 롤아웃 29.6%·툴콜 32.7%를 줄였습니다.

💡어제 소개한 PGB가 그래디언트로 '무엇을 함께 배울지'를 묶었다면, RIDGE는 '얼마를 쓰고 배울지'까지 셈합니다. 툴 호출이 비싼 에이전트 RL이라면 출제 단계부터 비용을 넣어 볼 만합니다.

원문 →#curriculum-learning#grpo#web-agent#cost-aware-sampling

🪞

자가수정 학습

APSD 개념도: 정답 롤아웃은 학생과 자기교사 분포 사이를 보간해 성공 행동을 보존하고, 오답 롤아웃은 자기교사 너머로 외삽해 대안 행동을 증폭하는 비대칭 목표 분포

맞은 답은 지키고 틀린 답은 더 세게, 고려대·중앙대 APSD

피드백을 본 모델 자신을 교사로 삼는 자기증류(self-distillation)는 그대로 따라 하면 맞은 풀이의 좋은 습관은 흐트러지고 틀린 풀이는 덜 고쳐집니다. 고려대·중앙대 연구팀(윤수완·정성룡·이창희)의 APSD는 정답 여부에 따라 목표 분포를 비대칭으로 만듭니다. 맞은 롤아웃은 학생과 자기교사 분포 사이로 보간해 보존하고, 틀린 롤아웃은 자기교사 너머로 외삽해 교정을 키웁니다. Qwen3 여러 규모에서 SDPO 성능을 평균 2.6배 적은 학습 스텝으로 달성했습니다.

💡자기수정 학습에서 '맞은 것과 틀린 것을 같은 강도로 다루지 않는다'는 단순한 원칙만으로 학습 비용을 크게 줄일 수 있음을 보여주는 국내 연구입니다.

원문 →#self-correction#self-distillation#rlvr#korea-research

🔄

지속학습

RL로 똑똑해질수록 잊는 풀이법, 코넬대 적응형 재생 TAR

검증 가능한 보상 강화학습(RLVR)은 추론 정확도를 올리지만, 베이스 모델이 원래 알던 '다른 정답 풀이'를 점점 잊게 만듭니다. 코넬대 연구팀은 시뮬레이션 900회 중 92.4%가 1,000스텝 안에 소수 풀이가 억눌린 상태에 빠지고, 그중 2.6%만 회복된다는 점을 보였습니다. TAR은 다양한 정답 풀이를 작은 메모리 뱅크에 담아 두고 억제가 감지될 때만 골라 재생(replay)합니다. Qwen2.5 수학 벤치 6종에서 GRPO가 크게 잊은 베이스 풀이의 망각을 0~4%로 막았습니다.

💡지속학습 고전 기법인 리플레이 버퍼(replay buffer)를 RL 사후학습의 망각 방지에 옮겨 쓴 사례입니다. GRPO 튜닝 뒤 풀이가 획일해졌다면 정확도와 함께 다양성도 재 보세요.

원문 →#continual-learning#rlvr#replay#reasoning-diversity

🧬

메타러닝

CoDI 프레임워크 개요도: 전략 생성기가 질의를 보지 않고 과제 귀납 규칙(TIR) 카드를 만들고 답변 해결기가 이를 적용하며, 내부·외부 이중 루프로 규칙을 진화시키는 구조

예시 흉내 대신 규칙부터 세운다, 칭화대 등 CoDI 메타 귀납

문맥 내 학습(ICL)은 질의와 비슷한 예시를 흉내 내는 데 기대 분포 밖(OOD) 문제에 약합니다. 칭화대 쑨마오쑹 교수팀과 베이징이공대 등 공동연구팀의 CoDI는 질의를 보지 않는 귀납기(inducer)가 예시에서 태스크 규칙을 먼저 뽑고, 실행기(executor)가 그 규칙을 적용합니다. 귀납기는 정답 규칙 라벨 없이 GRPO 기반 메타 강화학습 이중 루프로 훈련합니다. Qwen3-4B 기준 BIG-Bench에서 ICL 대비 분포 안 +120%, 분포 밖 +18%를 기록했습니다.

💡작게 학습시킨 귀납기가 학습 안 한 큰 귀납기를 OOD에서 앞섰습니다. 퓨샷 예시를 늘리기보다 '규칙을 먼저 말하게 하는' 단계를 두는 설계를 시험해 볼 만합니다.

원문 →#meta-learning#in-context-learning#ood-generalization#meta-rl

기억은 1%만, 적응은 8배 길게, 호주국립대 요약 메모리 RSM

재학습 없이 경험만으로 새 태스크에 적응하는 문맥 내 강화학습(in-context RL)은 오래 돌수록 메모리가 불어나거나, 창을 자르면 과거를 잃습니다. 호주국립대(ANU) 연구팀의 RSM은 최근 상호작용을 담은 짧은 버퍼에는 정밀하게 어텐션하고, 그 이전 경험은 고정 크기 요약으로 들고 다니다 버퍼가 차면 요약을 다시 씁니다. 동결된 정책이 학습 길이의 8배까지 적응 성능을 유지했고, 메모리는 전체 히스토리의 약 1%, 결정당 비용은 일정했습니다.

💡오래 도는 에이전트의 메모리를 '전부 쌓기' 대신 '정해진 크기로 계속 다시 요약하기'로 설계할 근거가 됩니다. 요약을 지우면 이점이 사라진다는 실험도 눈여겨볼 만합니다.

원문 →#meta-learning#in-context-rl#agent-memory#long-horizon

이 호가 도움됐다면 공유해 주세요 — 빌더 한 명이 더 알게 됩니다.

📤 공유하기𝕏 @in f 💬✈B ✉