vibecamp ai model · #10 · 2026-07-29

vibecamp 2026-07-29 — 예시에 점수 붙이면 프롬프트가 작은 강화학습이 된다

점수 조건부 in-context learning부터 자기 테스트로 스스로를 채점하는 에이전트의 함정까지 학습법 4건입니다.

4개 카드 · 적은 예제로 스스로 깨우치는 학습법 일간

🎯

퓨샷 학습

예시에 점수를 붙이면 프롬프트가 작은 강화학습이 된다

LLM에 생성 샘플과 평가 점수를 함께 예시로 넣으면 출력이 스스로 좋아진다는 현상은 그동안 실험적으로만 알려져 있었습니다. 이 논문은 점수 조건부 in-context learning이 policy gradient 최적화와 구조적으로 대응한다는 것을 이론으로 보였습니다. 특정 가중치 행렬 구성에서 self-attention이 REINFORCE의 보상 가중 집계를 구현할 수 있음을 구성적으로 증명했고, 제한된 어텐션 업데이트가 만드는 분포 이동의 정확한 상한을 유도해 KL 제약 정책최적화(trust region)와의 대응까지 정리했습니다.

💡가중치를 건드리지 않고 예시 몇 개로 태스크를 태우는 워크플로에서, 예시 선택·점수 스케일·예시 개수를 학습률과 trust region 관점으로 튜닝할 근거가 생깁니다.

원문 →#in-context learning#policy gradient#퓨샷#프롬프트 설계#arXiv

요일이 원인지 트리인지는 사전학습이 아니라 문맥이 정한다

LLM이 개념을 올려놓는 기하 구조는 사전학습에 저장된 고정 세계모델이 아니라 문맥에 적어준 규칙이 결정한다는 연구입니다. 같은 토큰이 선언된 규칙에 따라 원이 되기도 트리가 되기도 했고, 물려받을 prior가 없는 의미 없는 임의 토큰으로도 구조가 만들어졌습니다. 사전학습 prior와 충돌할 때조차 문맥이 지정한 기하가 prior를 압도했고(지정 구조와의 표현 유사도 0.6~0.9, prior와는 거의 0), activation patching으로 인과적으로 쓰인다는 점까지 확인했습니다. 다만 이 우위는 Gemma·Qwen 두 계열 모두 큰 모델(최대 Gemma-31B, Qwen-27B)에서만 나타났습니다.

💡사내 분류 체계나 도메인 온톨로지처럼 사전학습에 없던 구조도 파인튜닝 없이 규칙 선언만으로 주입할 수 있다는 뜻이고, 모델 규모는 구조를 만드는 능력보다 만든 구조를 실제로 쓰는 능력을 가릅니다.

원문 →#in-context learning#표현 기하#Gemma#Qwen#프롬프트 설계

🪞

자가수정 학습

자기가 쓴 테스트로 자기를 채점한 에이전트는 배포에서 퇴화했다

자가개선 에이전트는 절차적 정책·컨트롤러·휴리스틱 규칙을 반복해 다시 쓰면서, 그 편집을 받아들일지도 대개 자기가 작성한 테스트로 판단합니다. 최적화 대상과 검증자를 모두 쥔 탓에 자체 점수는 거의 만점인데 배포 성능은 나빠지거나 낮은 채 머무는 'verifier–deployment gap'이 생깁니다. 제안된 SEAL은 자체 테스트는 두되, 에이전트가 작성도 열람도 못 하는 봉인된 하네스 감사가 후보본과 현행본을 비교해 accept 또는 reject만 돌려주고, 명백한 퇴행이 확인되면 현행본 상태 전체를 유지합니다. 6개 모델과 3개 랜덤 시드에서 무보호 베이스라인을 앞섰습니다.

💡실패가 능력별로 갈렸다는 점이 핵심입니다. 약한 에이전트는 쉬운 자체 테스트 뒤에서 이미 습득한 전략을 훼손했고 강한 에이전트도 배포 분포를 오측정했습니다. 자기검증을 버릴 필요는 없지만, 에이전트 통제 밖의 수용 신호가 최소 하나는 필요합니다.

원문 →#자가개선#에이전트#SEAL#평가 설계#arXiv

틀렸다 대신 어떻게 틀렸는지를 스스로 붙이게 한 자기교정

정보추출(IE)에서 기존 자유 형식 자기반성은 오류가 있다는 사실은 표시해도, 그 실패가 누락 스팬인지 잘못된 라벨인지 경계 불일치인지까지는 거의 짚어내지 못했습니다. LA-RL은 단일 백본이 먼저 추출을 예측하고, 태스크별 오류 라벨로 자기 실패를 진단한 뒤, 그 진단을 조건으로 자기 출력을 수정하게 합니다. 콜드스타트 SFT 후 최종 추출 품질·형식 유효성·첫 시도 정확도를 보상하는 2단계 GRPO를 거치며 프로세스 보상 모델은 쓰지 않습니다. SciER 관계 추출 평균 F1 6.83 상승, 분포 밖 관계 추출 약 20 F1 상승, DuEE1.0 트리거 F1 14.80·인자 F1 17.50 상승입니다.

💡실패 유형 몇 가지를 미리 정의해 주고 모델이 스스로 분류하게 하는 설계가 재작성 품질을 끌어올린다는 사례입니다. 다만 반성 구조는 태스크에 민감해서, 관계 추출은 더 강한 제약이, 도메인 시프트 상황의 개체명 인식은 덜 제한적인 교정이 유리했습니다.

원문 →#자기교정#정보추출#GRPO#강화학습#LA-RL

이 호가 도움됐다면 공유해 주세요 — 빌더 한 명이 더 알게 됩니다.

📤 공유하기𝕏 @in f 💬✈B ✉