vibecamp ai model · #14 · 2026-08-11

vibecamp ai model 2026-08-11 — 낡은 기억을 지우는 대신 폐기 처리하는 TEPA

2026-08-11 AI 모델 일간 호 — 오늘 10개 카드를 정리했습니다.

10개 카드 · 적은 예제로 스스로 깨우치는 학습법 일간

🎯

퓨샷 학습

제로샷 점수로 프롬프트 고르면 적응 후엔 순위가 뒤집힌다

클래스 설명 문구를 제로샷 정확도만 보고 고르는 퓨샷 관행이 맞는지, 시각 LoRA 적응 전후를 짝지어 비교했습니다. EuroSAT·CropDisease에서는 상세 설명이 주던 8.13~21.54%포인트 이득이 적응 후 0.69~2.96%포인트로 쪼그라들었고(semantic saturation), ISIC·ChestX에서는 반대로 적응을 마친 뒤에야 이득이 나타났습니다(semantic emergence). 제로샷 프롬프트 품질이 적응 이후 품질까지 대신 말해주지는 못한다는 결론입니다.

💡적은 라벨로 새 도메인에 모델을 붙일 계획이라면, 프롬프트와 클래스 설명은 제로샷 점수만이 아니라 적응 이후 기준으로도 함께 평가해 두는 편이 안전합니다.

원문 →#few-shot#domain-adaptation#LoRA#prompt

라벨 한 장짜리 의료영상 분할을 쌍곡공간으로 푼 H2AL

라벨 한 장을 정합(registration)으로 워핑해 pseudo-label을 만드는 퓨샷 의료영상 분할은 유클리드 공간에서 픽셀 단위로만 최적화돼, 해부 구조의 계층성을 놓치고 모호한 경계에서 흔들렸습니다. H2AL은 쌍곡공간(hyperbolic) 계층 표현을 대조학습으로 익힌 뒤 게이트 융합 블록으로 기존 표현에 주입하고, 정합과 분할 두 디코더의 그래디언트를 합쳐 공유 인코더를 학습시킵니다. 해부 부위 두 곳·다섯 가지 세팅 실험에서 정합과 분할이 모두 개선됐고, ACM Multimedia 2026 채택과 함께 코드도 공개됐습니다.

💡라벨 단가가 가장 비싼 의료영상에서 소수 라벨 전이를 검토 중이라면, 공개된 코드로 계층 표현이 내 데이터에서도 통하는지 바로 재현해볼 수 있습니다.

원문 →#few-shot#medical-imaging#segmentation#open-source

📚

커리큘럼 학습

교사의 틀린 풀이로 워밍업해도 되는 이유, Simple-OPD

온폴리시 증류(OPD)는 학생 모델이 자기 롤아웃 위에서 교사의 토큰 단위 지도를 받는 방식이라, 앞에 두는 워밍업이 부실하면 학습 전체가 흔들립니다. 연구진은 워밍업 효과의 본질이 '정답'이 아니라 '교사와 호환되는 사고 패턴'의 전이임을 보였습니다. 교사의 틀린 롤아웃으로 워밍업해도 맞은 롤아웃과 비슷한 이득이 나왔고, 전체 파라미터 SFT보다 LoRA로 포화 직전까지만 돌리는 쪽이 인도메인 적응과 분포 밖 일반화의 균형이 좋았습니다. 이 둘을 묶은 plug-and-play 초기화 레시피가 Simple-OPD입니다.

💡워밍업 데이터를 정답 검증까지 마쳐 모으느라 시간을 쓰기보다, 교사가 만든 사고 과정을 LoRA로 짧게 태우는 쪽이 비용 대비 효과가 큽니다.

원문 →#distillation#LoRA#warm-up#LLM

초반엔 탐색 후반엔 수렴, 스텝별로 목표를 바꾸는 SGPO

디퓨전 선호도 정렬 강화학습은 보상이 최종 결과에만 붙어서, 그 값을 모든 디노이징 스텝에 그대로 역채움해 왔습니다. 스텝마다 의미와 제어 가능성이 다른데 같은 신호가 반복되니 보상 해킹(reward hacking)이 늘고 스텝 간 구분이 사라져 최적화 신호도 약해집니다. SGPO는 신호대잡음비(SNR)와 의미 변화량으로 생성 과정을 초기·중기·후기로 자동 구분해, 초기엔 혼돈 탈출, 중기엔 보상 최적화와 다양성 탐색, 후기엔 안정 수렴으로 목표를 갈아끼웁니다. 16개 비교 실험에서 생성 품질 평균 26.7% 향상, 수렴 속도 36.7% 개선을 보고했습니다.

💡학습 커리큘럼을 데이터 난이도가 아니라 '언제 무엇을 최적화할지'라는 시간축에 걸 수도 있다는, 튜닝 설계의 다른 각도를 보여줍니다.

원문 →#diffusion#RLHF#curriculum#reward-hacking

🪞

자가수정 학습

채점자가 스스로 진화하는 웹 개발 RL, WebGrader

웹 생성 능력을 강화학습으로 끌어올릴 때 진짜 병목은 리워드 설계입니다. 손으로 쓴 브라우저 스크립트는 요구사항마다 새로 짜야 하고, VLM·GUI 에이전트 채점자는 결정적인 화면 상태를 보기도 전에 판정을 내립니다. WebGrader는 모델이 자기 답을 고치는 방식이 아니라 채점자 쪽을 스스로 진화시킵니다. 요청마다 필요한 상호작용 흐름을 뽑아 실행 가능한 Flow Contract로 만들고, 실제 브라우저 실행 결과를 리워드로 씁니다. WebGen-Bench에서 8B 파라미터 정책의 기능적 성공률이 52.01%로, 동일 조건 리워드보다 7.88포인트 높았습니다.

💡평가자를 사람이 다 짜지 않고 실행 가능한 계약으로 자동 생성한다는 발상은, 코딩 에이전트의 자동 채점 파이프라인을 설계할 때 그대로 빌려올 수 있습니다.

원문 →#RL#reward-design#web-dev#code-agent

코딩 에이전트가 계획에서 샐 때만 끼어드는 LivePlan

대규모 저장소의 GitHub 이슈 수정은 궤적이 길어지기 쉽고, 그 사이 에이전트가 원래 계획에서 표류하거나 실패한 행동을 반복하거나 동작하는 패치 없이 종료합니다. LivePlan은 '판정'과 '조언'을 분리해, LLM을 부르지 않는 결정론적 규칙 모니터가 궤적 신호로 이상을 먼저 잡고 그때만 advisor LLM에게 다음 단계 교정을 묻습니다. SWE-agent 위에 얹어 LLM 5종(실행자 3·조언자 2)으로 SWE-bench Verified·Pro를 평가한 결과 이슈 해결률이 최대 15.2%(평균 9.9%) 올랐고, 추가 비용은 인스턴스당 $0.08였습니다.

💡매 턴 재계획을 시키는 대신 이상 징후가 잡힐 때만 개입한다는 설계는, 비용을 거의 늘리지 않고 내 에이전트 루프에 붙여볼 수 있는 패턴입니다.

원문 →#coding-agent#self-correction#SWE-bench#monitoring

🔄

지속학습

낡은 기억을 지우는 대신 폐기 처리하는 TEPA

장기 기억을 쌓기만 하는 에이전트는 세상이 바뀐 뒤에도 낡은 기억이 계속 검색돼 프롬프트를 오염시킵니다(memory pollution). TEPA는 관측을 키를 가진 선례로 저장하고, 같은 키에 모순되는 증거가 들어오면 기존 선례를 revoke 상태로 바꿔 검색에서 뺍니다. 50개 시드의 drift 실험에서 완전 반전 구간 점수는 TEPA 0.950, append-only와 last-write-wins가 각 0.210, 메모리 없음이 0.309로 기존 방식이 오히려 무기억보다 나빴습니다. 깨끗한 MemoryAgentBench SH-6k에서는 강한 캐시 방식과 동급을 유지했습니다.

💡재학습 없이 지식만 갱신해야 하는 서비스 에이전트라면, 메모리를 쌓기만 하는 순간 아무 기억이 없는 편만 못해질 수 있다는 경고입니다.

원문 →#agent-memory#continual-learning#retrieval#benchmark

역전파 없이 현장에서 계속 배우는 적외선 센서 MAUPITI

16x16 열화상 TMOS 배열과 저정밀 SIMD 명령을 확장한 RISC-V 마이크로컨트롤러를 합친 스마트 적외선 센서입니다. 온칩 메모리 32킬로바이트 미만, 소비 전력 1.5밀리와트 수준에서는 역전파와 리플레이 버퍼를 감당할 수 없어, CNN 인코더는 오프라인에서 학습·양자화해 고정하고 클래스 프로토타입만 기기 위에서 갱신하는 Nearest Class Mean 분류기를 택했습니다. 데이터셋 두 개 실험에서 일반 분류기와 대등한 정확도를 유지했고, 분류와 프로토타입 갱신을 합친 지연 오버헤드는 0.29% 미만이었습니다.

💡온디바이스 지속 학습이 꼭 파인튜닝일 필요는 없다는 사례로, 인코더는 고정하고 대표값만 갱신하는 구조는 엣지 프로젝트에 그대로 옮겨볼 만합니다.

원문 →#on-device#continual-learning#edge-ai#sensor

🧬

메타러닝

테스트타임 트레이닝을 부품으로 쪼갠 Modular TTT

테스트타임 트레이닝(TTT)은 시퀀스 모델링을 온라인 학습으로 보고 내부 학습 규칙으로 fast weight를 갱신합니다. 그런데 변형마다 구현이 따로 하드코딩돼 있어 새 기법 설계도, 구성요소별 기여도 분석도 어려웠습니다. Modular TTT는 내부 학습기를 방향성 비순환 그래프로 표현하고 fast-weight 네트워크·손실함수·학습률·정규화를 독립 설계 축으로 꺼냈습니다. 작은 학습률 초기화와 1층 비선형성은 이득이었지만 깊은 fast-weight 네트워크와 정규화는 과도한 활성을 불러 손해였고, 최적 변형은 410M·1.45B 파라미터로 100B 토큰을 학습해 Gated DeltaNet과 비슷한 성능을 냈습니다.

💡설계 축을 분리해 하나씩 껐다 켜 보는 공용 실험대를 먼저 만든다는 접근은 코드까지 공개돼 있어, 아키텍처 실험을 반복하는 팀이 그대로 빌려 쓰기 좋습니다.

원문 →#test-time-training#meta-learning#ablation#open-source

에이전트 스킬을 스스로 감사하고 덜어내는 SkillProx

LLM 에이전트는 반복 태스크의 절차 지식을 가중치 갱신 없이 컨텍스트에 얹는 '스킬'로 쌓습니다. 그런데 기존 프레임워크는 진단과 결과를 잇는 피드백이 없고 삭제를 일반 편집처럼 취급해, 쌓인 지식을 정리할 수단이 없었습니다. SkillProx의 forward 단계는 같은 태스크 배치에 편집을 다시 돌려 성능이 나빠지면 롤백하고, backward 단계는 스킬을 지식 단위로 쪼개 leave-one-out 감사로 기여도를 잰 뒤 검증을 통과한 것만 통합·강등·제거합니다. 여러 백본 LLM의 분포 내·분포 밖 벤치마크에서 평균 정확도가 최강 베이스라인보다 3.0%포인트 높았습니다.

💡스킬 문서를 늘리기만 하는 대신 기여도를 측정해 덜어내는 단계를 넣어야, 컨텍스트에 쌓인 지식이 오히려 성능을 갉아먹지 않습니다.

원문 →#agent-skill#meta-learning#self-evolving#LLM

이 호가 도움됐다면 공유해 주세요 — 빌더 한 명이 더 알게 됩니다.

📤 공유하기𝕏 @in f 💬✈B ✉