vibecamp ai model · #18 · 2026-08-21

vibecamp ai model 2026-08-21 — 학습 한 번 없이 LLM을 다음 실험 고르기 정책으로 써봤습니다

2026-08-21 AI 모델 일간 호 — 오늘 12개 카드를 정리했습니다.

12개 카드 · 적은 예제로 스스로 깨우치는 학습법 일간

🎯

퓨샷 학습

실제 로그 한 줄 없이 키운 추천 모델이 시퀀스 몇 개로 다음 클릭을 맞힙니다

추천 모델은 도메인마다 상호작용 로그를 대량 모아 새로 학습시켜야 해서, 신규 서비스나 롱테일 카테고리 같은 콜드스타트 구간에서 사실상 쓰기 어려웠습니다. RecPFN은 사전학습을 실제 서비스 로그가 아니라 구조적 인과 사전(structural causal prior)에서 샘플링한 합성 클릭스트림만으로 끝냅니다. 추론 시에는 가벼운 디코더 전용 트랜스포머가 해당 도메인 시퀀스 몇 개만 컨텍스트로 받아, 가중치 갱신 없이 단 한 번의 forward pass로 다음 아이템을 예측합니다.

💡평가 전반에서 강력한 제로샷 베이스라인을 상회했고 저데이터·저연산 구간에선 지도학습과도 경쟁합니다. 코드가 공개돼 자체 도메인 데이터로 바로 대조 실험이 가능합니다.

원문 →#few-shot#in-context-learning#prior-fitted-networks#recommendation#cold-start

LoRA가 풀 파인튜닝을 못 따라잡던 이유는 기울기를 한 번만 봤기 때문

LoRA는 메모리 부담을 줄이면서도 쓸 만한 성능을 내지만 풀 파인튜닝과의 격차가 계속 남아 있었습니다. 최근 연구들은 사전학습 가중치의 1스텝 기울기 근사로 LoRA 업데이트를 풀 파인튜닝 방향에 정렬시키려 했는데, 저자들은 그 방식이 기울기의 전체 동역학을 담지 못한다고 지적합니다. LoRA-GA²는 추가 GPU 메모리 없이 도는 경량 멀티스텝 기울기 프로브, 스펙트럼을 인지하는 rank 배분, 멀티스텝 기울기에서 유도한 초기화를 결합했습니다.

💡GLUE에서 선두 베이스라인을 평균 +0.66점, GSM8K +1.03점, HumanEval +0.87점 앞섰습니다. 개선폭이 1점 안팎이라 자사 태스크에서 유의미한지 A/B로 먼저 확인하는 순서가 맞습니다.

원문 →#few-shot#lora#fine-tuning#gradient-alignment#parameter-efficient

📚

커리큘럼 학습

난이도를 이미지에서 안 뽑습니다 — 위성사진의 지리적 고립도 커리큘럼

커리큘럼 학습은 난이도를 재는 비용이 아끼는 학습 비용보다 커지는 역전이 자주 생깁니다. 보통 이미지를 열어 시각 복잡도를 계산하거나 모델 피드백을 받아야 하기 때문입니다. 이 연구는 위성영상 자기지도 사전학습에서 난이도를 '지리적 고립도'로 매깁니다. 데이터셋에 이미 들어있는 위치 메타데이터만 쓰므로 이미지 디코딩도, 모델 피드백도, 수작업 라벨도 필요 없습니다. MoCoV2와 MAE에 붙여 학습 예산 20~40%만으로 베이스라인의 최종 성능에 도달했습니다.

💡BigEarthNet에서 최대 +5 mAP, 3개 벤치마크에서 1~5점 향상. 시각 복잡도 커리큘럼과 성능은 같으면서 난이도 사전계산은 568초→4초로 140배 넘게 줄었습니다.

원문 →#curriculum-learning#self-supervised#remote-sensing#label-free#training-efficiency

라벨 없이 '이 케이스가 어려운지'를 모델이 스스로 채점합니다

심장 MRI(LGE-CMR) 흉터 분할은 조직 대비가 낮고 흉터가 흩어진 케이스일수록 라벨링이 어렵습니다. 난이도를 사람이 매기려면 임상 전문가 라벨이 또 필요해 확장이 막힙니다. CalcSeg는 예측 오차와 인식적 불확실성(epistemic uncertainty), 흉터 부하량 추정을 합친 학습형 스코어 함수로 난이도를 수작업 라벨 없이 자동 채점하고, 쉬운 케이스에서 어려운 케이스로 학습 대상을 넓힙니다. 부족한 3D 맥락은 잠재 공간의 슬라이스 간 셀프어텐션으로 보완합니다.

💡다기관 임상 데이터셋에서 기존 흉터 분할 네트워크를 전 구간 상회했고, 특히 임상적으로 까다로운 케이스에서 개선 폭이 컸다고 보고합니다. 코드는 공개돼 있습니다.

원문 →#curriculum-learning#semi-supervised#medical-imaging#uncertainty#segmentation

🪞

자가수정 학습

AI가 학습 알고리즘을 스스로 고쳐본 결과는 1.0 만점에 0.166

'AI 시스템이 AI 시스템을 만들어내는 과정 자체를 개선할 수 있는가'를 동일 조건에서 재는 벤치마크입니다. 서로 다른 학습 알고리즘 계열의 동결(frozen) 연구 레포 10개에서, 에이전트는 GPU 한 장으로 4시간 안에 학습 알고리즘을 재작성합니다. 그 코드는 최대 12시간 처음부터 재실행돼 고정 평가자에게 채점됩니다. 6개 시스템 29개 구성 전체 평균은 0.166으로, 현행 에이전트는 재귀적 자기개선과는 아직 거리가 멉니다.

💡학습 메커니즘을 실제로 건드린 시도가 0.226, 건드리지 않은 시도가 0.126이었습니다. 자기개선의 실효는 표면 튜닝이 아니라 학습 규칙 수정에서 나온다는 신호입니다.

원문 →#self-correction#benchmark#recursive-self-improvement#llm-agent#evaluation

훈련장을 스스로 지어놓고 그 안에서 자기와 겨루는 자기대국 학습

자기개선을 계속 이어가려면 스스로 만들어내는 목표가 끊임없이 넓어져야 하는데, 기존 환경 풀은 사람이 큐레이션했거나 정적으로 합성돼 학습자가 커져도 목표 분포가 멈춰 있습니다. SPADE는 하나의 LLM에 두 역할을 맡깁니다. 환경 설계자는 OpenAI Gym 스타일 인터페이스를 갖춘 장기 과제 환경을 실행 가능한 코드로 직접 쓰고, 추론 에이전트는 그 안에서 행동을 배웁니다. 설계자는 에이전트의 능력 경계에 걸치는 난이도를 겨냥하도록 함께 학습됩니다.

💡고정 환경 대비 8개 미공개 벤치마크 평균 +5.3, 멀티턴 도구사용 +5.7, 에이전트 벤치는 +13.9. 최대 30B 파라미터 규모까지 효과를 확인했습니다.

원문 →#self-correction#self-play#reinforcement-learning#synthetic-environment#llm-agent

🧪

액티브러닝

학습 한 번 없이 LLM을 '다음 실험 고르기' 정책으로 써봤습니다

소재 탐색은 후보 하나를 평가하는 비용이 비싸서 몇 번 만에 정답에 닿느냐가 곧 예산입니다. 연구진은 오픈웨이트 LLM 5종을 과제별 추가 학습 없이 액티브러닝의 획득 정책(acquisition policy)으로 그대로 투입해, 유한 후보 풀 소재 최적화 4개 과제에서 랜덤 선택·가우시안 프로세스(GP)와 통제 비교했습니다. LLM은 랜덤보다 적은 반복으로 전역 최적에 도달했지만 GP 대비는 혼재였습니다. 대부분 과제는 기존 GP가 앞섰고 일부 설정에서만 LLM이 동등하거나 우위였습니다.

💡과제마다 대리모델을 세우고 튜닝하는 대신 이미 쓰는 LLM을 후보 선별기로 먼저 붙여보는 경로가 열립니다. 다만 후보를 어떤 형식으로 제시하느냐에 성능이 크게 흔들립니다.

원문 →#active-learning#llm#acquisition-policy#materials-discovery#zero-shot

라벨이 귀할수록 '똑같은 데이터'가 더 어렵다는 연합학습의 역전

여러 기관이 데이터를 공유하지 않고 협력하는 cross-silo 연합 액티브러닝(FAL)을 라벨 예산이 극히 적은 구간에서 분석한 연구입니다. 저예산에선 데이터가 동질(IID)일수록 서로 비슷한 샘플을 중복 질의하기 쉬워 더 강한 조율이 필요하고, 예산이 커지면 이 경향이 뒤집힙니다. 데이터 이질성을 주된 걸림돌로 보던 통념과 반대 방향입니다. 제안 프레임워크는 연합 표현학습으로 클라이언트 데이터를 공유 임베딩 공간에 정렬해 서버가 전역 조율 선택을 하고, 라벨링은 각 기관 내부에 남깁니다.

💡라벨 예산이 병목인 다기관 협업이라면 각자 알아서 뽑게 두는 순간 같은 샘플을 중복으로 사게 됩니다. 조율 비용이 라벨 비용보다 싸다는 것이 이 논문의 계산입니다.

원문 →#active-learning#federated-learning#label-efficiency#privacy#low-budget

🔄

지속학습

프롬프트 인젝션 방어를 한 번의 정렬이 아닌 지속학습으로 바꿨습니다

공격 기법은 계속 새로 나오는데 정렬(alignment)은 학습 시점에 고정돼 있습니다. 새 공격에 맞춰 추가 학습을 하면 이번엔 예전 공격 유형 방어가 무너지고 범용 성능까지 깎였습니다. COPA는 방어를 끝나지 않는 과정으로 보고, 새 공격 피드백을 GRPO 기반 최적화로 점진 반영하면서 마진 가중 경험 재생(margin-weighted experience replay)으로 이전 공격 유형에 대한 방어력을 유지합니다. 기존 방식 대비 공격 성공률은 최대 6.3배 줄고 범용 능력은 유지됐습니다.

💡안정성과 가소성의 딜레마를 보안 도메인에서 정면으로 다룬 사례입니다. 프로덕션 LLM 게이트웨이나 에이전트 안전장치를 '재학습 없이 방어만 누적'으로 설계할 근거가 됩니다.

원문 →#continual-learning#prompt-injection#security#grpo#experience-replay

어댑터를 계속 쌓다 결국 하나로 합치는 3단 지속학습 파이프라인

새 취약점 유형이 순차로 도착하는 스마트컨트랙트 탐지를 지속학습으로 푼 연구입니다. 세 문제가 사슬처럼 이어집니다. 전체 재학습은 비용상 불가, 공유 백본 위 어댑터 학습은 이전 지식 망각, 추론 시점엔 어떤 태스크인지 알 수 없어 늘어난 어댑터를 결국 합쳐야 합니다. FA-LoRA는 푸리에 영역에서 주파수별 중요도 게이트를 둬 학습 파라미터를 0.4%로 줄이고, FAR은 손실 동역학으로 샘플별 망각 위험을 추정해 재생하며, APPM이 전체 어댑터를 한 모델로 병합합니다.

💡순차 태스크 평균 Micro-F1 0.8022, 병합 후 0.8085로 태스크별 개별학습 상한의 2.7% 이내입니다. 병합 비용은 156밀리초, 런타임 추가 메모리는 없습니다.

원문 →#continual-learning#lora#parameter-efficient#model-merging#smart-contract

🧬

메타러닝

학습 환경을 새로 짓지 않고 플러그인 층으로 감싸 다시 씁니다

에이전트가 배우는 환경은 대개 사람이 손으로 짠 정적 자산이라, 에이전트가 구체적으로 뭘 못하는지 모르고 에이전트가 성장하면 곧 뒤처집니다. EnvHarness는 환경을 새로 만드는 대신 기존 정적 환경을 감싸는 프로그래머블 플러그인 층을 얹어, 내부 로직은 손대지 않고 환경의 행동만 재구성합니다. 표준 인터페이스로 붙어 도메인을 가리지 않고, 재구성된 환경이 원본 verifier를 그대로 유지해 보상 신호의 신뢰도를 깎지 않는 것이 설계의 핵심입니다.

💡짝을 이루는 EnvRigger가 에이전트 궤적만 관찰해 결함을 진단하고 표적 컴포넌트를 합성합니다. 4개 도메인 5개 벤치마크에서 홀드아웃 최대 +9.0점, 실행 스텝 9.8% 절감.

원문 →#meta-learning#agent-training#environment-design#reinforcement-learning#tooling

LayerNorm만 건드려 전체 재학습을 이긴 0.03% 테스트타임 적응

가상 스크리닝은 거대한 화합물 라이브러리에서 특정 단백질 포켓에 결합할 후보를 랭킹하는 신약개발의 핵심 단계입니다. DrugCLIP 계열은 성능을 더 올리려면 모델 전체를 재학습해야 해 표적별 맞춤화가 비용의 벽에 막혀 있었습니다. PETA는 이를 테스트타임 적응(test-time adaptation) 문제로 바꿔, 포켓 특화 negative를 생성하고 레퍼런스 리간드 쪽으로 임베딩을 mixup해 더 어려운 랭킹 과제를 만든 뒤, 무효 후보를 억제하는 랭킹 목적함수로 경량 적응을 지도합니다.

💡실제로 갱신한 파라미터는 LayerNorm뿐, 전체의 약 0.03%인데도 사전학습과 전체 재학습 베이스라인을 모두 앞섰습니다. 규모가 아니라 어디를 어떤 신호로 건드리느냐의 문제입니다.

원문 →#meta-learning#test-time-adaptation#parameter-efficient#drug-discovery#layernorm

이 호가 도움됐다면 공유해 주세요 — 빌더 한 명이 더 알게 됩니다.

📤 공유하기𝕏 @in f 💬✈B ✉