본문으로 건너뛰기
← 최신 피드
외부 데이터 없이 장문 추론을 키운다, 칭화대 LongZero
ai model🔁 자가교정#41 · 2026. 10. 23.

외부 데이터 없이 장문 추론을 키운다, 칭화대 LongZero

장문 맥락(long-context) 추론 강화학습에는 길고 검증 가능한 데이터가 필요한데, 기존 합성법은 외부 코퍼스나 더 강한 교사 모델에 기댑니다. 칭화대 연구팀의 LongZero는 모델이 먼저 질문·답·근거를 짧게 만든 뒤 근거를 긴 다중 문서로 확장해 스스로 문제를 출제합니다. 일관되게 못 맞히는 문제만 남겨 GRPO로 학습하자 Qwen3-4B-Thinking·Qwen3-8B가 5개 벤치마크 평균 최고점을 냈고, 397B 교사가 쓴 문제로 한 RL보다도 앞섰습니다.

같은 날 발행된 호 · 2026-10-23