선호 라벨 500쌍으로 5만 건에 라벨을 번집니다 — 예산 50~100배와 대등

웁살라대학교 연구팀이 선호(preference) 라벨 500쌍 이하로 경량 선형 프로브를 학습시켜 5만 건 이상의 미라벨 데이터에 선호 라벨을 자동 전파하고, 그 데이터로 DPO 계열 선호 최적화를 수행하는 저라벨 적응 기법을 공개했습니다. 활성값 군집 분석으로 정렬된 LLM이 비주류 집단의 선호에서는 오히려 판단자로서 나쁘다는 점도 함께 보였습니다. 같은 라벨링 예산에서 직접 학습보다 일관되게 우수했고, 라벨을 50~100배 더 쓴 베이스라인과도 대부분 설정에서 대등했습니다.