
라벨 한 건 없이 학습한 1B 검색기가 9B 모델을 앞섰습니다
#폴란드 국립정보처리연구소 계열 연구진이 사람이 붙인 관련성 라벨을 한 건도 쓰지 않고 경량 검색기를 학습시켰습니다. 강한 임베딩 모델과 리랭커를 교사로 세워 그 출력만으로 감독 신호를 만들고, 교차언어 정렬 → 관계형 지식증류 → 대조 파인튜닝 3단계로 학습합니다. 결과물은 폴란드어 6종 PolDense(17M~1B)와 유럽 9개 언어용 EuroDense(435M)입니다. 폴란드어 41개·다국어 150개 검색 태스크 평가에서 PolDense-1B는 최대 9B 파라미터 모델을 앞섰고, 1B 미만 구간에서는 EuroDense가 태스크·언어 평균 모두 1위이자 9개 언어 중 7개에서 선두였습니다. 모델은 전부 공개됐습니다.
💡저자원 언어 검색기는 라벨을 모으는 대신 강한 교사 모델의 출력을 증류하는 쪽이 빠릅니다 — 한국어에도 그대로 이식되는 레시피입니다.






