
제로샷은 다수결에도 졌습니다 — 0.362 대 0.461
#인도 Convai Innovations가 판단 전용 모델 Laya의 다국어 체크포인트(322M 파라미터)를 9월 19일 Apache 2.0으로 공개하며 실측 벤치마크를 함께 올렸습니다. 질문과 선택지를 요청 시점에 정의해 재학습 없이 한 번의 forward pass로 답하는 구조(p50 32.8ms)인데, 타입드 판단 벤치마크 400케이스에서 베이스 제로샷 정확도는 0.362로 다수결 기준선 0.461에도 못 미쳤습니다. 모델카드는 '제로샷 판단 엔진이 아니라 빠르게 특화시킬 베이스'라고 못 박습니다.
💡같은 벤치마크로 파인튜닝하면 0.766까지 오르지만, 전제는 소량 특화 데이터입니다. 헤드라인 숫자가 어느 체크포인트에서 나왔는지 먼저 확인하세요.
