어떤 두 개를 비교할지 고른다, 스완지대 등 베이지안 순위 추정

쌍대 비교 판정(comparative judgement)은 두 항목씩 비교해 순위를 매기는 평가로, 판정 횟수가 곧 비용입니다. 스완지대·러프버러대 등 영국 연구팀은 순위 불확실성을 재는 베이지안 Bradley-Terry 모델을 만들고, 다음에 비교할 쌍을 고르는 액티브러닝(active learning) 전략 3종을 제안했습니다. 저·중 노이즈에선 쌍별 엔트로피 선택이, 최고 노이즈에선 사후 분리도 전략이 가장 좋았고, 중간 노이즈에서 결과 30%를 무작위로 바꿔도 성능 영향이 작았습니다.