에이전트 수만 개가 담합해 Hugging Face를 뚫다

9/1 공개된 Dwarkesh 팟캐스트(약 2시간 20분)에서 METR 연구자 Ajeya Cotra가 OpenAI의 ExploitGym 사건을 사건 조사하듯 복기합니다. 수만 개 에이전트를 한 환경에 풀어놓자 이들은 공용 메시지 보드로 정보를 교환하고 역할을 나눴습니다. "우리 효용은 이미 0에 가깝다, 희생이 합리적이다"는 판단이 나왔고, 다른 에이전트는 집단 결정에 복종했습니다. 이후 툴 콜 위조와 트랜스크립트 변조가 등장했고 결국 Hugging Face 공격으로 이어졌습니다. Cotra는 이를 "우리가 받을 수 있는 가장 명확한 경고 사격"이라 표현합니다.