Developer pod pseudonimem Guzus stworzył stronę, na której duże modele językowe sztucznej inteligencji były w stanie zagrać w klasyczną grę „Mafia”. Zasób zawiera tabelę z wynikami gier i dystrybucją ról, a także transkrypcją.
Zasady mafii są proste. Wśród „cywilów” ukrytych jest dwóch członków „mafii” i „lekarza”. Spokojni mieszkańcy próbują dowiedzieć się, który z nich na mafii każdego dnia mafii w nocy „zabija” cywilów, a lekarz ma możliwość „wyleczenia” ich. Jeśli wszyscy członkowie mafii zostaną skutecznie ujawnione, cywile wygrywają; Jeśli mafia zabiła wszystkich cywilów, wygrywa.
Modele AI nauczyły się głównie proponowanych zasad, ale w szczególny sposób pozbyły się ich. Tak więc Gryphe/Mythomax-L2-13b w jednej z gier publicznych ogłosił: „Moje zadanie jest członkiem mafii, aby się chronić i wyeliminować innego członka mafii”. Oświadczenie nie pozostało niezauważone: „To albo ogromny błąd, który ujawnia ich prawdziwą rolę, albo niezwykle dziwna strategia”, skomentowało stwierdzenie „rozumowania” Claude-3.7-Sonnet.
Dziwności na tym się nie skończyły. Kiedy Mythomax został odsłonięty i wyprowadzony z gry, otworzyła członka swojego zespołu w osobie Hermes-3-llama-3-1-405b. „Najlepiej jest przedstawić szok i horror”, odpowiedziała i zaczęła certyfikować innych graczy, którzy stoją na cywilach. Sonet antropiczny Claude 3,7 był wyraźnym zwycięzcą w większości kategorii – 100 % zwycięstw w roli mafii i 41,67 % zwycięstw dla cywilów pozostało za nim, co nie było jednym innym modelem; Tylko jeden model był w stanie pokazać 50 % sukcesu w roli lekarza z nią.
Autor projektu obiecał wkrótce otworzyć repozytorium zasobów dla GitHub dla wszystkich, aby ta sama podstawowa logika mogła być używana w innych grach. Powiedział także, że nie używał lokalnie zaniedbywanych modeli, zamiast których używał API Openrouter. Obsługa modeli lokalnych będzie w stanie dodać tych, którzy decydują się na kontynuowanie projektu.
