Aby odsłonić tajemnicę sieci neuronowych typu „czarna skrzynka”, Uniwersytet Stanforda we współpracy z MIT i Princeton opracował Foundational Model Transparency Index (FMTI). Nowy system punktacji klasyfikuje 10 największych modeli sztucznej inteligencji na podstawie publicznie dostępnych informacji na ich temat. Wyniki są przygnębiające, nadzieję dają dopiero modele open source.
„Wraz ze wzrostem społecznego wpływu modeli sztucznej inteligencji spada ich przejrzystość, co odzwierciedla tajemnicę, która towarzyszyła poprzednim technologiom cyfrowym, takim jak sieci społecznościowe” – mówi współautor badania Sayash Kapoor. Zdaniem naukowców niska przejrzystość utrudnia „konsumentom zrozumienie ograniczeń modelu lub naprawienie wyrządzonej szkody”.
FMTI ocenia 10 największych modeli sztucznej inteligencji na podstawie 100 różnych kryteriów związanych z przejrzystością i otwartością. Obejmuje to na przykład ich strukturę, informacje, na podstawie których zostali przeszkoleni, oraz zapotrzebowanie na zasoby obliczeniowe. Uwzględniane są również zasady dotyczące wykorzystania modeli, ochrony danych i ograniczania ryzyka. Pełną listę wskaźników i metodologii można znaleźć w 110-stronicowym dokumencie towarzyszącym badaniu.
Źródło obrazu: Uniwersytet Stanforda, Centrum Badań nad Modelami Fundamentowymi
Przed opublikowaniem raportu badacze omówili wyniki testów z kadrą kierowniczą każdej firmy, dając im możliwość uzasadnionego „kwestionowania ocen, z którymi się nie zgadzają”. Jeśli zespół uznał argumenty twórców AI za przekonujące, oceny zostały skorygowane. Nawet biorąc pod uwagę tak zrównoważone podejście, średni wynik dla wszystkich modeli wyniósł zaledwie 37 punktów na 100 (37%). Na podstawie tego wyniku badacze doszli do wniosku, że żaden z dotychczasowych modeli nie zapewnia odpowiedniej przejrzystości.
Pierwsze miejsce z wynikiem 54% zajął model Llama 2 od Meta✴. Bloomz z Hugging Face uplasował się na drugim miejscu z 53%, a za nim uplasował się GPT-4 z OpenAI z 48%. „OpenAI, który ma w nazwie słowo „otwarty”, wyraźnie wykazał brak przejrzystości w odniesieniu do większości aspektów swojego flagowego modelu GPT-4” – skomentowali ten wynik badacze. Na czwartym miejscu z wynikiem 47% uplasował się model Stability Diffusion 2 firmy Stability AI. Pierwszą piątkę zamyka model PaLM2 firmy Google, na którym oparty jest chatbot Barda, z wynikiem 40%.
„Jedna z najgorętszych współczesnych debat politycznych na temat sztucznej inteligencji dotyczy tego, czy modele sztucznej inteligencji powinny być otwarte, czy zamknięte” – twierdzą naukowcy. Modele otwarte na ogół uzyskały wyższe oceny niż modele zamknięte. Model uważa się za „otwarty”, jeśli jego kod jest udostępniany publicznie jako oprogramowanie typu open source. Otwarte modele obejmują modele AI, takie jak Llama 2 i Bloomz, zamknięte obejmują GPT-4. Uniwersytet Stanforda zademonstrował zalety otwartych modeli, tworząc własny model sztucznej inteligencji Alpaca, oparty na otwartym kodzie źródłowym Llama z Meta✴.
Badacze mają nadzieję, że FMTI będzie miało pozytywny wpływ na politykę twórców AI i w przyszłości planują corocznie publikować ranking FTMI. Dziewięciu na dziesięciu uczestników rankingu dołączyło już wcześniej do inicjatyw rządu USA na rzecz odpowiedzialnego wykorzystania sztucznej inteligencji. FMTI może być dla nich dodatkowym czynnikiem motywującym do wywiązywania się ze swoich obowiązków.
Dane ratingowe FMTI mogą być również przydatne dla Unii Europejskiej przy opracowywaniu kolejnej edycji ustawy o sztucznej inteligencji. Naukowcy uważają, że zastosowanie nowego indeksu zapewni ustawodawcom większą jasność co do stanu sztucznej inteligencji i tego, co mogą potencjalnie zmienić poprzez regulacje.