OpenAI opóźnia się z publikacją najnowszej wersji swojego flagowego modelu sztucznej inteligencji, który będzie nosił nazwę GPT-5 i obecnie nosi nazwę kodową Orion. Firma robi to od 18 miesięcy, próbując osiągnąć zamierzony efekt, ale bezskutecznie – na całym świecie nie ma wystarczającej ilości danych, aby model był wystarczająco inteligentny – pisze „Wall Street Journal”.
OpenAI przeprowadziło co najmniej dwa duże cykle szkoleniowe, z których każde wymagało kilkumiesięcznego przetwarzania danych w celu ukończenia Oriona. Za każdym razem pojawiały się nowe problemy, a system nie zapewniał wyników, na jakie liczyli badacze. W swojej obecnej formie Orion radzi sobie lepiej niż istniejące systemy OpenAI, jednak zdaniem twórców nie jest na tyle zaawansowany, aby uzasadniać ogromne koszty utrzymania nowego modelu w sprawności. Same koszty obliczeniowe sześciomiesięcznej sesji szkoleniowej mogą kosztować około 500 milionów dolarów.
Dwa lata temu OpenAI i jego dyrektor generalny Sam Altman zrobili furorę wypuszczeniem ChatGPT. Wtedy wydawało się, że sztuczna inteligencja przeniknie wszystkie aspekty życia współczesnego człowieka i znacząco je usprawni. Analitycy prognozują, że w nadchodzących latach wydatki gigantów technologicznych na sztuczną inteligencję sięgną 1 biliona dolarów. Największa odpowiedzialność spoczywa na OpenAI, które dało początek boomowi AI.
Październikową rundę finansowania firmy wyceniono na 157 miliardów dolarów, między innymi dlatego, że Altman obiecał „znaczący krok naprzód” we wszystkich obszarach i wyzwaniach związanych z GPT-5. Od modelu oczekuje się dokonywania odkryć naukowych i łatwego wykonywania codziennych zadań człowieka, takich jak umawianie spotkań i rezerwacja biletów lotniczych. Badacze mają także nadzieję, że nauczy się wątpić we własną słuszność i rzadziej będzie miała „halucynacje” – przestanie z pewnością udzielać odpowiedzi, które nie są prawdziwe.
Jeśli założymy, że GPT-4 funkcjonuje na poziomie bystrego licealisty, to w określonych zadaniach GPT-5 można się spodziewać na poziomie doktora nauk ścisłych. Nie ma jednoznacznych kryteriów pozwalających określić, czy model nowej generacji zasługuje na miano GPT-5: systemy są testowane w zadaniach matematycznych i programistycznych, ale ostateczny werdykt badacze wydają na poziomie intuicyjnym, a tak się jeszcze nie stało. Mówią, że rozwój dużych modeli językowych to nie tylko nauka, ale także sztuka.
Modele są testowane podczas przebiegów szkoleniowych – długich okresów, podczas których wysyłane są do nich biliony tokenów, czyli fragmentów słów. Duże uruchomienie szkolenia może wymagać miesięcy centrów danych i dziesiątek tysięcy akceleratorów Nvidia AI. Według Altmana szkolenie GPT-4 kosztowało 100 milionów dolarów; oczekuje się, że szkolenie przyszłych modeli będzie kosztować ponad 1 miliard dolarów Nieudany start szkoleniowy jest nieco podobny do nieudanego testu rakietowego. Naukowcy starają się zmniejszyć prawdopodobieństwo takich awarii, przeprowadzając eksperymenty na mniejszą skalę – serie testowe przed eksperymentami na pełną skalę.
W połowie 2023 roku OpenAI przeprowadziło próbny trening, który stał się testem dla prawdopodobnej architektury Oriona – eksperyment nie przyniósł zbyt wielu rezultatów: stało się jasne, że szkolenie na pełną skalę trwałoby zbyt długo i było bardzo kosztowne. Wyniki projektu Arrakis pokazały, że utworzenie GPT-5 nie przebiegnie tak gładko, jak liczyli naukowcy. Zaczęli wprowadzać pewne zmiany techniczne, aby wzmocnić Oriona i doszli do wniosku, że potrzebna będzie duża ilość różnorodnych danych wysokiej jakości, a informacje z publicznego Internetu mogą nie wystarczyć.
Modele sztucznej inteligencji stają się coraz mądrzejsze, ponieważ zużywają duże ilości danych – zwykle książek, publikacji akademickich i innych wiarygodnych źródeł – które pomagają sztucznej inteligencji wyrażać się wyraźniej i radzić sobie z szerokim zakresem zadań. Trenując poprzednie modele, OpenAI nie zaniedbało innych źródeł, takich jak artykuły prasowe, a nawet posty w mediach społecznościowych. Aby jednak uczynić Oriona mądrzejszym, potrzebne są dodatkowe źródła danych, a one nie wystarczą. Następnie firma zdecydowała się na samodzielne utworzenie tych danych: zatrudniła ludzi do pisania kodu i rozwiązywania problemów matematycznych, które dostarczały szczegółowego wyjaśnienia ich działań. OpenAI zaangażowało fizyków teoretyków, aby przedstawili wyjaśnienia dotyczące sposobu podejścia do rozwiązywania najtrudniejszych problemów w swojej dziedzinie.
Proces jest niezwykle powolny. GPT-4 został wytrenowany na 13 bilionach tokenów – dla porównania, tysiąc osób piszących pięć tysięcy znaków dziennie wygenerowałoby miliard tokenów w ciągu kilku miesięcy. Dlatego OpenAI zaczęło opracowywać dane syntetyczne, namawiając inne systemy AI do generowania danych w celu szkolenia nowej sztucznej inteligencji. Badania wykazały jednak, że pętle sprzężenia zwrotnego między generowaniem danych AI a sztuczną inteligencją stwarzają ryzyko niepowodzeń lub bezsensownych reakcji. Aby wyeliminować ten problem generowanie danych powierzono innemu modelowi – o1.
Na początku 2024 r. kierownictwo OpenAI zaczęło zdawać sobie sprawę, że terminy uciekają. GPT-4 ma rok, konkurenci zaczęli go doganiać, a nowy model Anthropic, według niektórych szacunków, go przekroczył. Projekt Orion utknął w martwym punkcie, a OpenAI musiało przejść na inne projekty i aplikacje: wypuszczono lekką wersję GPT-4 i generator wideo Sora. W rezultacie powstała wewnętrzna konkurencja – twórcy Oriona i innych produktów rywalizowali o ograniczone zasoby obliczeniowe.
Konkurencja wśród twórców sztucznej inteligencji stała się tak zacięta, że duże firmy technologiczne publikują mniej artykułów na temat najnowszych odkryć lub przełomów, niż jest to zwyczajowo przyjęte w środowisku naukowym. Na rynek zalały pieniądze, a korporacje zaczęły postrzegać wyniki badań jako tajemnice handlowe, które należy chronić. Doszło do tego, że badacze przestali pracować w samolotach, kawiarniach i innych miejscach publicznych, gdzie ktoś mógł zaglądać im przez ramię.
Na początku 2024 r. OpenAI przygotowało się do kolejnej próby wystrzelenia Oriona, uzbrojone w lepszy zestaw danych. W ciągu pierwszych kilku miesięcy roku badacze przeprowadzili kilka małych szkoleń, aby dowiedzieć się, gdzie dalej pracować. W maju zdecydowali, że są gotowi przeprowadzić zakrojony na szeroką skalę start Oriona, który miał trwać do listopada. Jednak już na początku pojawił się problem z danymi: były one mniej zróżnicowane, niż oczekiwano, co ograniczało potencjalną jakość szkolenia w zakresie sztucznej inteligencji. Problem nie pojawił się w projektach próbnych i stał się widoczny dopiero po rozpoczęciu dużej premiery – ale do tego czasu OpenAI wydało zbyt dużo czasu i pieniędzy, aby zaczynać od nowa. Naukowcy próbowali znaleźć szerszy zakres danych, które mogłyby zasilać model podczas uczenia, ale nadal nie jest jasne, czy strategia ta okazała się owocna.
Trudności z Orionem wskazały OpenAI na nowe podejście do uczynienia dużych modeli językowych inteligentniejszymi – rozumowanie. Zdolność rozumowania pomaga sztucznej inteligencji rozwiązywać złożone problemy, do rozwiązywania których nie została przeszkolona. Tak działa model OpenAI o1 – generuje kilka odpowiedzi na każde pytanie i analizuje je w poszukiwaniu najlepszej. Ale co do tego nie ma jeszcze pewności: według badaczy Apple’a modele „rozumujące” prawdopodobnie jedynie interpretują dane otrzymane podczas treningu, ale tak naprawdę nie rozwiązują nowych problemów. Na przykład, jeśli wprowadzisz drobne zmiany w warunkach pierwotnego problemu, które nie mają znaczenia dla jego rozwiązania, jakość reakcji AI gwałtownie spada.
Ta dodatkowa inteligencja ma swoją cenę: OpenAI musi zapłacić, aby wygenerować wiele odpowiedzi, a nie tylko jedną. „Okazuje się, że jeśli bot myśli tylko przez 20 sekund podczas gry w pokera, koszt wzrasta tak samo, jak gdyby model powiększył się 100 000 razy i trenował 100 000 razy dłużej” – powiedział Noam Brown, badacz OpenAI. Orion mógłby opierać się na bardziej zaawansowanym i wydajnym modelu zdolnym do rozumowania. Badacze firmy podążają za tym podejściem i mają nadzieję połączyć je z dużą ilością danych, z których część może pochodzić z innych modeli sztucznej inteligencji stworzonych przez OpenAI. Następnie rezultaty jej pracy zostaną dopracowane na materiale stworzonym przez ludzi.
