Trzy wiodące firmy zajmujące się sztuczną inteligencją odnotowały zauważalny spadek zysków z kosztownych wysiłków na rzecz opracowania nowych systemów sztucznej inteligencji. Nowy model OpenAI, znany jako Orion, nie osiągnął oczekiwanej przez firmę wydajności, nadchodząca iteracja Google Gemini nie spełnia oczekiwań, a firma Anthropic boryka się z opóźnieniami w harmonogramie dla swojego modelu Claude, zwanego 3.5 Opus.
Po latach wydawania coraz bardziej złożonych produktów AI trzy wiodące firmy w branży odnotowują malejące zyski z kosztownych wysiłków na rzecz tworzenia nowych modeli. Coraz trudniej jest znaleźć świeże, niewykorzystane źródła danych wysokiej jakości do szkolenia bardziej zaawansowanych systemów sztucznej inteligencji. A obecne bardzo skromne ulepszenia nie wystarczą, aby zrekompensować ogromne koszty związane z tworzeniem i eksploatacją nowych modeli, a także spełnić oczekiwania związane z wypuszczeniem nowych produktów.
Tym samym OpenAI stwierdziło, że jest o krok od ważnego kamienia milowego. We wrześniu zakończono wstępną rundę szkolenia dotyczącego nowego, wielkoskalowego modelu Oriona, który miał zbliżyć się do stworzenia potężnej sztucznej inteligencji, która byłaby w stanie przewyższyć ludzi. Jednak według poinformowanych źródeł oczekiwania firmy nie zostały spełnione. Orion nie był w stanie wykazać przełomu, jaki wykazał wcześniej model GPT-4 w porównaniu z GPT-3.5.
Firma Anthropic, podobnie jak jej konkurenci, stanęła przed wyzwaniami podczas opracowywania i szkolenia 3.5 Opus. Według wtajemniczonych model 3.5 Opus spisał się lepiej od starej wersji, ale nie tak znacząco, jak oczekiwano, biorąc pod uwagę wielkość modelu oraz koszty jego stworzenia i wprowadzenia na rynek.
Kwestie te podważają panujący w Dolinie Krzemowej pogląd na temat skalowalności sztucznej inteligencji. Zwolennicy globalnej sztucznej inteligencji muszą przyznać, że większa moc obliczeniowa, więcej danych i większe modele nie torują jeszcze drogi przełomom technologicznym w dziedzinie sztucznej inteligencji.
Eksperci mają uzasadnione wątpliwości co do zwrotu z inwestycji w sztuczną inteligencję i nadrzędnego celu, do którego dążą twórcy modeli sztucznej inteligencji: sztucznej inteligencji ogólnej (AGI). Termin ten jest zwykle stosowany do hipotetycznych systemów sztucznej inteligencji, które mogą dorównać lub przewyższyć ludzi w większości inteligentnych zadań. Dyrektorzy OpenAI i Anthropic powiedzieli wcześniej, że wprowadzenie AGI może zająć kilka lat.
Technologia stojąca za ChatGPT i konkurencyjnymi chatbotami AI została stworzona przy użyciu danych z mediów społecznościowych, komentarzy online, książek i innych źródeł internetowych. Dane te wystarczą do stworzenia produktów generujących zastępcze eseje i wiersze, ale opracowanie systemów sztucznej inteligencji, które przewyższą inteligencję laureatów Nagrody Nobla – jak mają nadzieję niektóre firmy – może wymagać innych źródeł danych poza postami w Wikipedii i napisami w YouTube.
OpenAI zostało zmuszone do zawarcia porozumień z wydawcami, aby zaspokoić przynajmniej część zapotrzebowania na dane wysokiej jakości, a jednocześnie dostosować się do rosnącej presji prawnej ze strony właścicieli praw autorskich do treści wykorzystywanych do szkolenia sztucznej inteligencji. Na rynku pracy istnieje duże zapotrzebowanie na specjalistów z wyższym wykształceniem, którzy potrafią oznaczyć dane związane z ich obszarem kompetencji. Pomaga to zwiększyć skuteczność wytrenowanych systemów sztucznej inteligencji w odpowiadaniu na zapytania.
Takie wysiłki są droższe i wymagają o rząd wielkości więcej czasu niż zwykłe indeksowanie Internetu. Dlatego firmy technologiczne zwracają się w stronę danych syntetycznych, takich jak obrazy generowane komputerowo lub tekst imitujący treści generowane przez człowieka. Podejście to ma jednak swoje ograniczenia, gdyż przy wykorzystaniu takich danych do szkolenia AI trudno jest osiągnąć poprawę jakościową.
Jednak firmy zajmujące się sztuczną inteligencją w dalszym ciągu kierują się zasadą „większe jest lepsze”. Starając się tworzyć produkty zbliżone do ludzkiej inteligencji, firmy technologiczne zwiększają ilość mocy obliczeniowej, danych i czasu spędzanego na szkoleniu nowych modeli, co podnosi koszty. Dyrektor generalny Anthropic, Dario Amodei, powiedział, że firmy wydadzą w tym roku 100 milionów dolarów na szkolenie najnowszych modeli, a liczba ta może osiągnąć 100 miliardów dolarów w nadchodzących latach.
Z pewnością istnieje potencjał ulepszenia modeli sztucznej inteligencji wykraczający poza skalowanie. Na przykład w przypadku nowego modelu Oriona OpenAI wykorzystuje miesięczny proces szkolenia poszkoleniowego. Procedura ta polega na wykorzystaniu informacji zwrotnych od ludzi w celu poprawy reakcji i udoskonalenia „emocjonalnego tonu” interakcji z użytkownikami.
Twórcy modeli AI stają przed wyborem: albo zaoferować stare modele z dodatkowymi ulepszeniami, albo wypuścić niezwykle drogie nowe wersje, które mogą nie działać dużo lepiej. Wraz ze wzrostem kosztów rosną także oczekiwania — szybki postęp w dziedzinie sztucznej inteligencji w powijakach stworzył wysokie oczekiwania zarówno wśród praktyków, jak i inwestorów.
