Chińska firma 01.ai opracowała konkurencyjny model sztucznej inteligencji Yi-Lightning, o którym mówi się, że ma możliwości podobne do GPT-4. Jednak, co zaskakujące, wymagało ono zaledwie 2000 jednostek przetwarzania grafiki (GPU) i kosztowało zaledwie 3 miliony dolarów, podczas gdy OpenAI wydało około 100 milionów dolarów na wyszkolenie swojego modelu, podaje Tom’s Hardware.
Osiągnięcie 01.ai jest szczególnie godne uwagi, biorąc pod uwagę ograniczony dostęp chińskich firm do zaawansowanych procesorów graficznych Nvidia. Założyciel i dyrektor generalny firmy, Kai-Fu Lee, zwraca uwagę, że pomimo tego, że chińskie firmy praktycznie nie mają dostępu do procesorów graficznych Nvidia ze względu na amerykańskie przepisy, model AI Yi-Lightninga zajął szóste miejsce w modelach rankingów wydajności według wersji LMSIS Uniwersytetu Kalifornijskiego w Berkeley.
„Moi przyjaciele z Doliny Krzemowej są zszokowani nie tylko naszym występem, ale także faktem, że wyszkoliliśmy modelkę za jedyne 3 miliony dolarów” – powiedział Kai-Fu Lee. „Krążą pogłoski, że w szkolenie GPT-5 zainwestowano już około 1 miliarda dolarów”. Dodał też, że w związku z amerykańskimi sankcjami firmy w Chinach zmuszone są szukać bardziej wydajnych i opłacalnych rozwiązań, co udało się osiągnąć 01.ai optymalizując zasoby i pomysły inżynieryjne, uzyskując jednocześnie wyniki podobne do GPT-4 przy znacznie niższych kosztach.
Zamiast zwiększać moc obliczeniową tak, jak robią to konkurenci, firma skupiła się na optymalizacji algorytmów i eliminowaniu wąskich gardeł przetwarzania. „Kiedy mamy tylko 2000 procesorów graficznych, musimy wymyślić, jak je [efektywnie] wykorzystać” – powiedział Lee.
W rezultacie koszty produkcji modelu wyniosły zaledwie 10 centów za milion tokenów, czyli około 30 razy mniej niż w przypadku podobnych modeli. „Zamieniliśmy problem obliczeniowy w problem z pamięcią, budując wielopoziomową pamięć podręczną, tworząc specjalny silnik wnioskowania i tak dalej” – Li podzielił się szczegółami.
Pomimo twierdzeń o niskim koszcie wyszkolenia modelu Yi-Lightning, pozostają pytania dotyczące rodzaju i liczby zastosowanych procesorów graficznych. Szef 01.ai twierdzi, że firma ma wystarczające środki, aby zrealizować swoje plany na półtora roku, ale z prostej kalkulacji wynika, że 2000 nowoczesnych procesorów graficznych Nvidia H100 przy obecnej cenie 30 000 dolarów za sztukę kosztowałoby 6 milionów dolarów, czyli podwoić podane koszty. Rozbieżność ta rodzi pytania i wymaga dalszego wyjaśnienia. Jednak osiągnięcie firmy przyciągnęło już uwagę społeczności światowej i pokazało, że innowacje w dziedzinie AI mogą narodzić się nawet w warunkach ograniczonych zasobów obliczeniowych.
