Wśród amerykańskich gigantów IT zrodziła się nowa rozrywka – rywalizacja o to, kto ma największe klastry i największe zaufanie do wyższości swoich możliwości w zakresie szkolenia dużych modeli językowych AI. Dopiero niedawno szef Tesli Elon Musk pochwalił się zakończeniem montażu superkomputera xAI Colossus ze 100 tys. akceleratorów Nvidia H100 do treningu AI, a także wykorzystaniem przez szefa działu AI ponad 100 tys. tych samych akceleratorów AI Meta✴ Marka Zuckerberga.
Szef Meta✴ zauważył, że wspomniany system służy do uczenia dużego modelu językowego nowej generacji Llama 4. Ten LLM jest szkolony „w klastrze, który wykorzystuje ponad 100 000 procesorów AI GPU H100, a to więcej niż cokolwiek, co mam widać w raportach na temat tego, co robią inni” – powiedział Zuckerberg. Nie podzielił się szczegółami na temat tego, co dokładnie Llama 4 potrafi już zrobić, jednak, jak pisze Wired, cytując wypowiedź szefa Meta✴, ich model AI zyskał „nowe modalności”, „staje się silniejszy w rozumowaniu” i „znacznie szybszy”. ”
Tym komentarzem Zuckerberg wyraźnie chciał wkurzyć Muska, który wcześniej stwierdził, że jego supergromada xAI Colossus wykorzystuje 100 tys. akceleratorów Nvidia H100 do szkolenia modelu AI Grok. Musk powiedział później, że liczba akceleratorów w xAI Colossus zostanie w przyszłości potrojona. Meta✴ oświadczyła również wcześniej, że do końca tego roku planuje otrzymać akceleratory AI odpowiadające ponad pół milionowi H100. Tym samym firma Zuckerberga posiada już znaczną ilość sprzętu do szkolenia swoich modeli AI, a będzie ich więcej.
Meta✴ przyjmuje unikalne podejście do dystrybucji swoich modeli Lamy – czyni je całkowicie darmowymi, umożliwiając innym badaczom, firmom i organizacjom tworzenie na ich podstawie nowych produktów. To odróżnia go od tego samego GPT-4o od OpenAI i Gemini od Google, które są dostępne tylko poprzez API. Jednakże Meta✴ nakłada pewne ograniczenia na licencję Lamy, takie jak wykorzystanie komercyjne. Poza tym firma nie zdradza dokładnie, w jaki sposób szkolone są jej modele. W przeciwnym razie modele Lamy mają charakter „open source”.
Biorąc pod uwagę podaną liczbę akceleratorów wykorzystywanych do uczenia modeli AI, pojawia się pytanie: ile prądu to wszystko wymaga? Jeden wyspecjalizowany akcelerator może zużyć do 3,7 MWh energii rocznie. Oznacza to, że 100 tysięcy tych akceleratorów zużyje co najmniej 370 GWh energii elektrycznej – co wystarczy, aby dostarczyć energię do ponad 34 milionów przeciętnych amerykańskich gospodarstw domowych. Jak firmy wydobywają całą tę energię? Według samego Zuckerberga z czasem dziedzina sztucznej inteligencji stanie w obliczu ograniczeń w zakresie dostępnej mocy energetycznej.
Na przykład firma Elona Muska wykorzystuje kilka ogromnych generatorów mobilnych do zasilania supergromady składającej się ze 100 000 akceleratorów zlokalizowanej w budynku o powierzchni ponad 7 000 m2 w Memphis w stanie Tennessee. Google może nie osiągnąć swoich celów w zakresie emisji dwutlenku węgla, ponieważ od 2019 r. zwiększył emisję gazów cieplarnianych ze swoich centrów danych o 48%. Na tym tle były dyrektor generalny Google zasugerował nawet, aby Stany Zjednoczone porzuciły swoje cele klimatyczne, pozwalając firmom AI działać na pełnych obrotach, a następnie wykorzystywać opracowane technologie AI do rozwiązania kryzysu klimatycznego.
Meta✴ unikała odpowiedzi na pytanie, w jaki sposób firmie udało się zasilić tak gigantyczny klaster obliczeniowy. Konieczność dostarczenia rosnącej ilości energii wykorzystywanej przez sztuczną inteligencję zmusiła tych samych gigantów technologicznych Amazon, Oracle, Microsoft i Google do skierowania się w stronę energii jądrowej. Niektórzy inwestują w rozwój małych reaktorów jądrowych, inni podpisali kontrakty na ponowne uruchomienie starych elektrowni jądrowych w celu zaspokojenia rosnących potrzeb energetycznych.
Źródła:
Sprzęt Toma przewodowy Wieczorne 3DNews W każdy dzień powszedni wysyłamy podsumowanie wiadomości bez zbędnych bajerów i reklam. Dwie minuty na przeczytanie – i jesteś świadomy głównych wydarzeń. Powiązane materiały Plany Meta✴ dotyczące zwiększenia wydatków na infrastrukturę AI doprowadziły do spadku akcji Elon Musk zamierza podwoić wartość startupu AI xAI do 45 miliardów dolarów dzięki inwestorom z Bliskiego Wschodu Wyścig AI jest bardzo kosztowny dla Microsoftu, Google’a i innych gigantów IT – niepokoją się inwestorzy Drogie chipy AI szybko się zużywają – procesory graficzne AMD i Nvidia wytrzymują tylko 1-3 lata Meta✴ przyznała, że wszystkie zdjęcia zrobione przez użytkowników inteligentnych okularów Ray-Ban wykorzysta do trenowania sztucznej inteligencji Elon Musk po raz kolejny oszukał właścicieli Tesli – samochody do 2023 roku nie będą miały pełnego autopilota
