Oddział AWS amerykańskiego giganta internetowego Amazon od dawna jest jednym z największych graczy na rynku usług chmurowych. Jest mocno uzależniona od komponentów i oprogramowania Nvidii, ale jednocześnie rozwija własną infrastrukturę, korzystając z osiągnięć Annapurna Labs, zakupionego w 2015 roku za 350 mln dolarów.
Jak donosi „Financial Times”, w przyszłym miesiącu firma ma zaprezentować publicznie swoje akceleratory Trainium 2, które radzą sobie ze szkoleniem dużych modeli językowych. Próbki tych akceleratorów wykorzystuje już startup Anthropic, w który Amazon zainwestował 4 miliardy dolarów. Do klientów Amazona w tym obszarze zaliczają się także Databricks, Deutsche Telekom, Ricoh i Stockmark.
Wiceprezes AWS ds. usług obliczeniowych i sieciowych Dave Brown powiedział: „Chcemy być absolutnie najlepszym miejscem do obsługi Nvidii, ale jednocześnie uważamy, że dobrze jest mieć alternatywę”. Już teraz akceleratory z rodziny Inferentia są o 40% tańsze od rozwiązań Nvidii przy generowaniu odpowiedzi z modeli AI. Jeśli chodzi o wydawanie dziesiątek milionów dolarów, oszczędności te mogą mieć kluczowe znaczenie przy wyborze platformy obliczeniowej.
Do końca tego roku nakłady inwestycyjne Amazona mogą sięgnąć 75 miliardów dolarów, a w przyszłym roku będą jeszcze wyższe. W ubiegłym roku zostały one ograniczone do 48,4 miliarda dolarów, a wielkość podwyżki pokazuje, jak ważne dla firmy jest finansowanie swojej infrastruktury w kontekście szybkiego rozwoju rynku systemów AI. Eksperci Grupy Futurum wyjaśniają, że duzi dostawcy usług chmurowych dążą do stworzenia własnej, zintegrowanej pionowo i jednorodnej struktury stosowanych chipów. Większość z nich dąży do opracowania własnych chipów do akceleratorów obliczeniowych, co pozwala im obniżyć koszty, zwiększyć zyski, a także wzmocnić kontrolę nad dostępnością chipów i ogólnie rozwojem biznesu. „Nie chodzi tu tyle o chip, ale o system jako całość” – wyjaśnia Rami Sinno, dyrektor ds. rozwoju w Annapurna Labs. Niewiele firm jest w stanie powtórzyć to, co robi Amazon na dużą skalę, powiedział.
Zastrzeżone chipy pozwalają Amazonowi zużywać mniej energii i poprawiać wydajność własnych centrów danych. TechInsights porównuje chipy Nvidii do kombi, natomiast własne rozwiązania Amazona przypominają mniejsze hatchbacki przeznaczone do wykonywania wąskiego zakresu zadań. Amazonowi nie spieszy się z udostępnianiem danych na temat testów wydajności swoich akceleratorów, ale z dostępnych danych wynika, że chipy Trainium 2 mają być czterokrotnie szybsze od swoich poprzedników. Samo pojawienie się alternatyw dla rozwiązań Nvidii może już zostać wysoko ocenione przez klientów AWS.
