Boom na duże modele językowe nieuchronnie wprowadza na rynek nową, wyspecjalizowaną klasę procesorów – a często takie rozwiązania okazują się bardziej wydajne niż tradycyjne podejście do GPU.
SambaNova Systems, twórca takich procesorów i systemów na nich opartych, wprowadziła nową, trzecią generację procesorów AI o nazwie SN40L.
Źródło zdjęć tutaj i poniżej: SambaNova via EE Times
Jesienią 2022 roku firma wprowadziła na rynek chip SN30 oparty na unikalnej architekturze płytek sterowanych programowo, już wtedy w pełni świadoma trendu zwiększania wolumenów danych w sieciach neuronowych: chip otrzymał 640 MB pamięci podręcznej SRAM i został wyposażony w 1 TB pamięci RAM.
Rozwój ten stał się podstawą najnowszego SN40L. W związku z przejściem z technologii procesowej 7 nm firmy TSMC na bardziej zaawansowany proces 5 nm, programistom udało się zwiększyć liczbę rdzeni do 1040, ale ich architektura pozostała ta sama. Biorąc jednak pod uwagę możliwość rekonfiguracji, nie jest to wada.
Architektura płytek SambaNova składa się z płytek obliczeniowych PCU, płytek PMU SRAM, logiki sterującej i połączeń siatkowych
Układ SN40L składa się z dwóch dużych chipletów, które odpowiadają za 520 MB pamięci podręcznej SRAM, 1,5 TB pamięci DDR5 DRAM i 64 GB szybkiej pamięci HBM3. Ten ostatni został dodany do SN40L jako bufor pomiędzy ultraszybką pamięcią SRAM i stosunkowo wolną pamięcią DRAM. Powinno to poprawić wydajność chipa podczas pracy w trybie wnioskowania LLM. Aby efektywnie wykorzystać HBM3, stos oprogramowania SambaNova został odpowiednio zmodyfikowany.
Według SambaNova ośmioprocesorowy system oparty na SN40L będzie w stanie uruchomić i utrzymać model sieci neuronowej o naprawdę gigantycznych „wymiarach” – z 5 bilionami parametrów i głębokością zapytań przekraczającą 256 tys. W opisywanym modelu mówimy o zestawie modeli eksperckich z LLM Llama-2 w roli dyrygenta tej orkiestry.
Architektura z tradycyjnymi procesorami graficznymi wymagałaby 24 serwerów z 8 akceleratorami każdy, aby uruchomić ten sam model; jednakże model akceleratora nie jest określony.
Tak jak poprzednio, chipy SN40L i oparte na nich indywidualne węzły obliczeniowe nie będą dostarczane do klientów zewnętrznych. Spółka będzie w dalszym ciągu korzystać z modelu Dataflow-as-a-Service (DaaS), czyli rozszerzalnej platformy usług AI na zasadzie subskrypcji, która w ramach usługi obejmuje usługi instalacji, uruchomienia i zarządzania sprzętem. Jednak SN40L pojawi się w ramach tej usługi później, a zadebiutuje jako część usługi chmurowej SambaNova Suite.
Powiązane materiały:
Groq nazwał swoje czteroletnie chipy TSP AI idealnymi do wnioskowania LLM SambaNova dostarczy system DataScale AI nowej generacji do Narodowego Laboratorium Argonne SambaNova Systems wprowadziła drugą generację systemów DataScale AI – SN30 z 5 GB SRAM i 8 TB DRAM Intel pokazał eksperymentalny procesor RISC dla DARPA: 528 wątków na 8 rdzeniach + zintegrowana fotonika MTS rozbudowało światłowodowe linie komunikacyjne na Wyspę Russką
