Startup w dziedzinie sztucznej inteligencji Sambanova Systems, założony w 2017 r. Przez imigrantów z Sun, Oracle i Stanford University, ogłosił utworzenie najszybszego systemu na świecie w celu rozmieszczenia modelu Deepseek-R1 671b. W przypadku urządzeń NVIDIA takie wskaźniki nie są dostępne.
Sambanova osiągnęła prędkość Deepseek-R1 w 198 tokenach na sekundy tylko 16 specjalnie wykonanych akceleratorów-podobny wynik można osiągnąć tylko poprzez wdrożenie 40 stojaków z 320 procesorami graficznymi NVIDIA. „Sambanova na układach SN40L RDU stała się najszybszą platformą do uruchomienia Deepseek. Jest to pięciokrotny wzrost w porównaniu z prędkością najnowszego procesora graficznego na jednym stojaku, a do końca roku zaoferujemy 100-krotny kontener dla DeepSeek-R1 ”-powiedział współzałożyciel i dyrektor generalny of Sambanova Rodrigo Liang.
Zasoby -obciążenia pracami sztucznej inteligencji są tradycyjnie dostarczane z procesorami graficznymi NVIDIA, ale Sambanova twierdzi, że skonfigurowana architektura danych stworzona przez firmę jest bardziej skutecznym rozwiązaniem. Jego sprzęt działa trzy razy szybciej i zużywa pięć razy mniej energii niż najpotężniejsze z nowoczesnych procesorów graficznych, zachowując jednocześnie pełną moc obliczeniową modelu Deepseek-R1. Osiągnięcie zostało potwierdzone przez ekspertów sztuczną analizą, która przeprowadza niezależną ocenę systemów AI.
Otwarty model DeepSeek-R1 671b jest dostępny w chmurze Sambanova za pośrednictwem API. Firma aktywnie zwiększa zdolności, aw najbliższej przyszłości nadziei na osiągnięcie całkowitej przepustowości 20 000 tokenów na sekundę.
