Duże modele językowe sztucznej inteligencji wymagają znacznych zasobów nie tylko podczas szkolenia, ale także podczas uruchamiania – potrzebne są znaczne ilości RAM i potężne procesory graficzne. Alternatywą oferowali twórcy EXO – bezpłatny program rozproszonego uruchomienia sztucznej inteligencji na kilku urządzeniach. Prawie jak torrenty, tylko do uruchomienia sztucznej inteligencji.
Aplikacja pozwala łączyć zasoby obliczeniowe kilku komputerów, smartfonów, a nawet jednego komputery, w tym Raspberry Pi, aby uruchomić modele, z którymi żaden z systemów do dyspozycji użytkownika nie byłby zarządzany niezależnie. Zasoby urządzeń są łączone przez jedną sieć.
EXO dynamicznie rozkłada obciążenie utworzone przez duży model językowy, zgodnie z urządzeniami dostępnymi w sieci, umieszczając swoje warstwy na podstawie przystępnej ilości pamięci RAM i dostępnej mocy obliczeniowej. Wspierał Lamę, Mistral, Llava, Qwen i Deepseek. Program jest instalowany na urządzeniach z Linux, MacOS, Android lub iOS – nie ma jeszcze wersji dla systemu Windows. Operacje EXO wymagają minimalnej wersji Python 3.12.0, aw przypadku maszyn Linux z grafiką NVIDIA, szereg innych komponentów.
Model AI, wymagający 16 GB pamięci RAM, można uruchomić na dwóch laptopach od 8 GB na każdy; A potężny Deepseek R1, który wymaga 1,3 TB pamięci, można wprowadzić teoretycznie na klastrze 170 Raspberry Pi 5 z 8 GB. Szybkość i opóźnienie sieci mogą zmniejszyć jakość modelu, a programiści EXO ostrzegają, że urządzenia o niskiej wydajności są w stanie spowolnić AI, ale przy każdym urządzeniu dodanym w sieci wzrasta ogólna wydajność. Musisz także zapomnieć o zagrożeniach bezpieczeństwa, które nieuchronnie powstają podczas wspólnego wykonywania obciążeń roboczych na kilku maszynach. A nawet biorąc pod uwagę te zastrzeżenia EXO, wydaje się, że jest to obiecująca alternatywa dla zasobów w chmurze.
