AMD opublikowało instrukcje dotyczące lokalnego uruchomienia modelu Advanced Deepseek R1 AI z możliwością refleksji na komputerach użytkownika. To prawda, że na procesorze Ryzen z AI ACELERART (NPU) XDNA lub komputerem z kartą wideo Radeon Rx 7000.
Twierdzi się, że dopiero niedawno przedstawiono „wysoce skuteczną” małą wersję modelu AI Deepseek R1, który jest wystarczająco kompaktowy, aby pracować nad sprzętem konsumenckim. Warto zauważyć, że ogólnie modele Deepseek różnią się w małych żółtych żądaniach na przykład, model Deepseek-V3 początkowo badał tylko na klastrze akceleratora NVIDIA H800.
Instrukcje AMD opisują wszystko, co jest potrzebne do lokalnego uruchomienia DeepSeek R1 w systemie użytkowników na podstawie sprzętu AMD. LM Studio ma instalator dużych modeli językowych w jednym kliknięciu specjalnie zaprojektowanym dla procesorów Ryzen AI. Użytkownicy AMD mogą go używać do instalacji R1. W filmie firma pokazuje również, w jaki sposób aplikacja powinna być skonfigurowana dla określonego sprzętu, a także wyjaśnia, w jaki sposób maksymalna liczba parametrów LLM jest obsługiwana przez jeden lub inny sprzęt.
Te ostatnie w dużej mierze zależy od ilości dostępnej pamięci. Na przykład Radeon RX 7600 XT, RX 7700 XT, RX 7800 XT, RX 7900 GRE i RX 7900 XT Modele obsługujące DeepSeek-R1-Distill-Qwen-14b z 14 miliardami parametrów. Flagowa mapa Radeon Rx 7900 XTX pozwala uruchomić modele do DeepSeek-R1-Distill-QWEN-32B z 32 miliardami parametrów. A model Radeon RX 7600, który ma tylko 8 GB pamięci na pokładzie, obsługuje wprowadzenie modeli do DeepSeek-R1-Distill-Lama-8B z 8 miliardami parametrów.
Laptopy oparte na procesorach Ryzen 8040 i Ryzen 7040 z 32 GB pamięci RAM, a także systemy oparte na procesorach Ryzen AI 9 HX 370 i Ryzen AI 9 365, wyposażone w RAM, mogą uruchomić modele do Deepseek-R1-Distill-Lalalama -14b. Laptopy oparte na modelach Ryzen AI MAX+ 395 dla DeepSeek-R1-Distill-Lama-70B z 70 miliardami parametrów, ale tylko wtedy, gdy jest 64 lub 128 GB RAM. Wersje laptopów z 32 GB pamięci mogą uruchomić modele do DeepSeek-R1-Distill-QWEN-32B z 32 miliardami parametrów.
Nowy model sztucznej inteligencji Deepseek R1 pokonał świat z dnia na dzień, ponieważ koszty jego szkolenia były 11 razy niższe niż w przypadku zaawansowanych modeli AI konkurentów. Dwa dni temu spowodowało to rekordową utratę kapitalizacji rynkowej NVIDIA w wysokości 589 miliardów dolarów. Model Deepseek R1 opiera się na ekstremalnych poziomach optymalizacji, aby zapewnić 11 -krotność wzrostu wydajności. Depseek R1 działa nie tylko na akceleratorach NVIDIA i AMD, ale także zgłasza wspieranie akceleratorów Huawei Ascent.
