Grupa naukowców z Uniwersytetu Pensylwanii opracowała system o nazwie DrEureka, przeznaczony do szkolenia robotów przy użyciu dużych modeli językowych sztucznej inteligencji, takich jak OpenAI GPT-4. Jak się okazało, jest to metoda skuteczniejsza niż sekwencja zadań w świecie rzeczywistym, ale wymaga od człowieka szczególnej uwagi ze względu na specyfikę „myślenia” AI.
Platforma DrEureka (Domain Randomization Eureka) udowodniła swoją funkcjonalność na przykładzie robota Unitree Go1, czteronożnej maszyny typu open source. Polega na szkoleniu robota w symulowanym środowisku z wykorzystaniem randomizacji kluczowych zmiennych: tarcia, masy, tłumienia, przemieszczenia środka ciężkości i innych parametrów. Na podstawie kilku żądań użytkowników sztuczna inteligencja wygenerowała kod opisujący system nagród i kar za szkolenie robota w środowisku wirtualnym. Na koniec każdej symulacji sztuczna inteligencja analizuje, jak dobrze wirtualny robot poradził sobie z kolejnym zadaniem i jak można poprawić jego wydajność. Ważne jest, aby sieć neuronowa była w stanie szybko generować scenariusze w dużych wolumenach i jednocześnie uruchamiać ich realizację.
AI tworzy zadania o maksymalnych i minimalnych wartościach parametrów w punktach awarii lub awarii mechanizmu, których osiągnięcie lub przekroczenie wiąże się z obniżeniem punktacji za ukończenie scenariusza szkoleniowego. Autorzy badania zauważają, że do prawidłowego napisania kodu AI wymagane są dodatkowe instrukcje bezpieczeństwa, w przeciwnym razie sieć neuronowa zacznie „oszukiwać” podczas symulacji w celu osiągnięcia maksymalnej wydajności, co w realnym świecie może doprowadzić do przegrzania silników lub uszkodzenie kończyn robota. W jednym z tych nienaturalnych scenariuszy wirtualny robot „odkrył”, że może poruszać się szybciej, jeśli wyłączy jedną z nóg i zacznie poruszać się na trzech.
Badacze poinstruowali sztuczną inteligencję, aby zachowała szczególną ostrożność, biorąc pod uwagę, że wytrenowany robot będzie testowany w świecie rzeczywistym, dlatego sieć neuronowa stworzyła dodatkowe funkcje bezpieczeństwa dotyczące takich aspektów, jak płynność ruchów, orientacja pozioma i wysokość tułowia, a także podobnie jak przy uwzględnieniu wielkości momentu obrotowego dla silników elektrycznych – nie powinien on przekraczać podanych wartości. W rezultacie system DrEureka poradził sobie ze szkoleniem robota lepiej niż człowiek: maszyna wykazała 34-procentowy wzrost prędkości ruchu i 20-procentowy wzrost dystansu pokonywanego w nierównym terenie. Naukowcy wyjaśnili ten wynik różnicą w podejściach. Ucząc się problemu, osoba dzieli go na kilka etapów i znajduje rozwiązanie dla każdego z nich, podczas gdy GPT uczy wszystkiego na raz, a dana osoba najwyraźniej nie jest do tego zdolna.
Dzięki temu system DrEureka pozwolił nam przejść bezpośrednio z symulacji do pracy w świecie rzeczywistym. Autorzy projektu twierdzą, że mogliby jeszcze bardziej poprawić wydajność platformy, gdyby byli w stanie zapewnić AI informację zwrotną ze świata rzeczywistego – w tym celu sieć neuronowa musiałaby badać nagrania wideo z testów, nie ograniczając się do się do analizy błędów w logach systemowych robota. Nauka chodzenia przeciętnemu człowiekowi zajmuje do 1,5 roku, a tylko nieliczni potrafią jeździć na piłce do jogi. Robot przeszkolony przez DrEurekę skutecznie radzi sobie z tym zadaniem.