Badacze Apple opracowali system sztucznej inteligencji ReALM (Reference Solution as Language Modeling), który może znacznie poprawić zrozumienie asystentów głosowych przez człowieka i zwiększyć skuteczność ich reakcji na żądania.
Apple opisał system jako sposób na rozwiązanie problemu rozwiązywania powiązań z dużymi modelami językowymi – pomoże AI zinterpretować opis obiektów na ekranie użytkownika i lepiej zrozumieć kontekst rozmowy. W rezultacie ReALM doprowadzi do bardziej intuicyjnej i naturalnej interakcji z urządzeniami. Rozwiązywanie odniesień pomaga systemom lepiej zrozumieć mowę naturalną, umożliwiając użytkownikom używanie zaimków i innych odniesień pośrednich podczas rozmowy z sztuczną inteligencją. Ten aspekt interakcji międzyludzkich tradycyjnie był znaczącym wyzwaniem dla asystentów głosowych, a ReALM sprowadza go do problemu rozwiązywanego na poziomie modelu językowego. Sztuczna inteligencja zaczyna odpowiednio postrzegać odniesienia do elementów wizualnych na ekranie i integruje te koncepcje w toku rozmowy.
ReALM rekonstruuje wizualny układ ekranu za pomocą reprezentacji tekstowych. Proces ten polega na analizie obiektów ekranowych i ich lokalizacji oraz przetłumaczeniu ich na format tekstowy odzwierciedlający zawartość i strukturę elementów na ekranie. Badacze Apple odkryli, że metoda ta w połączeniu z dostrajaniem modeli językowych znacznie przewyższa metody tradycyjne, w tym możliwości sieci neuronowej OpenAI GPT-4. ReALM pomoże użytkownikom opisać elementy ekranu w niezwykle prosty sposób, a asystenci AI zrozumieją takie opisy. Możliwości te przydadzą się m.in. w sterowaniu systemami informacyjno-rozrywkowymi pojazdu za pomocą poleceń głosowych oraz poprawią efektywność interfejsu głosowego dla osób niepełnosprawnych.
