Badania Google i laboratorium badawcze Google zajmujące się sztuczną inteligencją DeepMind ogłosiły szczegóły dotyczące rodziny zaawansowanych, wielkojęzykowych modeli Med-Gemini przeznaczonych do zastosowań w służbie zdrowia.
Modele AI są wciąż w fazie badań, ale autorzy twierdzą, że Med-Gemini, oparty na modelu Google Gemini, przewyższa konkurencyjne modele, takie jak GPT-4 OpenAI, ma ogromny potencjał w diagnostyce klinicznej i przewyższa standardy branżowe o 14 popularnych benchmarków profili . W szczególności w teście porównawczym MedQA (USMLE) model Med-Gemini osiągnął dokładność 91,1% przy zastosowaniu strategii wyszukiwania opartej na niepewności, przewyższając medyczny LLM Med-PaLM 2 firmy Google o 4,5%. Zestaw modeli przewyższał także ludzi w podsumowywaniu tekstów medycznych i formułowaniu zaleceń, a lekarze w połowie przypadków oceniali odpowiedzi Med-Gemini-M 1.0 jako dobre lub lepsze niż odpowiedzi ekspertów.
Med-Gemini to rodzina dużych modeli multimodalnych (LMM), z których każdy ma swój własny cel. W przeciwieństwie do dużych modeli językowych, które „wykazują nieoptymalne rozumowanie kliniczne w warunkach niepewności” oraz cierpią na halucynacje i uprzedzenia, Med-Gemini generuje „w rzeczywistości dokładniejsze, bardziej wiarygodne i szczegółowe wyniki w przypadku złożonych zadań rozumowania klinicznego” niż jego konkurenci, w tym GPT-4, mówi Google.
W siedmiu multimodalnych testach porównawczych, w tym w obrazowaniu New England Journal of Medicine (NEJM), model Med-Gemini działał znacznie lepiej niż GPT-4.
Aby przetestować zdolność Med-Gemini do rozumienia i wyciągania wniosków na podstawie długich, kontekstowych informacji medycznych, badacze z powodzeniem przeprowadzili tak zwane zadanie „igły w stogu siana”, używając tej wiedzy, korzystając z dużego, publicznie dostępnego sklepu z informacjami medycznymi dla intensywnej terapii (MIMIC-III). baza danych, zawierająca zanonimizowane dane o stanie zdrowia pacjentów przyjmowanych na oddział intensywnej terapii.
Wsparcie Med-Gemini w skutecznym przeszukiwaniu bazy danych elektronicznej dokumentacji medycznej (EHR) „znacznie zmniejszy obciążenie poznawcze i wzmocni pozycję lekarzy poprzez skuteczne wydobywanie i analizowanie kluczowych informacji z ogromnych ilości danych pacjentów” – twierdzi Google.
Według naukowców Med-Gemini dobrze radzi sobie również z testami medycznymi, wiedzą medyczną, rozumowaniem klinicznym, genomiką, obrazowaniem medycznym, dokumentacją medyczną i wideo.
Google stwierdził jednak, że jego modele wymagają dalszego udoskonalenia i specjalizacji, zanim będą mogły być stosowane w opiece zdrowotnej.