Modele językowe coraz lepiej radzą sobie w medycynie, ale wciąż popełniają błędy. Nowe badanie pokazuje, jak GPT i Gemini ewoluowały w diagnozowaniu raka płuc.
W skrócie:
- Nowa wersja ChatGPT, GPT-o3-mini, osiągnęła ponad 75% dokładności w odpowiedziach na pytania z zakresu radiologii raka płuc, wyprzedzając inne testowane modele AI.
- Wydajność modeli Gemini (dawniej Bard) i GPT znacznie wzrosła w ciągu dwóch lat, co pokazuje szybki postęp w medycznych zastosowaniach sztucznej inteligencji.
- Pomimo postępów eksperci ostrzegają, że LLM wciąż bywają niespójne i stanowią “realne zagrożenie”, jeśli są używane bez nadzoru do przekazywania informacji pacjentom.
Kiedy pod koniec 2022 roku OpenAI wypuściło ChatGPT, świat technologii wstrzymał oddech. Ale to w szpitalach i gabinetach lekarskich echo tej rewolucji wybrzmiało najgłośniej. Potencjał wydawał się nieograniczony – od generowania raportów radiologicznych, przez komunikację z pacjentem, po tłumaczenie skomplikowanego medycznego żargonu na ludzki język. Minęły prawie trzy lata, a my wciąż zadajemy sobie to samo pytanie: czy możemy już zaufać maszynie w sprawach życia i śmierci? Odpowiedź, jak to zwykle bywa, jest skomplikowana. I fascynująca.
Jak sprawdzono, czy AI nadaje się na lekarza?
Naukowcy z Uniwersytetu Kalifornijskiego w Los Angeles postanowili to sprawdzić. Zespół pod kierownictwem dr Arasha Bedayata powtórzył badanie sprzed dwóch lat, ale tym razem podniósł poprzeczkę. Na cyfrowy dywanik wezwano pięć najnowocześniejszych, publicznie dostępnych modeli językowych: GPT-o3-mini, Gemini, DeepSeek R1, Claude oraz Perplexity. Każdemu z nich zadano 40 pytań dotyczących raka płuc, opracowanych przez radiologów w oparciu o rygorystyczne wytyczne Lung-RADS i Fleischner Society. To nie był prosty test wiedzy, ale prawdziwy egzamin z medycznej precyzji.
Zadanie było proste w założeniu, ale diabolicznie trudne w wykonaniu. Trzech ekspertów oceniało odpowiedzi modeli, kategoryzując je jako poprawne, częściowo poprawne, niepoprawne lub brak odpowiedzi. Kluczowe było nie tylko to, czy AI znało fakty, ale czy potrafiło je zastosować w kontekście klinicznym. Co więcej, badacze celowo wprowadzili do zestawu pytań błędne założenia, by sprawdzić, czy modele potrafią zidentyfikować dezinformację. To jak podłożyć kandydatowi na chirurga gumowy skalpel i patrzeć, czy zauważy różnicę.
GPT na czele peletonu, ale peleton wciąż się potyka
Wyniki, opublikowane w prestiżowym czasopiśmie Academic Radiology, dają do myślenia. Na czele stawki znalazł się GPT-o3-mini, który udzielił poprawnych odpowiedzi na ponad 75% pytań. Tuż za nim uplasował się Gemini z wynikiem 74,17%. To gigantyczny skok w porównaniu z ich poprzednimi wersjami sprzed dwóch lat. Pokazuje to, jak gwałtownie rozwija się ta technologia i jak szybko uczy się medycyny. Co ciekawe, to właśnie model GPT najlepiej radził sobie z demaskowaniem celowo wprowadzonych błędów, co potwierdza jego rosnącą “intuicję” w analizie danych medycznych.
Jednak zwycięstwo ma gorzki posmak. Pomimo imponujących wyników, naukowcy wskazali na liczne niespójności. Modele wciąż potrafią się gubić, udzielać odpowiedzi częściowo poprawnych lub – co gorsza – generować informacje, które brzmią wiarygodnie, ale są błędne. To właśnie ta pozorna pewność siebie sztucznej inteligencji jest największym zagrożeniem. Dr Bedayat i jego zespół podkreślają, że badanie jest jedynie “migawką obecnego stanu”, a technologia wciąż wymaga ogromnego nadzoru ze strony człowieka. To zimny prysznic dla tych, którzy już widzieli w AI w pełni autonomicznego cyfrowego lekarza.
Obietnica kontra “realne zagrożenie”. Co dalej z AI w medycynie?
Wnioski płynące z badania są jednoznaczne. Sztuczna inteligencja ma potencjał, by zrewolucjonizować medycynę, ale nie jest gotowa na samodzielność. “Szybki postęp w możliwościach chatbotów sugeruje obiecującą trajektorię dla AI w opiece zdrowotnej, która przekształca sposób, w jaki wiedza medyczna jest udostępniana pacjentom” – piszą autorzy. Jednocześnie jednak dodają surowe ostrzeżenie: “nadal istnieje realne zagrożenie związane z używaniem chatbotów jako środka do rozpowszechniania skomplikowanych informacji medycznych”.
To kluczowy dylemat. Z jednej strony mamy narzędzie, które może demokratyzować dostęp do wiedzy i wspierać lekarzy w ich codziennej pracy. Z drugiej – potężną technologię, która w nieodpowiednich rękach lub bez odpowiedniej kontroli może wyrządzić krzywdę. Wygląda na to, że jeszcze przez długi czas rola AI w medycynie będzie polegała na asystowaniu, a nie zastępowaniu. Ostateczna diagnoza i tak zawsze będzie musiała należeć do człowieka. Przynajmniej na razie.