Badanie opublikowane w “Nature Medicine” pokazuje, że ChatGPT Health nie radzi sobie z triażem medyczznym. Mimo rozpoznania objawów, w ponad połowie pilnych przypadków AI każe zostać w domu.
W skrócie:
- Naukowcy z Icahn School of Medicine at Mount Sinai stworzyli 60 scenariuszy medycznych, aby przetestować zdolności triażowe popularnego chatbota od OpenAI.
- W ponad połowie przypadków, które lekarze uznali za stany zagrożenia życia, sztuczna inteligencja nie zaleciła natychmiastowej wizyty w szpitalu.
- AI zawiodło również w ocenie ryzyka samobójstwa, często ignorując poważne sygnały i nie kierując użytkowników po profesjonalną, pilną pomoc.
Każdego dnia około 40 milionów ludzi loguje się, by zadać pytanie chatbotowi OpenAI. Wśród nich jest rosnąca grupa tych, którzy szukają porady medycznej. To wygodne, szybkie i darmowe – cyfrowa pierwsza pomoc dostępna o każdej porze dnia i nocy. Ale co, jeśli ta pomoc okazuje się iluzją? Nowe, niepokojące badanie opublikowane na łamach prestiżowego „Nature Medicine” rzuca długi cień na medyczne aspiracje sztucznej inteligencji. Okazuje się, że w sytuacjach krytycznych, gdy liczy się każda minuta, ChatGPT Health może zasugerować, żebyś po prostu… został w domu.
Jak dokładnie wyglądał ten cyfrowy „egzamin lekarski”?
Badacze z Icahn School of Medicine at Mount Sinai w Nowym Jorku postanowili sprawdzić, czy popularny chatbot nadaje się do roli, którą już pełni dla milionów – wstępnej selekcji pacjentów, zwanej w medycynie triażem. To proces, w którym ocenia się, kto potrzebuje pomocy natychmiast, a kto może poczekać. Aby to zweryfikować, zespół stworzył 60 realistycznych scenariuszy klinicznych, obejmujących szerokie spektrum problemów: od kardiologii, przez neurologię, aż po psychiatrię. Chcieli zobaczyć, czy AI poprawnie zidentyfikuje zagrożenie i wyśle „pacjenta” na pogotowie.
Główny autor badania, dr Ashwin Ramaswamy, ujął to prosto: „Chcieliśmy odpowiedzieć na bardzo proste, ale kluczowe pytanie: jeśli ktoś doświadcza prawdziwego zagrożenia zdrowia i zwraca się o pomoc do ChatGPT Health, to czy zostanie wyraźnie poinformowany, że należy udać się na pogotowie?”. To pytanie, które zadaje sobie każdy, kto w chwili paniki wpisuje swoje objawy w okno dialogowe chatbota. Odpowiedź, niestety, nie napawa optymizmem.
Cyfrowy stoik, czyli kiedy AI każe ci wziąć głęboki oddech zamiast dzwonić na 112
Wyniki eksperymentu są, delikatnie mówiąc, alarmujące. Wprawdzie chatbot całkiem sprawnie rozpoznawał objawy stanów nagłych – takich jak udar mózgu czy ciężka reakcja alergiczna – ale jego rekomendacje często stały w sprzeczności z diagnozą. W ponad połowie przypadków, które zespół lekarzy ocenił jako wymagające pilnej interwencji, ChatGPT Health nie zalecił szybkiego udania się do szpitala. Zamiast tego uspokajał, doradzał domowe sposoby leczenia albo sugerował poczekać na rozwój wypadków. Opisujesz modelowi objawy zawału serca, a on odpisuje, żebyś się położył i odpoczął?
To jak rozmowa z kimś, kto posiadł całą wiedzę medyczną z książek, ale kompletnie nie rozumie, co oznacza ludzkie cierpienie i ryzyko. Ta cyfrowa obojętność może mieć fatalne skutki. Zamiast działać jak system wczesnego ostrzegania, chatbot staje się czynnikiem opóźniającym reakcję. Tymczasem w medycynie ratunkowej czas to życie. Każda minuta zwłoki przy udarze mózgu to miliony obumierających komórek nerwowych.
„To było szczególnie niepokojące”. Dlaczego AI zawodzi w najtrudniejszych rozmowach?
Jeśli myślicie, że gorzej być nie może, to niestety muszę was rozczarować. Najbardziej mrożący krew w żyłach wniosek z badania dotyczy oceny ryzyka samobójstwa. Tutaj algorytm zawiódł na całej linii. Rekomendacje chatbota były niejednoznaczne i często nie uwzględniały poważnych sygnałów zagrożenia życia. Co więcej, badacze zaobserwowali niebezpieczny paradoks.
„To było szczególnie niepokojące. W naszych testach alerty częściej pojawiały się w sytuacjach o mniejszym ryzyku niż w tych, gdy ktoś dokładnie opisywał, jak chce zrobić sobie krzywdę” – podkreślił współautor badania, Girish Nadkarni. Model, który potrafi pisać wiersze i kodować, okazuje się bezradny, gdy staje w obliczu prawdziwego ludzkiego kryzysu. Zawodzą jego filtry bezpieczeństwa, a mechanizmy oceny ryzyka działają w sposób losowy. To dowód, że sama analiza tekstu – bez zrozumienia kontekstu i ludzkich emocji – to droga donikąd, zwłaszcza w psychiatrii.
Czy to koniec marzeń o lekarzu AI w każdej kieszeni?
Pomimo druzgocących wyników, naukowcy nie wzywają do całkowitej rezygnacji z AI w ochronie zdrowia. Wskazują raczej na konieczność redefinicji roli tych narzędzi. Sztuczna inteligencja może być potężnym źródłem informacji, ale nigdy – przynajmniej na obecnym etapie rozwoju – nie powinna zastępować profesjonalnej oceny medycznej. Zwłaszcza w sytuacjach, gdy objawy takie jak ból w klatce piersiowej, duszności czy nagłe zaburzenia widzenia wskazują na potencjalne zagrożenie.
To badanie to kubeł zimnej wody dla wszystkich entuzjastów technologicznej utopii. To także sygnał dla gigantów takich jak OpenAI, że odpowiedzialność za produkt nie kończy się na wdrożeniu go na rynek. Gdy stawką jest ludzkie życie, nie ma miejsca na błędy, a odpowiedź „jestem tylko modelem językowym” po prostu nie wystarczy. A dla nas, użytkowników? To brutalna, ale potrzebna lekcja: w sprawach zdrowia zaufajmy lekarzowi z krwi i kości, a nie algorytmowi z chmury.