Sztuczna inteligencja w medycynie miała być rewolucją. Zamiast tego setki systemów wycofano z rynku, a niektóre powiązano z udarami u pacjentów. Co poszło nie tak?
W skrócie:
- Liczba urządzeń medycznych z AI dopuszczonych przez FDA w USA przekroczyła 1357. To ponad dwukrotnie więcej niż w 2022 roku, co pokazuje skalę ekspansji.
- Aż 60 analizowanych rozwiązań AI powiązano ze 182 wycofaniami z rynku. Prawie połowę z nich, bo 43%, usunięto w ciągu zaledwie roku od dopuszczenia do użytku.
- System TruDi, używany w chirurgii zatok, powiązano z ponad setką awarii i co najmniej 10 przypadkami obrażeń u pacjentów, a w dwóch sprawach doszło do udaru.
Obietnica była prosta: sztuczna inteligencja miała odciążyć systemy opieki zdrowotnej, które ledwo zipały po pandemii. Algorytmy miały analizować obrazy z rezonansu magnetycznego szybciej niż radiolog, monitorować pracę serca z dokładnością, o jakiej człowiek mógłby pomarzyć i asystować chirurgom przy najbardziej skomplikowanych zabiegach. I w dużej mierze tak się dzieje. Ale, jak to często bywa, istnieje też druga strona medalu. Strona, o której producenci wolą nie mówić, a która dla pacjentów może oznaczać tragedię.
Agencja Reutera przyjrzała się sprawie bliżej, a wnioski opublikowane w JAMA Health Forum nie pozostawiają złudzeń. Wzrost adopcji AI w medycynie idzie w parze z niepokojącym wzrostem liczby incydentów bezpieczeństwa. Wspomniane 182 wycofania z rynku to sygnał, że coś jest bardzo nie tak. Dla porównania, klasyczne urządzenia medyczne, pozbawione “inteligencji”, wycofuje się o połowę rzadziej. To pokazuje, że choć technologia pędzi do przodu, jej nieprzewidywalność staje się piętą achillesową całej branży.
Jak asystent chirurga staje się zagrożeniem?
Spójrzmy na konkretny przykład, który mrozi krew w żyłach. System nawigacji chirurgicznej TruDi, produkowany przez firmę Acclarent (należącą do Johnson & Johnson), miał być wsparciem podczas operacji zatok. To zabieg rutynowy, ale wykonywany w bardzo “ryzykownej” okolicy – blisko tętnic i podstawy czaszki. System AI miał pomagać chirurgom w precyzyjnym prowadzeniu narzędzi. Niestety, wkrótce po jego wdrożeniu liczba zgłoszeń o awariach i zdarzeniach niepożądanych wzrosła z kilku do ponad stu.
Raporty opisują sytuacje, w których system błędnie wskazywał położenie narzędzi chirurgicznych wewnątrz głowy pacjenta. W skrajnych przypadkach prowadziło to do uszkodzenia tętnicy szyjnej lub podstawy czaszki. W co najmniej dwóch sprawach sądowych pacjenci twierdzą, że po operacji z użyciem TruDi doznali udaru. Producent podkreśla, że na razie nie ma jednoznacznych dowodów na bezpośredni związek AI z urazami, ale sama korelacja statystyczna jest alarmująca. Gdy cyfrowy asystent myli drogę w ludzkim mózgu, trudno mówić o przypadku.
Czy AI jest gotowa na medycynę, a medycyna na AI?
Problemy nie kończą się na sali operacyjnej. Amerykańska Agencja Żywności i Leków (FDA) otrzymała zgłoszenia dotyczące innych urządzeń. Monitory pracy serca, które miały wykrywać arytmię, potrafiły całkowicie pominąć epizody zagrażające życiu. Systemy USG błędnie oznaczały części ciała płodu, wprowadzając chaos w diagnostyce prenatalnej. Na szczęście w wielu z tych przypadków nie doszło do obrażeń, ale to gra w rosyjską ruletkę. Producenci często tłumaczą się błędami użytkownika lub problemami z wyświetlaniem danych, ale w dokumentacji technicznej sami przyznają, że ich algorytmy mogą błędnie klasyfikować zdarzenia medyczne.
Konkluzja jest brutalnie prosta: systemy AI działają poprawnie w zdecydowanej większości przypadków. Pytanie brzmi, czy medycyna “tu i teraz” jest gotowa na tę mniejszość, która wymyka się spod kontroli. To jest sedno problemu. Jeden błąd algorytmu to nie jest drobna niedogodność. To może być ludzkie życie. A na to nie można sobie pozwolić.
Kto pilnuje cyfrowego skalpela?
Wszystko wskazuje na to, że systemy regulacyjne nie nadążają za postępem technologicznym. W przeciwieństwie do leków, wiele urządzeń medycznych w USA nie wymaga pełnych, rygorystycznych badań klinicznych na pacjentach. Producenci często korzystają z furtki, dowodząc, że ich nowy produkt jest “zasadniczo równoważny” z już istniejącym na rynku – nawet jeśli ten stary nie miał w sobie grama sztucznej inteligencji. To pozwala na szybsze wprowadzanie technologii, ale kosztem bezpieczeństwa.
Co więcej, byli pracownicy FDA przyznają, że zespoły zajmujące się oceną AI zostały w ostatnich latach ograniczone, podczas gdy liczba wniosków rośnie lawinowo. Każdy chce być pierwszy i zgarnąć swój kawałek rynkowego tortu. Większe obciążenie recenzentów to większe ryzyko, że ktoś przeoczy potencjalne zagrożenie. Regulatorzy często reagują dopiero po fakcie, gdy mleko się już rozlało. Można narzekać na surowe regulacje w Europie, ale w tym konkretnym przypadku być może powinniśmy się cieszyć. Wszystko wskazuje na to, że problem nieprzewidywalnej AI w medycynie dotyka nas w znacznie mniejszym stopniu.