Sztuczna inteligencja już teraz stawia diagnozy lepiej niż lekarze. Dowodzą tego naukowcy z Harvardu, którzy na bazie 7102 przypadków medycznych stworzyli CPC-Bench.
W skrócie:
- CPC-Bench to nowy, rygorystyczny test dla AI, który stworzyli naukowcy z Harvardu. Wykorzystuje on archiwum 7102 konferencji kliniczno-patologicznych z prestiżowego New England Journal of Medicine.
- Testowany model językowy w 60% przypadków trafnie postawił ostateczną diagnozę, przewyższając w tym zadaniu panel złożony z dwudziestu doświadczonych lekarzy.
- AI o nazwie Dr. CaBot potrafi naśladować styl ekspertów medycznych tak dobrze, że zmyliła specjalistów w 74% prób, ale wciąż gorzej radzi sobie z interpretacją obrazów.
Od ponad stu lat Konferencje Kliniczno-Patologiczne (CPC) publikowane w New England Journal of Medicine stanowiły intelektualne wyzwanie dla pokoleń lekarzy. To na ich łamach najtęższe umysły medycyny ścierały się z najbardziej skomplikowanymi przypadkami, szlifując sztukę diagnostyki. Dzisiaj to legendarne archiwum – obejmujące 7102 przypadki od 1923 do 2025 roku – stało się poligonem doświadczalnym dla sztucznej inteligencji. I wygląda na to, że maszyna radzi sobie na nim zaskakująco dobrze. A może nawet niepokojąco dobrze.
Zespół badaczy z Harvard Medical School i Beth Israel Deaconess Medical Center, w składzie Thomas A. Buckley, Riccardo Conci, Peter G. Brodeur, Jason Gusdorf, Sourik Beltrán i Bita Behrouzi, stworzył CPC-Bench. To nie jest kolejny prosty test, w którym AI odpowiada na pytania z egzaminu lekarskiego. To coś znacznie bardziej wyrafinowanego. Benchmark ten zmusza modele językowe do rozumowania, integrowania danych z wywiadu, badań fizykalnych, wyników laboratoryjnych i obrazowych. Krótko mówiąc – do myślenia jak prawdziwy diagnosta, który błądzi w gąszczu niejednoznacznych informacji.
Jak sprawdzić, czy AI jest mądrzejsza od lekarza?
Dotychczasowe benchmarki medyczne często sprawdzały jedynie zdolność AI do odtwarzania faktów. To trochę tak, jakby oceniać pisarza po tym, jak szybko przepisuje książkę telefoniczną. CPC-Bench stawia poprzeczkę znacznie wyżej. Analizuje nie tylko końcowy wynik – czyli diagnozę – ale cały proces myślowy. Jak model dochodzi do wniosków? Jak radzi sobie z niepewnością? Zespół badaczy zatrudnił dziesięciu lekarzy, którzy ręcznie oznaczyli kluczowe punkty zwrotne w tysiącach przypadków klinicznych, tworząc mapę, po której może poruszać się algorytm.
Co prawda obecne modele LLM wciąż miewają problemy ze złożonym rozumowaniem, zwłaszcza gdy dane są niejednoznaczne. Jednak techniki takie jak chain-of-thought prompting (które zmuszają model do wyjaśniania swojego toku myślenia krok po kroku) oraz precyzyjne dostrajanie na danych medycznych przynoszą spektakularne efekty. A wszystko to dzieje się w świecie, gdzie modele open-source gonią komercyjnych gigantów, demokratyzując dostęp do przełomowej technologii.
Dr CaBot wchodzi na scenę. I nikt nie poznaje, że to maszyna
Wyniki opublikowane w artykule “Advancing Medical Artificial Intelligence Using a Century of Cases” są, delikatnie mówiąc, imponujące. Jeden z testowanych modeli LLM postawił poprawną diagnozę jako pierwszą na liście w 60% z 377 współczesnych, skomplikowanych przypadków. W 84% przypadków jego propozycja znalazła się w pierwszej dziesiątce. To wynik lepszy niż ten, który osiągnął panel kontrolny złożony z dwudziestu lekarzy. Kiedy przyszło do wybrania kolejnych, niezbędnych badań diagnostycznych, maszyna osiągnęła niemal doskonałą skuteczność na poziomie 98%.
Jednak prawdziwy popis możliwości dał Dr. CaBot – system AI zaprojektowany tak, by naśladować styl wypowiedzi i prezentacji ekspertów medycznych. W ślepej próbie poproszono lekarzy o ocenę, czy autorem analizy diagnostycznej jest człowiek, czy maszyna. W 74% przypadków lekarze nie byli w stanie odróżnić AI od kolegi po fachu. Co więcej, prezentacje przygotowane przez Dr. CaBota były często oceniane wyżej pod względem jakości i klarowności niż te napisane przez ludzi. To mały, cyfrowy test Turinga zdany na medycznym oddziale.
Co dalej z cyfrowym doktorem Housem?
Oczywiście, to nie jest jeszcze koniec ery ludzkich lekarzy. Badacze sami przyznają, że ocena oparta wyłącznie na końcowej diagnozie może zawyżać realne możliwości AI. Systemy te wciąż mają swoje pięty achillesowe. Jedną z nich jest interpretacja obrazów medycznych – tutaj skuteczność na poziomie 67% wciąż pozostawia pole do poprawy. Drugą jest wyszukiwanie i krytyczna ocena literatury naukowej, gdzie maszyna nadal ustępuje człowiekowi.
Pomimo tego, praca zespołu z Harvardu to kamień milowy. Uwalniając zarówno benchmark CPC-Bench, jak i system Dr. CaBot do publicznego użytku, badacze otwierają drzwi do transparentnego śledzenia postępów w medycznej AI. To zaproszenie dla całego świata nauki do wspólnego budowania narzędzi, które pewnego dnia mogą stać się nie tylko asystentem, ale partnerem w podejmowaniu najtrudniejszych medycznych decyzji. Przyspieszenie jest nieuniknione. Pytanie brzmi, jak szybko człowiek i maszyna nauczą się ze sobą rozmawiać przy łóżku pacjenta.