Myślisz, że ChatGPT to ekspert? Naukowcy z Washington State University obnażyli jego słabość. W teście na ocenę hipotez naukowych model uzyskał wynik trójkowy.
W skrócie:
- ChatGPT osiągnął pozornie dobrą, 80-procentową skuteczność w ocenie hipotez, jednak po odliczeniu 50-procentowej szansy na losową odpowiedź, realny wynik jest bardzo niski.
- Model okazał się skrajnie niekonsekwentny – wielokrotne zadawanie tego samego pytania prowadziło do różnych odpowiedzi, czasem w idealnym rozkładzie 5 do 5.
- Największą słabością AI było identyfikowanie fałszywych tez naukowych. ChatGPT poprawnie odrzucał je zaledwie w 16% przypadków, co podważa jego wiarygodność.
Od kiedy w 2022 roku sztuczna inteligencja wjechała do naszego życia na pełnej prędkości, karmimy się wizją jej nieograniczonych możliwości. Każdy nowy model, każda aktualizacja zdaje się przesuwać granice tego, co możliwe. Gdzieś z tyłu głowy kołacze się jednak myśl, że pod tą lśniącą fasadą kryje się fundamentalny problem. Modele językowe, nawet te najbardziej zaawansowane, nie “wiedzą”, kiedy nie znają odpowiedzi. Zamiast przyznać się do niewiedzy, z pewnością siebie generują informacje, które bywają nieścisłe, a w skrajnych przypadkach – stają się czystymi halucynacjami. Teraz mamy na to twarde dowody, prosto ze świata nauki.
Jak naukowcy postawili ChatGPT pod ścianą?
Zespół z Washington State University postanowił zrzucić bombę na entuzjazm wokół AI. Zamiast prosić model o napisanie wiersza czy eseju, postawili przed nim zadanie z pozoru proste, a w rzeczywistości diabelnie trudne: ocenę, czy dana hipoteza naukowa jest prawdziwa, czy fałszywa. To chleb powszedni dla każdego studenta pierwszego roku kierunków ścisłych, więc dla AI, które rzekomo zdaje egzaminy prawnicze i medyczne, powinno być to bułką z masłem. Okazało się, że ten test obnażył kilka prawd, o których zwolennicy technologicznej rewolucji woleliby nie słyszeć. To nie była próba złośliwości, a raczej fundamentalne pytanie o granice zaufania, jakim możemy obdarzyć te systemy.
Wynik? Ledwo zdana matura, a nie doktorat
Na pierwszy rzut oka statystyki wyglądają przyzwoicie. ChatGPT udzielił poprawnych odpowiedzi w około 80% przypadków. Całkiem nieźle, prawda? Diabeł, jak zawsze, tkwi w szczegółach. W teście typu “prawda/fałsz” losowe zgadywanie daje nam 50% szans na sukces. Kiedy badacze uwzględnili ten czynnik, okazało się, że realna przewaga AI nad rzutem monetą jest zatrważająco mała. To nie jest poziom eksperta, to raczej wynik trójkowego ucznia, który trochę się nauczył, a resztę strzelał.
Co gorsza, model wykazał się kompletnym brakiem konsekwencji. Naukowcy zadawali każde pytanie dziesięciokrotnie i obserwowali, jak odpowiedzi zmieniają się niczym w kalejdoskopie. Zdarzały się przypadki, w których na dziesięć prób model pięć razy odpowiadał “prawda”, a pięć razy “fałsz”. Taka niestabilność dyskwalifikuje go jako wiarygodne źródło w jakimkolwiek poważnym zastosowaniu, od pisania prac dyplomowych po analizy prawne.
Potakiwacz, nie krytyk. Dlaczego AI tak łatwo wierzy w bzdury?
Jednak najbardziej niepokojący wniosek z całego badania dotyczył czegoś innego. Okazało się, że największym problemem dla ChatGPT było identyfikowanie fałszywych hipotez. Sztuczna inteligencja poprawnie odrzucała błędne tezy w zaledwie 16% przypadków. Innymi słowy, model ma olbrzymią skłonność do potwierdzania, a nie do kwestionowania. Jest cyfrowym potakiwaczem, który znacznie chętniej przyzna rację, niż wskaże błąd. W nauce, której fundamentem jest falsyfikacja i krytyczne myślenie, taka cecha jest nie tyle wadą, co katastrofą.
To badanie jest kubłem zimnej wody dla wszystkich, którzy widzą w AI gotowe zastępstwo dla ludzkiego intelektu. Pokazuje, że mamy do czynienia z potężnym, ale wciąż niedoskonałym narzędziem. Narzędziem, które potrafi naśladować wzorce, ale nie potrafi krytycznie myśleć. A to oznacza jedno: odpowiedzialność za weryfikację faktów wciąż spoczywa na nas, ludziach. I wygląda na to, że jeszcze długo tak pozostanie.