Chatboty potrafią pisać wiersze, tworzyć obrazy i tłumaczyć w kilkanaście języków. Ale wystarczy podrzucić im sudoku, by wpadły w intelektualny chaos. Nowe badanie z Uniwersytetu Kolorado ujawnia, że duże modele językowe w starciu z liczbami przegrywają — i to z kretesem. Co gorsza, gdy prosimy je o wyjaśnienie swoich kroków, potrafią… wymyślić prognozę pogody.
W skrócie
- Naukowcy z Uniwersytetu Kolorado w Boulder sprawdzili, jak AI radzi sobie z sudoku 6x6.
- Przetestowano m.in. modele o1, Llama‑3.1, Gemma‑2 i Mistral.
- Średni wynik skuteczności: 0,4% poprawnych rozwiązań.
- Najlepszy model (o1) rozwiązał ok. 65% łatwiejszych łamigłówek.
- W 95% przypadków AI źle tłumaczyła, jak doszła do odpowiedzi.
Sudoku kontra sztuczna inteligencja
Sudoku. Gra, która od lat gości w gazetach i aplikacjach, okazała się pułapką dla maszyn. Zespół Anirudha Maiyi z Uniwersytetu Kolorado przygotował 2300 plansz w formacie 6x6. Następnie wrzucił je na biurka dużych modeli językowych.
Efekt? Niemal całkowita kapitulacja. Wspólny wynik wszystkich testowanych systemów, 0,4% poprawnych rozwiązań, to jak kompletna porażka na sprawdzianie z logiki.
Dlaczego AI poległa?
Problem nie leży w liczbach. Sudoku to gra symboli i zależności. Aby je rozwiązać, trzeba jednocześnie pilnować wielu reguł. Modele AI próbują zaś „zgadywać” na podstawie prawdopodobieństwa, co pasuje w danym miejscu.
Modele nie biorą pod uwagę wszystkich ograniczeń naraz, tłumaczą badacze. To prowadzi do błędów, nawet przy prostych planszach.
Wyjaśnij swój tok myślenia… jeśli potrafisz
Drugi etap badania okazał się jeszcze bardziej kompromitujący. Naukowcy poprosili AI o uzasadnienie wyborów. Wynik: poprawne wytłumaczenia w zaledwie 5% przypadków.
Reszta? Przykłady z raportu to materiał na memy. Od stwierdzeń sprzecznych z faktami po… nagłe prognozy pogody w środku wywodu o liczbach.
Wnioski z badań
Maiya podsumował: – O AI mówi się, że potrafi rzeczy, których nikt się nie spodziewał. Ale równie często zawodzi w zadaniach wymagających precyzyjnego rozumowania.
W praktyce oznacza to, że chatbot może napisać powieść w stylu Sienkiewicza, ale jeśli poprosisz go o rozwiązanie sudoku – lepiej weź ołówek i zrób to sam.