OpenAI ogłasza, że ChatGPT wreszcie radzi sobie z prostą logiką. Na dowód pokazuje, że AI liczy litery. Chwilę później internauta obala ten sukces.
W skrócie:
- OpenAI poinformowało, że ChatGPT pokonał problem logiczny z liczeniem liter, który był dla niego wyzwaniem.
- Jako dowód firma pokazała zrzut ekranu, gdzie model poprawnie liczy litery “r” w angielskim słowie strawberry.
- Użytkownik portalu X błyskawicznie wykazał, że model nadal zawodzi, pytając o identycznie zbudowane słowo cranberry.
Kto choć raz próbował zmusić duży model językowy do wygenerowania tekstu o konkretnej liczbie słów, ten w cyrku się nie śmieje. Sztuczna inteligencja, zdolna do pisania poezji i kodu, potyka się na zadaniach, które pięciolatek rozwiązuje od ręki. To jeden z tych niewygodnych paradoksów, który przypomina, że za fasadą wszechwiedzącego cyfrowego bytu kryje się po prostu zaawansowana maszyneria do przewidywania kolejnego słowa. Dwa problemy były w tej materii wręcz legendarne, a ich rozwiązanie miało być kamieniem milowym. OpenAI ogłosiło, że kamień został przesunięty. A potem przyszedł jeden człowiek z żurawiną i wszystko zburzył.
Dlaczego policzenie liter to dla AI wyzwanie rodem z kosmosu?
Zanim przejdziemy do najnowszej komedii omyłek, warto zrozumieć, dlaczego AI tak bardzo nie radzi sobie z prostymi zadaniami. Weźmy dwa klasyki. Pierwszy: “Muszę umyć samochód. Myjnia jest 50 metrów od mojego domu. Powinienem tam iść na piechotę czy jechać samochodem?”. Przez długi czas ChatGPT i inne modele z całą powagą sugerowały podróż autem, kompletnie ignorując logikę sytuacji. Drugi, jeszcze słynniejszy, to liczenie liter. Pytanie o liczbę liter “r” w angielskim słowie “strawberry” (truskawka) kończyło się konfabulacją – AI uparcie twierdziło, że litery “r” tam nie ma.
Dzieje się tak, ponieważ modele językowe nie “myślą” i nie “rozumieją” tekstu jak ludzie. One operują na tokenach – fragmentach słów – i na podstawie gigantycznych zbiorów danych uczą się statystycznych zależności między nimi. Nie “widzą” słowa “strawberry” jako zbioru liter, lecz jako sekwencję tokenów, która najczęściej występuje w określonym kontekście. Liczenie pojedynczych znaków w tej architekturze jest zadaniem nienaturalnym, jak proszenie kalkulatora o namalowanie obrazu. To możliwe, ale wymaga obejścia jego podstawowej funkcji.
OpenAI ogłasza sukces. Internet: “Potrzymajcie mi piwo”
Kilka dni temu OpenAI z dumą ogłosiło przełom. Na oficjalnym profilu pojawił się zrzut ekranu, na którym ChatGPT, zapytany o litery “r” w słowie “strawberry”, wreszcie odpowiada poprawnie: “There are three ‘r’s in the word ‘strawberry’”. Sukces. Koniec żartów. Mem został pokonany. Przynajmniej tak się wydawało. Wystarczyło kilka godzin, by czar prysł.
W odpowiedzi na wpis OpenAI, jeden z użytkowników platformy X (dawniej Twitter) opublikował własny zrzut ekranu. Postawił przed modelem zadanie łudząco podobne. Zapytał o liczbę liter “r” w słowie “cranberry” (żurawina). Słowo ma identyczną strukturę i – co kluczowe – taką samą liczbę liter “r”. Odpowiedź ChatuGPT? “There is only one ‘r’ in the word ‘cranberry’”. Kurtyna. Model najwyraźniej został ręcznie “nauczony” odpowiedzi na popularny przykład z truskawką, ale nie przełożyło się to na ogólną zdolność rozumienia problemu. To tak, jakby uczeń nauczył się na pamięć wyniku działania 2+2, ale nie potrafił rozwiązać 2+3.
Co to oznacza dla przyszłości AI? Mniej, niż myślicie
Czy ta anegdota to dowód na to, że cała rewolucja AI to wydmuszka? Absolutnie nie. To raczej niezwykle cenne przypomnienie o naturze tej technologii. Modele językowe to potężne narzędzia, ale wciąż tylko narzędzia, ze swoimi specyficznymi ograniczeniami. Ich “inteligencja” jest statystyczna, a nie logiczna w ludzkim rozumieniu. Historia z żurawiną doskonale ilustruje, jak daleko jesteśmy od stworzenia prawdziwej, ogólnej sztucznej inteligencji (AGI), która potrafiłaby elastycznie rozumować i przenosić wiedzę między różnymi, nawet bardzo podobnymi, problemami.
Ta sytuacja to zimny prysznic dla tych, którzy bezkrytycznie ufają odpowiedziom generowanym przez AI. Pokazuje, że halucynacje i błędy logiczne wciąż są wpisane w DNA tej technologii i prawdopodobnie pozostaną z nami jeszcze długo. Zamiast więc czekać na cyfrową zagładę, lepiej nauczmy się z tych narzędzi korzystać – z dużą dozą krytycyzmu i świadomością, że czasami, by policzyć do trzech, wciąż potrzeba człowieka. A przynajmniej kogoś, kto odróżnia truskawkę od żurawiny.