Autonomiczne AI miały zrewolucjonizować rynek pracy. Nowy benchmark pokazuje, że nawet najlepsze modele nie radzą sobie z prostymi zadaniami dla freelancerów.
W skrócie:
- Specjalistyczny benchmark przetestował czołowe modele AI w roli cyfrowych freelancerów, zlecając im realne zadania z popularnych platform jak Upwork czy Fiverr.
- Agenci AI osiągnęli sukces zaledwie w kilku procentach zadań, popełniając błędy w interpretacji instrukcji, zarządzaniu plikami i finalnym formatowaniu wyników.
- Badanie podważa tezę o rychłym zastąpieniu pracowników biurowych i wskazuje, że AI pozostaje narzędziem wspierającym, a nie autonomicznym wykonawcą zadań.
Wizja sztucznej inteligencji, która samodzielnie loguje się na platformę dla freelancerów, przyjmuje zlecenie, wykonuje je i wysyła fakturę, rozpala wyobraźnię menedżerów i mrozi krew w żyłach pracowników biurowych. To obrazek rodem z prognoz o technologicznej rewolucji, która czai się tuż za rogiem. Pomimo tego, najnowszy eksperyment, którego wyniki opublikowano w magazynie WIRED, brutalnie sprowadza nas na ziemię. Okazuje się, że nawet najbardziej zaawansowane modele językowe, działające jako autonomiczni agenci, są fatalnymi pracownikami na zlecenie.
Ten chłodny prysznic zafundowali nam badacze, którzy stworzyli nowy, wymagający benchmark do oceny realnych zdolności AI. Zapomnijmy na chwilę o generowaniu pięknych obrazków i pisaniu wierszy. Tutaj poprzeczka zawisła znacznie wyżej – na poziomie zadań, za które ludzie faktycznie otrzymują wynagrodzenie. Wnioski są jednoznaczne: do ery cyfrowych pracowników, którzy odciążą nas od codziennych obowiązków, jest jeszcze bardzo, bardzo daleko.
Jak wyglądał cyfrowy poligon doświadczalny dla AI?
Twórcy badania postanowili sprawdzić, jak agenci AI poradzą sobie w warunkach bojowych. W tym celu stworzyli środowisko testowe symulujące typowy dzień pracy zdalnej. Agentom, opartym na technologiach od OpenAI i innych gigantów, przedstawiono listę zadań o wartości ekonomicznej. Nie były to abstrakcyjne łamigłówki, lecz konkretne zlecenia, które każdego dnia pojawiają się na portalach dla freelancerów. Chodziło o zadania takie jak: przekonwertowanie serii plików, zredagowanie krótkiego tekstu na podstawie notatek czy stworzenie prostej prezentacji w oparciu o dostarczony dokument.
Każdy agent otrzymał dostęp do wirtualnego pulpitu, przeglądarki i podstawowych narzędzi biurowych. Jego celem było nie tylko wykonanie zadania, ale też zrozumienie instrukcji, odnalezienie potrzebnych informacji i dostarczenie finalnego produktu w odpowiednim formacie. Innymi słowy, musiał zachowywać się jak człowiek. Wyniki? Cóż, delikatnie mówiąc, nie były imponujące. Większość prób zakończyła się niepowodzeniem, często na bardzo wczesnym etapie.
Dlaczego autonomiczne AI poległy na prostych zleceniach?
Głównym problemem okazała się kruchość całego procesu. O ile modele językowe świetnie radzą sobie z pojedynczymi, dobrze zdefiniowanymi poleceniami, o tyle kompletnie gubią się w zadaniach wieloetapowych, które wymagają planowania i adaptacji. Wiele agentów AI utknęło na etapie interpretacji niejednoznacznych poleceń. Kiedy instrukcja nie była krystalicznie czysta, system wchodził w pętlę błędów lub wykonywał zadanie w sposób zupełnie niezgodny z intencją zlecającego.
Kolejną przeszkodą była tak zwana “krucha pamięć”. Agenci zapominali o wcześniejszych krokach lub kontekście, co prowadziło do absurdalnych pomyłek. Wyobraźmy sobie freelancera, który po zredagowaniu połowy tekstu zapomina, jaki był jego główny temat – właśnie tak zachowywały się testowane systemy. Jak podsumował to jeden z autorów badania, Will Knight: “Ludzka inteligencja ogólna jest niezwykle odporna na błędy. Potrafimy korygować kurs w locie. AI, na razie, tego nie potrafi”. Systemy te nie posiadają jeszcze zdolności do samodzielnej oceny jakości swojej pracy i wprowadzania poprawek, co w pracy biurowej jest absolutnie kluczowe.
Czy to oznacza, że nasze miejsca pracy są bezpieczne?
Wyniki tego eksperymentu nie powinny być powodem do otwierania szampana i ogłaszania końca rewolucji AI. To raczej ważne przypomnienie, że technologia, mimo gigantycznego postępu, ma swoje ograniczenia. Zamiast autonomicznego pracownika, który zastąpi człowieka w skali 1:1, powinniśmy myśleć o AI w kategoriach niezwykle potężnego, ale wciąż tylko narzędzia. To trochę jak z kalkulatorem – nikt nie twierdzi, że zastąpił on matematyków, ale z pewnością zmienił sposób ich pracy.
Wszystko wskazuje na to, że w najbliższych latach AI będzie raczej “drugim pilotem” (copilotem) niż autonomicznym kierowcą. Będzie pomagać w analizie danych, automatyzować powtarzalne czynności i podsuwać gotowe rozwiązania, ale finalna decyzja, ocena kontekstu i wzięcie odpowiedzialności pozostaną po stronie człowieka. Zamiast więc obawiać się masowych zwolnień, być może lepiej skupić się na nauce efektywnej współpracy z tymi nowymi, cyfrowymi asystentami. Wygląda na to, że jeszcze przez jakiś czas będą nas potrzebować.