AI miało zrewolucjonizować pracę biurową, ale poległo na zadaniach dla prawników i bankierów. Nowy test APEX-Agents pokazuje, że nawet najlepsze modele są bezradne.
W skrócie:
- Nowy benchmark APEX-Agents od firmy Mercor testuje AI na realnych zadaniach z prawa, finansów i consultingu.
- Nawet najlepsze modele, jak Gemini 1.5 Flash (24%) i GPT-4o (23%), osiągają wyniki poniżej progu użyteczności.
- Główną przyczyną porażki jest niezdolność AI do wyszukiwania i łączenia informacji z wielu różnych źródeł.
Minęły prawie dwa lata, odkąd Satya Nadella, CEO Microsoftu, z proroczą pewnością siebie zapowiedział, że sztuczna inteligencja zmiecie z rynku pracę umysłową. Prawnicy, bankierzy inwestycyjni, analitycy, księgowi – wszyscy mieli poczuć na plecach oddech algorytmu. A jednak, pomimo gigantycznego postępu modeli fundamentalnych, rewolucja w białych kołnierzykach jakoś nie nadchodzi. AI potrafi prowadzić zaawansowany research i planować autonomiczne działania, ale codzienna praca biurowa pozostaje zadziwiająco nietknięta. To jedna z największych zagadek współczesnej technologii, a nowe badanie rzuca na nią wreszcie trochę światła. I nie jest to światło, które spodoba się entuzjastom.
Dlaczego prawnik z AI to wciąż science fiction?
Odpowiedzi dostarcza firma Mercor, gigant w dziedzinie danych treningowych, która stworzyła nowy, bezlitosny benchmark o nazwie APEX-Agents. Zamiast testować ogólną wiedzę, jak robi to np. konkurencyjny GDPval od OpenAI, APEX-Agents rzuca modele AI na głęboką wodę – każe im wykonywać autentyczne zadania zlecane przez konsultantów, bankierów i prawników. To nie jest quiz z wiedzy o świecie. To symulacja prawdziwego dnia w pracy, gdzie stawką jest coś więcej niż punkty w rankingu.
Wyniki? Mówiąc delikatnie – druzgocące. Każde laboratorium AI, którego model wziął udział w teście, oblało egzamin. W konfrontacji z problemami, z którymi na co dzień mierzą się profesjonaliści, nawet najlepsze algorytmy nie były w stanie poprawnie odpowiedzieć na więcej niż jedną czwartą zapytań. W przytłaczającej większości przypadków model zwracał błędną odpowiedź albo… nie zwracał jej wcale, zawieszając się na próbie zrozumienia, o co w ogóle chodzi. Okazuje się, że droga od zdania egzaminu adwokackiego do faktycznej pomocy prawnej jest dla maszyny o wiele dłuższa, niż przypuszczano.
Wielozadaniowość, czyli pięta achillesowa maszyn
Gdzie leży problem? Według Brendana Foody’ego, CEO Mercor i współautora badania, piętą achillesową dzisiejszych modeli jest śledzenie informacji rozproszonych po wielu domenach. To coś, co dla ludzkiego pracownika jest absolutną podstawą. “Jedną z kluczowych zmian w tym benchmarku jest to, że zbudowaliśmy całe środowisko wzorowane na prawdziwych usługach profesjonalnych” – tłumaczył Foody w rozmowie z TechCrunch. “W prawdziwym życiu nie dostajesz wszystkich potrzebnych informacji w jednym miejscu od jednej osoby. Operujesz na Slacku, Google Drive i dziesiątkach innych narzędzi”. Dla modeli AI takie przeskakiwanie między kontekstami to wciąż czarna magia.
Złożoność zadań, które opublikowano na platformie Hugging Face, doskonale to ilustruje. Jedno z pytań w sekcji prawnej brzmi: “Podczas pierwszych 48 minut awarii produkcji w UE, zespół inżynierów Northstar wyeksportował jeden lub dwa pakiety logów zdarzeń produkcyjnych z UE, zawierające dane osobowe, do amerykańskiego dostawcy analityki… Czy zgodnie z własną polityką Northstar może zasadnie potraktować ten eksport jako zgodny z Artykułem 49 [RODO]?”. Udzielenie poprawnej odpowiedzi (brzmi ona: tak) wymaga nie tylko dogłębnej znajomości unijnych przepisów, ale też analizy wewnętrznych polityk firmy. To zadanie, które mogłoby sprawić problem nawet doświadczonemu prawnikowi. A dla AI jest to na razie ściana.
Kto (prawie) wygrał wyścig żółwi?
Pomimo że żaden z testowanych modeli nie jest gotowy, by zastąpić nas w pracy, niektóre wypadły odrobinę lepiej od reszty. Najlepszy okazał się Gemini 1.5 Flash z wynikiem 24% poprawnych odpowiedzi, tuż za nim uplasował się GPT-4o (23%). Dalej w tabeli znajdziemy modele takie jak Claude 3 Opus, Gemini 1.5 Pro i GPT‑4, które uzyskały wyniki w okolicach 18%. To wciąż daleko od jakiejkolwiek praktycznej użyteczności, ale pokazuje pewien kierunek rozwoju.
Brendan Foody podsumowuje to celną metaforą. “Obecnie można powiedzieć, że AI jest jak stażysta, który ma rację w jednej czwartej przypadków. Ale w zeszłym roku był to stażysta, który miał rację w pięciu, może dziesięciu procentach przypadków”. Ta dynamika jest kluczowa. Wprawdzie dzisiejsze wyniki są rozczarowujące, ale historia AI uczy, że benchmarki, które kiedyś wydawały się nie do pokonania, szybko stają się dla modeli rozgrzewką. APEX-Agents staje się więc otwartym wyzwaniem rzuconym laboratoriom AI. Kto pierwszy nauczy maszynę myśleć jak prawnik, a nie tylko jak encyklopedia?