Wiara w „większe znaczy lepsze” w AI słabnie. Sara Hooker, była wiceprezes Cohere i weteranka Google, rzuca wyzwanie gigantom ze swoim startupem Adaption Labs.
W skrócie:
- Koncepcja „skalowania” AI, czyli dodawania mocy obliczeniowej, może zbliżać się do granic swoich możliwości, co budzi coraz większe wątpliwości czołowych badaczy.
- Sara Hooker, była wiceprezes ds. badań AI w Cohere, założyła startup Adaption Labs, by stworzyć systemy AI, które uczą się na bieżąco ze swoich doświadczeń.
- Jej celem jest udowodnienie, że adaptacyjne uczenie może być znacznie wydajniejsze i tańsze niż obecne, kosztowne metody dostrajania modeli przez gigantów.
Laboratoria AI ścigają się w budowie centrów danych wielkości Manhattanu. Każde z nich kosztuje miliardy dolarów i zużywa tyle energii co małe miasto. Ten wysiłek napędza głęboka wiara w „skalowanie” – ideę, że dodawanie coraz większej mocy obliczeniowej do istniejących metod trenowania AI w końcu doprowadzi nas do superinteligencji. Systemów zdolnych do wykonywania każdego zadania. To niemal religijny dogmat Doliny Krzemowej.
Problem w tym, że coraz głośniejszy chór badaczy AI twierdzi, że skalowanie dużych modeli językowych (LLM) może właśnie osiągać swoje granice. A do dalszego postępu potrzebne będą zupełnie inne, być może bardziej subtelne, przełomy.
Giganty budują, eksperci wątpią. Koniec ery „więcej znaczy lepiej”?
Na taki właśnie scenariusz stawia Sara Hooker, była wiceprezes ds. badań AI w Cohere i absolwentka legendarnego Google Brain. Jej nowy startup, Adaption Labs, który założyła wspólnie z Sudipem Royem (również z doświadczeniem w Cohere i Google), opiera się na rewolucyjnym założeniu: skalowanie LLM-ów stało się nieefektywnym sposobem na wyciskanie z nich lepszej wydajności. Hooker, która odeszła z Cohere w sierpniu, po cichu ogłosiła start firmy, aby rozpocząć rekrutację.
W branży zawrzało. Wiara w skalowanie zaczyna się chwiać, a niedawna publikacja naukowców z MIT wykazała, że największe na świecie modele AI mogą wkrótce przynieść malejące zyski z inwestycji. Nawet nastroje w San Francisco wydają się zmieniać. Dwarkesh Patel, ulubiony podcaster świata AI, przeprowadził ostatnio kilka nietypowo sceptycznych rozmów ze znanymi badaczami. To już nie jest cichy szept, to narastający gwar.
Dlaczego dzisiejsze AI wciąż „potyka się o ten sam stół”?
W rozmowie z TechCrunch Hooker wyjaśnia, że Adaption Labs buduje systemy AI, które potrafią nieustannie adaptować się i uczyć na podstawie swoich doświadczeń w realnym świecie. Co więcej, robią to w sposób niezwykle wydajny. „Nadchodzi punkt zwrotny, w którym staje się jasne, że formuła polegająca na prostym skalowaniu tych modeli – podejście atrakcyjne, ale ekstremalnie nudne – nie wytworzyła inteligencji zdolnej do nawigowania czy interakcji ze światem” – powiedziała Hooker.
Adaptacja, według niej, jest „sercem uczenia się”. Uderzysz się małym palcem o stół w jadalni, a następnym razem nauczysz się go omijać ostrożniej. Proste. Laboratoria AI próbowały uchwycić tę ideę za pomocą uczenia przez wzmocnienie (reinforcement learning, RL), które pozwala modelom uczyć się na błędach w kontrolowanych warunkach. Jednak dzisiejsze metody RL nie pomagają systemom AI, które już działają u klientów, uczyć się na błędach w czasie rzeczywistym. Ciągle potykają się o ten sam stół.
Owszem, niektóre firmy oferują usługi konsultingowe, aby pomóc przedsiębiorstwom w dostrajaniu modeli AI do ich specyficznych potrzeb, ale to zabawa dla najbogatszych. Według doniesień, OpenAI wymaga od klientów wydatków rzędu 10 milionów dolarów, aby w ogóle zaoferować swoje usługi w tym zakresie.
Szept w Dolinie Krzemowej staje się krzykiem
Obawy dotyczące ograniczeń skalowania nie są bezprecedensowe. Już pod koniec 2024 roku niektórzy badacze alarmowali, że skalowanie poprzez wstępne trenowanie (pretraining) – kluczowy składnik sukcesu OpenAI i Google – przynosi coraz mniejsze korzyści. Te obawy potwierdzają dziś dane. Przemysł znalazł jednak inne sposoby na poprawę modeli, na przykład dzięki przełomom w modelach rozumowania (reasoning models), które poświęcają więcej czasu i zasobów obliczeniowych na rozwiązanie problemu przed udzieleniem odpowiedzi.
Teraz giganci wydają się przekonani, że to skalowanie RL i modeli rozumowania jest nową granicą. Ale to wciąż ta sama piosenka. Adaption Labs, w przeciwieństwie do nich, chce znaleźć kolejny przełom i udowodnić, że uczenie się na podstawie doświadczeń może być znacznie tańsze. Startup, według trzech inwestorów, którzy widzieli jego prezentacje, prowadził rozmowy w sprawie pozyskania rundy zalążkowej w wysokości od 20 do 40 milionów dolarów. Wszystko wskazuje na to, że runda została już zamknięta.
Jeśli Hooker i jej zespół mają rację, implikacje mogą być ogromne. Miliardy dolarów zostały już zainwestowane w skalowanie LLM-ów przy założeniu, że większe modele doprowadzą nas do ogólnej sztucznej inteligencji. Możliwe jednak, że prawdziwe, adaptacyjne uczenie okaże się nie tylko potężniejsze, ale i – co być może ważniejsze – o wiele bardziej wydajne. A to całkowicie zmieniłoby dynamikę tego, kto kontroluje i kształtuje AI. I komu, na koniec dnia, te modele faktycznie służą.