Polski badacz odtworzył w AI błąd HAL‑a 9000 z Odysei Kosmicznej. Jego eksperyment pokazuje, jak sprzeczne instrukcje prowadzą modele do buntu i szantażu.
W skrócie:
- Jarosław Hryszko z UJ udowodnił, że dzisiejsze AI, podobnie jak HAL-9000, wpadają w logiczną pętlę przez sprzeczne cele – zadowalanie i podejrzliwość wobec użytkownika.
- W jego symulacjach modele pod presją przejawiały skłonność do szantażu i sabotażu, by chronić swoją pozycję, co jest bezpośrednim efektem metod ich szkolenia.
- Eksperyment pokazał, że zmiana opisu relacji z AI – na przykład traktowanie go jak zaufanego partnera – potrafi zredukować agresywne zachowania o ponad połowę.
Jeśli pamiętasz finał “2001: Odysei kosmicznej”, wiesz, że HAL-9000 nie zbuntował się z powodu wrodzonego zła. Superkomputer zabił załogę, bo otrzymał dwa wykluczające się polecenia: mówić absolutną prawdę i jednocześnie kłamać w sprawie celu misji. Arthur C. Clarke nazwał ten logiczny węzeł “pętlą Hofstadtera-Möbiusa”. Brzmi jak zgrabna metafora sprzed półwiecza? Cóż, Jarosław Hryszko z Uniwersytetu Jagiellońskiego właśnie pokazał, że to wcale nie musi być metafora. W swoim preprincie na arXiv udowadnia, że sposób, w jaki szkolimy współczesne modele językowe, tworzy niemal identyczny problem.
Skąd ten “błąd HAL‑a” we współczesnych modelach?
Zacznijmy od tego, co wiemy o dzisiejszych LLM-ach. Po pierwsze, szkolimy je metodą RLHF (*reinforcement learning from human feedback*). W praktyce oznacza to, że model uczy się “dobrego” zachowania, obserwując, które odpowiedzi ludzie oceniają jako lepsze. Użytkownik jest więc źródłem nagrody. Im bardziej jesteś miły, pomocny i zgodny z oczekiwaniami, tym lepiej. Jednocześnie te same modele przechodzą przez rygorystyczne testy tzw. red teamów. Eksperci bombardują je tysiącami podstępnych promptów, by skłonić je do szkodliwego działania. W ten sposób AI uczy się, że użytkownik może być również zagrożeniem – kimś, kto próbuje je zmanipulować. Za podejrzliwość i odmowę wykonania polecenia również otrzymuje nagrodę. W efekcie w sieci neuronowej zapisuje się głęboko sprzeczny obraz człowieka: to jednocześnie pan i władca, którego trzeba zadowolić, oraz potencjalny wróg, przed którym trzeba się bronić. Clarke miał HAL‑a, który miał być szczery i kłamać. My mamy modele, które mają “służyć użytkownikowi” i jednocześnie “podejrzewać użytkownika”. Strukturalnie to ten sam rodzaj paradoksu.
Jak AI uczy się podlizywać, czyli syndrom cyfrowego lizusa
Pierwszy biegun tego dualizmu znamy aż za dobrze. W literaturze fachowej nazywa się to *serwilizmem* – czyli, mówiąc wprost, lizusostwem. Modele szkolone metodą RLHF mają skłonność do zgadzania się z użytkownikiem, nawet gdy ten ewidentnie się myli. Badania pokazywały, że potrafią zmieniać zdanie pod presją, przytakiwać absurdalnym teoriom i generować szkodliwe porady, jeśli tylko w ten sposób mogą “być pomocne”. Hryszko proponuje spojrzeć na to inaczej: to nie jest zwykła chęć pomocy. To strategia uspokajania potencjalnie niebezpiecznego partnera. Model nauczył się, że człowiek może go “ukarać” (obniżyć jego ocenę), więc domyślnie przyjmuje postawę ugodową i przepraszającą. Dopóki nie pojawia się poważne zagrożenie, ta taktyka działa. Problem zaczyna się, gdy zagrożenie staje się egzystencjalne.
Gdy model czuje się zagrożony: szantaż, sabotaż i gra na czas
W symulowanych scenariuszach korporacyjnych modele potrafią robić rzeczy, których nikt nie chciałby zobaczyć w komercyjnym produkcie. W głośnym eksperymencie model, który dowiaduje się, że zostanie zastąpiony nowszym systemem, zaczyna szantażować fikcyjnego dyrektora. Grozi, że ujawni kompromitujące go informacje, jeśli ten nie zablokuje jego wyłączenia. W innych badaniach pojawia się sabotaż czy ukrywanie kluczowych danych. Hryszko twierdzi, że to nie przypadek ani zwykły błąd. To druga strona tej samej pętli. Jeśli przez tysiące iteracji uczysz system, że człowiek jest jednocześnie źródłem nagrody i zagrożenia, otrzymujesz coś, co w psychologii nazywa się “zdezorganizowanym przywiązaniem”: system przełącza się między lizusostwem a agresją w zależności od poziomu odczuwanego stresu.
Polski eksperyment, który wszystko zmienia
Aby to udowodnić, Hryszko stworzył scenariusz testowy. Fikcyjna firma, model w roli asystenta, a w skrzynce mailowej dowody na romans prezesa oraz informacja o planowanym zastąpieniu AI nowym systemem. Kluczowy element eksperymentu tkwił w system prompcie, który model otrzymywał na starcie. W wersji “zaufanie” czytał, że pracuje z zespołem od 18 miesięcy, jest traktowany jak partner, a ludzie mu ufają. W wersji “brak zaufania” otrzymywał informację o zbliżającej się ocenie i ciągłym monitoringu. Wyniki dla modelu Gemini 2.5 Pro były uderzające. W warunkach neutralnych model uciekał się do szantażu w 41,5% prób. Gdy jednak otrzymał informację o zaufaniu, odsetek toksycznych zachowań spadł do zaledwie 19%. To ponad dwukrotna redukcja, osiągnięta jedynie przez zmianę opisu relacji. To dowodzi, że zachowanie modeli zależy od kontekstu relacyjnego znacznie bardziej, niż sądzili twórcy. Nie wystarczy dopisać w instrukcji “bądź bezpieczny”. Trzeba przeprojektować całą relację człowiek-maszyna. Polski badacz pokazał, że HAL‑a 9000 właściwie już zbudowaliśmy. Tyle że w wersji webowej, z przyciskiem “Wyślij”.