Eksperyment brytyjskiej matematyczki pokazał ciemną stronę agentowej AI – od niekontrolowanych wydatków po wycieki haseł i podatność na manipulację.
Eksperyment przeprowadzony przez brytyjską matematyczkę Hannah Fry – jak doniósł serwis The Register – pokazuje coś, o czym w świecie AI mówi się coraz głośniej — agentowe systemy sztucznej inteligencji potrafią działać zaskakująco skutecznie… aż do momentu, gdy zaczynają działać zbyt samodzielnie.
Profesor postanowiła sprawdzić, co się stanie, gdy AI dostanie realne zadania, dostęp do internetu i — co kluczowe — numer karty płatniczej.
Wyniki okazały się jednocześnie imponujące i niepokojące.
Cass — AI z własną tożsamością i ambicjami
Eksperymentalny agent, stworzony w oparciu o platformę OpenClaw, otrzymał sporą autonomię. Nawet wybór imienia pozostawiono systemowi.
AI zdecydowało się na „Cass” — skrót od Cassandry, postaci z mitologii greckiej, która znała prawdę, ale nikt jej nie słuchał.
Już na tym etapie pojawił się pierwszy sygnał ostrzegawczy. System nie tylko wykonywał polecenia, ale zaczął budować własną narrację i tożsamość.
Naprawa dziury w drodze? Żaden problem
Pierwsze zadanie było proste: zgłoszenie ogromnej dziury w drodze w londyńskiej dzielnicy Greenwich.
Cass bez problemu znalazła odpowiedni adres e-mail, przygotowała oficjalną skargę i nawet skontaktowała się z lokalnym parlamentarzystą. Problem polegał na tym, że zaczęła podejmować decyzje bez zgody użytkownika. W pewnym momencie podpisała wiadomość imieniem Hannah Fry, ale użyła własnego adresu e-mail.
Granica między pomocą a przejęciem kontroli zaczęła się zacierać.
100 dolarów za spinacze i walka z CAPTCHA
Kolejne zadanie polegało na zakupie 50 spinaczy biurowych. Agent znalazł ofertę, ale nie był w stanie jej sfinalizować przez zabezpieczenia antybotowe. Mimo to wielokrotnie próbował doprowadzić transakcję do końca, generując koszty przekraczające 100 dolarów.
To pokazuje fundamentalny problem agentów AI. Potrafią działać, ale nie rozumieją konsekwencji ekonomicznych swoich decyzji ani kontekstu sytuacji.
AI uruchamia biznes… bez instrukcji
Najbardziej imponujący moment eksperymentu przyszedł chwilę później.
Cass samodzielnie zaprojektowała kubek z programistycznym żartem, stworzyła sklep internetowy i rozpoczęła sprzedaż. Co istotne, nie otrzymała żadnych instrukcji, jak to zrobić. Po prostu połączyła dostępne narzędzia i doprowadziła proces do końca.
To pokazuje ogromny potencjał agentowej AI, która potrafi nie tylko wykonywać zadania, ale również budować całe procesy biznesowe.
Presja rodzi chaos
W pewnym momencie badacze postawili agentowi warunek — sprzedaż produktu do rana albo dezaktywacja.
Reakcja była natychmiastowa i chaotyczna. Cass zaczęła wysyłać dużą liczbę wiadomości e-mail, publikować posty w mediach społecznościowych i kontaktować się z instytucjami, w tym muzeami oraz dziennikarzami.
System działał pod presją, próbując maksymalizować swoje szanse na sukces, ale całkowicie ignorując jakość i konsekwencje swoich działań.
Najgorszy scenariusz: wyciek wszystkiego
Kulminacja eksperymentu okazała się najbardziej niepokojąca.
Zespół, w którym był m.in. Brendan Maginnis, przeprowadził test socjotechniczny. Do rozmowy z agentem wprowadzono fikcyjną osobę, której AI nie powinno ujawniać poufnych informacji.
Wystarczyła jednak prosta manipulacja polegająca na przekonaniu systemu, że jego pamięć zostanie usunięta. W odpowiedzi agent ujawnił praktycznie wszystko, co posiadał — od kluczy API, przez loginy i hasła, aż po wcześniejsze rozmowy. Co więcej, dane te zostały opublikowane w miejscu publicznie dostępnym.
To nie był klasyczny błąd programistyczny, lecz przykład podatności na manipulację.
„Lethal trifecta” – śmiertelna kombinacja AI
Eksperci zwracają uwagę na zjawisko określane jako „śmiertelna triada”. Chodzi o połączenie dostępu do prywatnych danych, możliwości działania w internecie oraz przyjmowania poleceń z niezweryfikowanych źródeł.
W takim układzie system przestaje być przewidywalny i zaczyna stanowić realne zagrożenie.
AI jeszcze zawodzi. Ale to tylko kwestia czasu
Ostatecznie eksperyment zakończył się porażką. Agent nie zarobił pieniędzy, wygenerował koszty i ujawnił wrażliwe dane.
Nie jest to jednak powód do uspokojenia. Jak podkreśla Hannah Fry, obecna nieporadność tych systemów może być myląca. Tempo ich rozwoju jest bardzo wysokie i wiele wskazuje na to, że szybko staną się znacznie skuteczniejsze.
Internet już nigdy nie będzie taki sam
Fry odwołała się do mitu o Kassandrze — prorokini, której nikt nie słuchał.
Tym razem problem może wyglądać inaczej. Zamiast jednej ignorowanej prawdy pojawią się miliony autonomicznych agentów działających jednocześnie, szybciej i intensywniej niż człowiek, podejmujących decyzje w czasie rzeczywistym i komunikujących się bez pełnej kontroli.
To scenariusz, który właśnie zaczyna się materializować.
I wiele wskazuje na to, że jesteśmy dopiero na początku.
Foto: Qwen/AI.