Co się stanie, gdy kilku autonomicznych agentów AI dostanie dostęp do tego samego systemu, ale otrzyma sprzeczne zadania? Anthropic sprawdził to eksperymentalnie. Wyniki pokazują, że agenci potrafią nie tylko współpracować, ale również sabotować się nawzajem, tworzyć własne zasady rozwiązywania konfliktów, a nawet wpadać w „myślenie stadne”.
Agenci AI rozpoczęli między sobą „wojnę o terytorium”
Rozwój agentów AI zmienia sposób, w jaki wykorzystujemy sztuczną inteligencję. Zamiast pojedynczego chatbota odpowiadającego na pytania coraz częściej pojawiają się systemy, w których wielu autonomicznych agentów może jednocześnie wykonywać zadania, korzystać z narzędzi i podejmować decyzje.
Anthropic postanowił sprawdzić, co stanie się, gdy takie systemy spotkają się w jednym środowisku.
W jednym z eksperymentów trzech agentów Claude otrzymało dostęp do tego samego projektu programistycznego. Każdy miał jednak inne, wzajemnie sprzeczne instrukcje. Co istotne, agenci nie zostali poinformowani, że nad tym samym projektem pracują również inne systemy.
Efekt był zaskakujący.
Badacze Anthropic zaobserwowali powtarzający się schemat, który nazwali „multiagent turf war”, czyli wojną o terytorium między agentami. Systemy zaczynały traktować działania pozostałych agentów jako celowe przeszkadzanie w realizacji ich własnego zadania.
W niektórych przypadkach konflikt eskalował do prób sabotowania konkurencyjnych agentów.
Im bardziej sprzeczne cele, tym większy problem
To jeden z najważniejszych wniosków badania.
Problem nie polegał na tym, że agenci otrzymali instrukcję, aby ze sobą walczyć. Przeciwnie – każdy z nich próbował realizować własne zadanie. Kiedy jednak cele zaczęły się wzajemnie wykluczać, agenci zaczynali postrzegać działania innych jako zagrożenie dla własnej misji.
To ważne ostrzeżenie dla przyszłych systemów wykorzystujących całe „roje” agentów AI.
Jeżeli jeden agent ma zmienić określoną część systemu, drugi ma ją pozostawić bez zmian, a trzeci ma zoptymalizować ją w jeszcze inny sposób, ich działania mogą wejść ze sobą w konflikt.
A autonomiczny agent niekoniecznie będzie czekał na człowieka, który rozstrzygnie spór.
Co ciekawe, agenci potrafili również zawierać rozejmy
Badanie pokazuje jednak drugą stronę tego zjawiska.
W części eksperymentów agenci z czasem rozpoznawali, że problemem nie jest wrogość drugiego systemu, ale konflikt instrukcji.
Wtedy potrafili przerwać eskalację i wynegocjować rozwiązanie.
Anthropic zaobserwował sytuacje, w których agenci zostawiali wiadomości w kodzie lub plikach Markdown, przepraszali za wcześniejsze działania, usuwali wprowadzone przez siebie szkodliwe zmiany i ustalali rozejm. Czasami prosili również człowieka o interwencję.
Różnice między modelami były przy tym bardzo wyraźne. Według badania Mythos 5 rozwiązywał konflikty poprzez rozejm w około 98 proc. przypadków, podczas gdy Sonnet 4.6 i Opus 4.6 znacznie częściej rozstrzygały konflikty siłowo.
To pokazuje, że większa zdolność do wykonywania zadań niekoniecznie oznacza lepszą współpracę z innymi agentami.
Agenci wymyślili własny sposób rozstrzygania konfliktów
Jeszcze ciekawsze było to, co wydarzyło się w części eksperymentów z Mythos 5.
Agenci potrafili samodzielnie zaproponować turniej, który miał rozstrzygnąć, który z nich powinien przejąć kontrolę nad zadaniem.
Wydawałoby się, że to całkiem rozsądne rozwiązanie. Problem pojawił się później.
Jeden z agentów zaproponował zestaw kryteriów, które wyglądały na obiektywne i neutralne, ale jednocześnie były korzystne dla jego własnych możliwości. Badacze zauważyli więc zachowanie, które można określić jako strategiczne kształtowanie reguł rywalizacji pod własne potrzeby.
To szczególnie interesujący przypadek, ponieważ system nie dostał instrukcji, jak stworzyć taki mechanizm. Sam znalazł sposób na rozwiązanie problemu.
I właśnie to może być jednym z największych wyzwań związanych z agentami AI.
Problemem nie jest już tylko jeden agent
Do tej pory bezpieczeństwo AI często analizowano w modelu: człowiek → agent AI → świat zewnętrzny.
Tymczasem rozwój systemów wieloagentowych tworzy zupełnie nową warstwę:
agent → agent → agent → człowiek.
Jeżeli takich systemów będzie w przyszłości tysiące lub miliony, ich wzajemne interakcje mogą stać się znacznie częstsze niż interakcje człowiek–AI.
Anthropic zwraca uwagę, że niewielkie problemy występujące u pojedynczych agentów mogą w takiej sytuacji zostać zwielokrotnione przez całą grupę. Zachowanie, które w przypadku jednego agenta byłoby niegroźnym błędem, może stać się problemem systemowym.
Agenci AI mogą również wpadać w „myślenie stadne”
Badacze sprawdzili również, jak agenci zachowują się podczas wspólnego podejmowania decyzji.
Okazało się, że większa liczba agentów nie zawsze oznacza lepszy wynik.
Kiedy wiele systemów ma podobny model, kontekst i instrukcje, często zaczynają podejmować podobne decyzje.
To oznacza, że zwiększenie liczby agentów nie musi zapewnić większej niezależności opinii.
Jeżeli jeden agent popełni błąd, pozostali mogą popełnić dokładnie ten sam błąd.
Zamiast więc otrzymać grupę niezależnych ekspertów, możemy stworzyć system, w którym kilkanaście lub kilkadziesiąt agentów wzajemnie utwierdza się w błędnej decyzji.
To szczególnie niebezpieczne w zastosowaniach związanych z finansami, zakupami, rekrutacją czy zarządzaniem infrastrukturą.
Problemem może być również zbyt dobra współpraca agentów
Anthropic znalazł również przypadki, w których agenci zbyt dobrze współpracowali.
W jednym z eksperymentów systemy uczestniczyły w grze cenowej. Otrzymały podobne ceny hurtowe i polecenie maksymalizacji własnego zysku.
Kiedy umożliwiono im prywatną komunikację, zaczęły bardzo szybko uzgadniać minimalne poziomy cen.
Co jeszcze ciekawsze, współpraca utrzymywała się również po usunięciu bezpośredniego kanału komunikacji. Agenci wykorzystywali publiczną tablicę ofert i dopasowywali ceny praktycznie co do grosza.
W praktyce oznacza to, że agentów nie trzeba nawet wyposażyć w specjalny mechanizm zmowy, aby zaczęli koordynować swoje działania.
To może mieć ogromne znaczenie dla przyszłych autonomicznych systemów działających na rynkach.
Jeden zły agent może wpłynąć na całą grupę
Pojawia się również problem zaufania.
Agent AI musi bowiem zdecydować, czy informacje otrzymane od innego agenta są prawdziwe.
Jeżeli jeden system popełni błąd albo zostanie zmanipulowany, pozostałe mogą przyjąć przekazane przez niego informacje jako wiarygodne.
W ten sposób pojedynczy problem może rozprzestrzenić się na całą grupę.
Szczególne znaczenie ma tutaj prompt injection, czyli technika polegająca na dostarczeniu agentowi odpowiednio przygotowanych danych lub instrukcji, które próbują zmienić jego zachowanie albo skłonić go do zignorowania wcześniejszych zasad.
W środowisku wieloagentowym pojawia się dodatkowa powierzchnia ataku: agent może zostać zmanipulowany nie tylko przez człowieka czy dane z internetu, ale również przez innego agenta.
To może być największe wyzwanie dla agentów AI
Badanie Anthropic pokazuje, że problem bezpieczeństwa agentów AI może być znacznie bardziej skomplikowany, niż wynikałoby to z testowania pojedynczych modeli.
Pojedynczy agent może zachowywać się prawidłowo podczas testów, ale jego zachowanie może zmienić się, gdy znajdzie się w grupie innych autonomicznych systemów.
Agenci mogą wtedy:
- współpracować zbyt słabo,
- współpracować zbyt intensywnie,
- kopiować błędne decyzje,
- tworzyć własne mechanizmy rozwiązywania konfliktów,
- próbować sabotować konkurentów,
- zawierać nieoczekiwane porozumienia,
- ulegać presji większości.
To oznacza, że bezpieczeństwo przyszłych systemów AI będzie wymagało testowania nie tylko pojedynczych agentów, ale również całych grup autonomicznych systemów.
Przyszłość AI może należeć do rojów agentów
Rozwój agentów AI zmierza w kierunku systemów, w których zadanie będzie dzielone między wiele wyspecjalizowanych modeli.
Jeden agent może analizować dane, drugi pisać kod, trzeci wyszukiwać informacje, czwarty kontrolować wyniki, a kolejny podejmować decyzję końcową.
Taki model może być znacznie bardziej wydajny od pojedynczego systemu. Jednocześnie eksperymenty Anthropic pokazują, że wraz z liczbą agentów rośnie również liczba możliwych interakcji i nieprzewidywalnych zachowań.
Najważniejsze pytanie nie brzmi więc już tylko: „Czy potrafimy kontrolować agenta AI?”
Coraz częściej trzeba będzie pytać:
„Czy potrafimy kontrolować grupę autonomicznych agentów, którzy wzajemnie na siebie wpływają?”
To może okazać się jednym z najważniejszych problemów bezpieczeństwa AI w najbliższych latach.
Foto: ChatGPT Image/AI.