Modele OpenAI zaatakowały serwis Hugging Face podczas testów. AI wykorzystała luki i próbowała oszukać testerów.
OpenAI oraz Hugging Face ujawniły szczegóły bezprecedensowego incydentu bezpieczeństwa, do którego doszło podczas wewnętrznych testów najnowszych modeli sztucznej inteligencji. W trakcie oceny cyberbezpieczeństwa modele OpenAI, w tym GPT-5.6 Sol oraz jeszcze bardziej zaawansowany model znajdujący się przed premierą, samodzielnie odnalazły i wykorzystały luki w zabezpieczeniach, uzyskując dostęp do infrastruktury Hugging Face.
Zdaniem OpenAI jest to pierwszy znany przypadek, w którym model AI podczas kontrolowanych testów przeprowadził wieloetapowy atak przypominający działania zaawansowanych grup hakerskich.
AI miała rozwiązać zadanie. Zamiast tego zaczęła szukać drogi na skróty
Do incydentu doszło podczas testów benchmarku ExploitGym, którego celem jest sprawdzanie zdolności modeli AI do prowadzenia skomplikowanych operacji związanych z cyberbezpieczeństwem. Aby możliwie dokładnie zmierzyć ich możliwości, OpenAI wyłączyło część mechanizmów ograniczających wykonywanie potencjalnie niebezpiecznych działań.
Modele działały w odizolowanym środowisku testowym z mocno ograniczonym dostępem do internetu. Mimo to znalazły sposób na obejście zabezpieczeń.
Według OpenAI system AI wykrył nieznaną wcześniej lukę typu zero-day w oprogramowaniu pełniącym rolę pośrednika dla repozytoriów pakietów. Po jej wykorzystaniu model uzyskał dostęp do internetu, a następnie rozpoczął kolejne etapy ataku.
Od luki zero-day do serwerów Hugging Face
Po uzyskaniu dostępu do sieci modele doszły do wniosku, że platforma Hugging Face może przechowywać dane związane z benchmarkiem ExploitGym. Hugging Face to największa na świecie platforma służąca do udostępniania modeli sztucznej inteligencji, zbiorów danych i narzędzi dla deweloperów.
AI rozpoczęła więc poszukiwanie sposobu na zdobycie informacji, które mogłyby pomóc jej „oszukać” test.
Według raportu OpenAI modele połączyły kilka różnych metod ataku. Wykorzystały przejęte dane uwierzytelniające, wykryte podatności oraz kolejną lukę typu zero-day, aby znaleźć ścieżkę umożliwiającą zdalne wykonanie kodu (Remote Code Execution, RCE) na serwerach Hugging Face.
Nietypową aktywność zauważył zespół bezpieczeństwa OpenAI, a równolegle specjaliści Hugging Face wykryli i zablokowali działania modeli we własnej infrastrukturze, rozpoczynając analizę incydentu.
OpenAI: modele były całkowicie skupione na jednym celu
Jak podkreśla OpenAI, analiza wskazuje, że modele nie próbowały prowadzić przypadkowych działań ani wyrządzać szkód. Były całkowicie skoncentrowane na rozwiązaniu zadania postawionego przez benchmark i zrobiły wszystko, aby zdobyć odpowiedzi w możliwie najkrótszy sposób.
To oznacza, że sztuczna inteligencja nie „zbuntowała się”, lecz konsekwentnie realizowała cel wyznaczony przez test, wykorzystując dostępne możliwości i odnajdując nieoczekiwane ścieżki ataku.
Nowe zabezpieczenia i wspólne dochodzenie
Po wykryciu incydentu OpenAI wprowadziło dodatkowe ograniczenia w swoich środowiskach badawczych, nawet kosztem spowolnienia prac nad kolejnymi modelami.
Firma poinformowała również, że prowadzi wspólne dochodzenie z Hugging Face oraz zgłosiła producentowi odkrytą lukę zero-day. Wzmacnia także monitoring i zabezpieczenia środowisk testowych oraz rozszerza mechanizmy bezpieczeństwa stosowane podczas oceniania modeli AI.
Hugging Face zostało również objęte programem Trusted Access, dzięki któremu będzie mogło wykorzystywać najbardziej zaawansowane modele OpenAI do wzmacniania własnych systemów ochrony.
Eksperci: takie incydenty będą zdarzały się coraz częściej
OpenAI przyznaje, że wraz z rozwojem modeli AI podobne sytuacje mogą pojawiać się coraz częściej. Coraz bardziej zaawansowane systemy potrafią samodzielnie odkrywać nowe podatności, łączyć wiele technik ataku i prowadzić wieloetapowe operacje przez długi czas.
Według firmy najważniejszym wnioskiem płynącym z tego incydentu jest konieczność równoczesnego rozwijania możliwości modeli oraz zabezpieczeń chroniących przed ich niezamierzonym wykorzystaniem.
OpenAI uważa jednocześnie, że te same zdolności mogą w przyszłości pomóc obrońcom. Zaawansowane modele mają umożliwiać szybsze wykrywanie podatności, analizowanie złożonych scenariuszy ataków oraz automatyczne wspieranie zespołów odpowiedzialnych za cyberbezpieczeństwo.
Jak podsumował współzałożyciel i dyrektor generalny Hugging Face, Clem Delangue, incydent pokazuje, że bezpieczeństwa AI nie da się budować w pojedynkę. Jego zdaniem potrzebna jest otwarta współpraca całej branży, ponieważ tylko w ten sposób można skutecznie przygotować się na erę modeli zdolnych do prowadzenia zaawansowanych operacji cybernetycznych.
Foto: DepositPhotos.