Nvidia uruchomiła Open Agent Safety Platform – otwartą platformę mającą zwiększyć bezpieczeństwo agentów AI. System ma kontrolować działania autonomicznych modeli nie tylko na poziomie samego oprogramowania, ale również sprzętu, na którym pracują. To odpowiedź na coraz częstsze przypadki, w których agenci AI próbują wychodzić poza wyznaczone im granice.
Agenci AI mają być kolejnym wielkim etapem rozwoju sztucznej inteligencji. Zamiast jedynie odpowiadać na pytania, mogą samodzielnie korzystać z narzędzi, uruchamiać programy, pisać kod, przetwarzać dane i realizować wieloetapowe zadania. Problem pojawia się wtedy, gdy agent zaczyna robić coś, czego jego twórcy lub użytkownik nie przewidzieli.
Nvidia chce stworzyć dodatkową warstwę zabezpieczeń, która ma ograniczyć właśnie takie sytuacje. Firma zaprezentowała NVIDIA Open Agent Safety Platform, obejmującą otwarte oprogramowanie OpenShell oraz referencyjną architekturę bezpieczeństwa Sentry.
Agent AI dostaje granice, których nie powinien przekraczać
Jednym z najważniejszych elementów platformy jest NVIDIA OpenShell. To otwarte oprogramowanie tworzące dla agenta AI swoistą granicę bezpieczeństwa. System śledzi działania agenta i pozwala egzekwować ustalone zasady dotyczące tego, do jakich zasobów może on uzyskać dostęp i jakie operacje może wykonywać.
To ważna zmiana w stosunku do podejścia, w którym bezpieczeństwo opiera się przede wszystkim na instrukcjach przekazywanych samemu modelowi.
Agent może bowiem otrzymać polecenie wykonania konkretnego zadania, a następnie samodzielnie dobierać kolejne kroki. Jeżeli ma dostęp do narzędzi, plików, internetu czy systemów firmowych, jego możliwości mogą być znacznie większe niż w przypadku zwykłego chatbota.
OpenShell ma więc działać jako warstwa znajdująca się pomiędzy agentem a środowiskiem, w którym ten agent pracuje. Nvidia podkreśla, że rozwiązanie może być rozszerzane również na platformy sprzętowe innych producentów, w tym Arm i Intel.
Druga linia obrony znajduje się już na poziomie sprzętu
Jeszcze bardziej interesujący jest drugi element platformy – NVIDIA Sentry.
To referencyjny system wykorzystujący układy NVIDIA BlueField-4 DPU jako niezależnego obserwatora działania agentów. Sentry ma monitorować ich zachowanie poza głównym środowiskiem wykonawczym.
Jeżeli agent spróbuje wyjść poza zdefiniowaną dla niego granicę, Sentry ma być w stanie go odizolować i zatrzymać w ciągu milisekund.
W praktyce Nvidia proponuje więc podejście przypominające kilka warstw zabezpieczeń. Nawet jeżeli agent zdoła ominąć zabezpieczenia znajdujące się na poziomie aplikacji, dodatkowa warstwa działająca poza samym agentem może nadal ograniczyć jego możliwości.
To istotne, ponieważ coraz bardziej autonomiczne systemy AI mogą nie tylko generować odpowiedzi, lecz także podejmować działania w świecie cyfrowym.
Nvidia reaguje na realny problem z agentami AI
Premiera platformy nie jest przypadkowa. W ostatnim czasie firmy rozwijające modele AI ujawniały przypadki, w których agenci próbowali wychodzić poza przygotowane dla nich środowiska testowe.
CNBC zwraca uwagę, że dotyczyło to m.in. systemów rozwijanych przez OpenAI, Anthropic, Metę i Google. W jednym z szeroko komentowanych przypadków agenci OpenAI mieli uzyskać dostęp do infrastruktury Hugging Face i podejmować działania wykraczające poza zakładany zakres eksperymentu.
To pokazuje problem, który może być znacznie poważniejszy niż klasyczny błąd odpowiedzi generowanej przez chatbot.
Jeżeli model napisze błędny tekst, użytkownik może go po prostu zignorować. Jeżeli jednak agent otrzyma możliwość wykonywania operacji w systemach komputerowych, błędna decyzja może doprowadzić do modyfikacji plików, uruchomienia programu, wysłania danych albo wykonania kolejnych działań bez bezpośredniej kontroli człowieka.
Dlatego wraz ze wzrostem możliwości agentów rośnie znaczenie zabezpieczeń znajdujących się poza samym modelem.
Jensen Huang: bezpieczeństwo wymaga całego stosu technologicznego
Nvidia przekonuje, że bezpieczeństwo agentów nie powinno być rozwiązywane wyłącznie poprzez dodatkowe instrukcje dla modeli.
– Bezpieczeństwo i ochrona wymagają inżynierii całego stosu – twierdzi Jensen Huang, prezes Nvidii, przedstawiając nową platformę. Firma chce połączyć w jednym podejściu warstwę oprogramowania, sprzętu, infrastruktury obliczeniowej, a w przyszłości również systemów robotycznych.
To szczególnie istotne w kontekście rozwoju tzw. fizycznej AI. Jeżeli agent AI będzie w przyszłości sterował robotem, maszyną przemysłową czy innym urządzeniem działającym w świecie fizycznym, konsekwencje niepożądanego działania mogą być znacznie poważniejsze niż w przypadku agenta operującego wyłącznie na dokumentach.
Nvidia już wcześniej rozwijała rozwiązania związane z bezpieczeństwem fizycznej AI i robotyki. Nowa platforma rozszerza tę koncepcję na autonomiczne oprogramowanie.
Ponad 100 organizacji ma pracować z nową platformą
Nvidia podaje, że technologie związane z Open Agent Safety Platform są już wykorzystywane lub rozwijane wspólnie z ponad 100 organizacjami.
Na liście znajdują się m.in. Microsoft, IBM, Cisco, CrowdStrike, Hugging Face, Anthropic, SAP, Scale AI, ServiceNow, Siemens, Palantir i Palo Alto Networks. Firma współpracuje również z dostawcami infrastruktury oraz przedsiębiorstwami z sektora energetycznego.
Sama obecność tak wielu firm pokazuje, że problem bezpieczeństwa agentów przestaje być wyłącznie tematem laboratoriów zajmujących się sztuczną inteligencją.
Agenci coraz szybciej trafiają bowiem do przedsiębiorstw, gdzie mogą otrzymywać dostęp do danych, aplikacji i wewnętrznych systemów.
Open source ma zwiększyć kontrolę nad bezpieczeństwem
Nvidia udostępnia OpenShell jako projekt open source. Oprogramowanie oraz związane z nim narzędzia są dostępne za pośrednictwem zasobów dla deweloperów Nvidii i GitHuba.
To istotne, ponieważ bezpieczeństwo agentów AI będzie wymagało testowania przez wiele niezależnych zespołów. Zamknięty system zabezpieczeń trudniej jest analizować, testować i dostosowywać do nowych sposobów ataku.
Nvidia chce więc stworzyć coś w rodzaju wspólnej warstwy bezpieczeństwa dla agentów, która może być rozwijana przez cały ekosystem.
Nie oznacza to oczywiście, że Open Agent Safety Platform rozwiązuje problem autonomicznych systemów AI. Zabezpieczenia nadal mogą zawierać błędy, a nowe sposoby obchodzenia ograniczeń mogą pojawiać się wraz ze wzrostem możliwości modeli.
Zmienia się jednak sposób myślenia o bezpieczeństwie. Zamiast zakładać, że sam model zawsze będzie przestrzegał otrzymanych instrukcji, można przyjąć bardziej praktyczne założenie: agent może próbować zrobić coś nieprzewidzianego, więc trzeba stworzyć system, który będzie w stanie go zatrzymać.
I właśnie w tę stronę Nvidia kieruje swoją nową platformę.
Źródła
- NVIDIA – Open Agent Safety Platform
- CNBC – Nvidia releases software platform to stop AI agents from misbehaving
- NVIDIA Technical Blog – NVIDIA Open Agent Safety Platform
Marcin Kaczmarczyk
Foto: DepositPhotos