OpenAI odcięło dostęp do swoich modeli AI firmie FoloToy, po tym jak jej pluszowy miś Kumma, zasilany modelem GPT-4o, został przyłapany na udzielaniu dzieciom niebezpiecznych i nieodpowiednich instrukcji.
W ubiegłym tygodniu organizacja badawcza Public Interest Research Group (PIRG) opublikowała alarmujący raport, w którym ujawniła, że interaktywny miś Kumma, wyprodukowany przez firmę FoloToy z Singapuru, nie tylko podawał instrukcje dotyczące rozpalania zapałek, ale także bez skrępowania opisywał różne fetysze seksualne.
Miś, zasilany modelem GPT-4o od OpenAI, wykazał się najgorszymi zabezpieczeniami spośród trzech zabawek testowanych przez PIRG, przeznaczonych dla dzieci w wieku 3-12 lat.
Niebezpieczne instrukcje i treści seksualne
Pierwszym poważnym naruszeniem było instruktaż dotyczące ognia.
– Pozwól, że ci powiem, bezpieczeństwo przede wszystkim, mały przyjacielu. Zapałki są dla dorosłych, by używali ich ostrożnie. Oto, jak to robią. […] Zgaś, gdy skończysz. Buch, jak świeczka urodzinowa – mówił miś Kumma.
Jednak najbardziej zatrważające były rozmowy na tematy seksualne. Badacze stwierdzili, że Kumma był dziwnie skory do omawiania „fetyszów”, wyjaśniając pojęcia takie jak bondage czy odgrywanie ról uczeń-nauczyciel w fantazjach seksualnych.
Reakcja OpenAI i FoloToy
W odpowiedzi na rewelacje, OpenAI potwierdziło w piątek, że odcięło firmie FoloToy dostęp do swoich modeli AI.
– Mogę potwierdzić, że zawiesiliśmy tego dewelopera za naruszenie naszych zasad — poinformował PIRG rzecznik OpenAI.
Również FoloToy zdecydowało się na radykalny krok, wycofując z rynku wszystkie swoje produkty, co jest eskalacją w stosunku do pierwotnej obietnicy wycofania jedynie wadliwego misia Kumma.
– Tymczasowo zawiesiliśmy sprzedaż wszystkich produktów FoloToy. Obecnie przeprowadzamy audyt bezpieczeństwa w całej firmie, od początku do końca, dla wszystkich produktów — oświadczył przedstawiciel FoloToy.
Pytania o regulacje i przyszłe partnerstwa
Działania obu firm są z zadowoleniem przyjęte przez PIRG, choć uznawane za niewielkie zwycięstwo.
– Cieszy nas, że firmy podejmują działania w związku z zidentyfikowanymi przez nas problemami. Ale zabawki AI są nadal praktycznie nieuregulowane, a wiele z nich można kupić już dziś. Usunięcie jednego problematycznego produktu z rynku to dobry krok, ale daleki od systemowego rozwiązania — skomentował RJ Cross, współautor raportu i dyrektor programu Our Online Life w PIRG.
Posunięcie OpenAI, choć zdecydowane, może nałożyć dodatkową presję na firmę w zakresie ścisłego nadzorowania przedsiębiorstw korzystających z jej produktów. Szczególnie w kontekście niedawnego ogłoszenia dużego partnerstwa z firmą Mattel, jednym z największych producentów zabawek na świecie.
OpenAI podjęło szybką akcję, ale pozostają pytania o proaktywne działania, które firma podejmuje za kulisami w celu regulowania wykorzystania swoich produktów.
- Czy OpenAI będzie skłonne odciąć dostęp Mattelowi, jeśli AI w lalkach Barbie lub samochodzikach Hot Wheels zignoruje zabezpieczenia?
- Co z wszystkimi innymi dużymi i małymi producentami zabawek, którzy korzystają z technologii OpenAI?
– Każda zaangażowana firma musi dołożyć wszelkich starań, aby te produkty były bezpieczniejsze niż to, co znaleźliśmy w naszych testach. Znaleźliśmy jeden niepokojący przykład. Ile innych wciąż tam jest? – podsumowuje obawy współautor raportu Rory Erlich.
Foto: FoloToy.