W amerykańskiej szkole średniej doszło do absurdalnej sytuacji. 16-letni uczeń został otoczony przez policję i skuty kajdankami, gdy szkolny system oparty na sztucznej inteligencji uznał jego pustą paczkę chipsów Doritos za broń palną.
Zdarzenie miało miejsce w Kenwood High School w hrabstwie Baltimore (Maryland). Taki Allen, uczeń i zawodnik szkolnej drużyny futbolowej, siedział po treningu z kolegami, czekając na odbiór przez rodziców. Nagle pod szkołę podjechało osiem radiowozów, a policjanci z bronią w ręku kazali mu podnieść ręce i klęknąć. Następnie nastolatek został skuty kajdankami, choć – jak później potwierdziła policja – nie został aresztowany.
Jak się okazało, system monitoringu oparty na AI błędnie rozpoznał zgniecioną paczkę po chipsach Doritos jako pistolet. W związku z tym automatycznie powiadomił służby. Dopiero po przeszukaniu śmietnika i obejrzeniu nagrania policjanci zorientowali się, że alarm był fałszywy.
– Chyba sposób, w jaki jadłeś chipsy, sprawił, że AI uznała je za broń – miał powiedzieć jeden z funkcjonariuszy. Inny dodał tylko krótko: – AI nie jest najlepsza.
Szkoła broni systemu, politycy żądają wyjaśnień
Superintendentka szkolna, dr Myriam Rogers, broniła działania systemu:
– System zadziałał zgodnie z założeniami – jego zadaniem jest wysyłać alert i pozwolić ludziom zweryfikować, czy istnieje zagrożenie – powiedziała.
Nie zgadza się z tym jednak sam Allen. W rozmowie z mediami powiedział, że nie sądzi, żeby paczka chipsów mogła kiedykolwiek zostać pomylona z bronią.
Dyrektorka szkoły, Kate Smith, w liście do rodziców podkreśliła, że priorytetem placówki jest bezpieczeństwo uczniów. Jednak – jak twierdzi chłopiec – rozmawiała z nim dopiero trzy dni po incydencie.
Zdarzenie wywołało falę krytyki ze strony lokalnych polityków, którzy domagają się przeglądu zasad stosowania sztucznej inteligencji w szkolnym monitoringu.
Twórca systemu żałuje, ale broni algorytmu
– Żałujemy, że doszło do tego incydentu, i wyrażamy ubolewanie wobec ucznia oraz całej społeczności. Choć obiekt nie okazał się bronią, proces zadziałał zgodnie z przeznaczeniem. Priorytetem jest bezpieczeństwo i szybka weryfikacja przez ludzi – przekazała w oświadczeniu dla BBC firma Omnilert, która opracowała feralny system.
Tymczasem sam Taki Allen przyznał, że od czasu zdarzenia boi się wychodzić po treningu na zewnątrz, bo – jak mówi – „nie jest już wystarczająco bezpiecznie, zwłaszcza gdy jesz chipsy lub pijesz coś z butelki”.
Ma chłopak rację. Po takiej przygodzie chyba każdy, by się zniechęcił do biegania za piłką po szkolnym boisku. Przynamniej na jakiś czas.
Foto: Gemini/AI.