Google Gemini przez pewien czas przekonywało Amerykanów, że montowane przy drogach w USA kamery Flock zawierają nawet kilka gramów złota i ogromne ilości miedzi. Problem w tym, że nie było na to żadnych wiarygodnych dowodów. AI potraktowało internetowy mem jak sprawdzoną informację.
Historia jest dobrym przykładem problemu, z którym wciąż mierzą się systemy sztucznej inteligencji. Model potrafi znaleźć informacje w internecie, połączyć je i przedstawić w bardzo przekonujący sposób. Nie zawsze jednak potrafi rozpoznać, że część znalezionych treści to żart, prowokacja albo zwykła internetowa bzdura.
Ile złota znajduje się w kamerze Flock?
Wszystko zaczęło się od internetowych żartów dotyczących kamer firmy Flock, wykorzystywanych między innymi do automatycznego odczytywania tablic rejestracyjnych. Wśród przeciwników tego rodzaju systemów zaczęły pojawiać się memy sugerujące, że urządzenia są pełne wartościowych metali.
Pomysł był prosty: skoro kamera zawiera elektronikę, to musi mieć w środku złoto, miedź i inne cenne materiały. A skoro tak, to można ją potraktować jak elektroniczną „skarbonkę” i sprzedać znajdujące się w niej metale.
Był to oczywiście żart, który zaczął żyć własnym życiem.
Problem pojawił się wtedy, gdy na pytanie o zawartość złota w kamerach Flock odpowiedziało Google AI Overviews. System przez pewien czas podawał użytkownikom bardzo konkretne liczby.
Według wygenerowanej odpowiedzi pojedyncza kamera Flock miała zawierać od 1 do 5 gramów złota oraz od 2 do 23 funtów miedzi.
Brzmi konkretnie, ale wystarczyło chwilę się nad tym zastanowić, żeby zauważyć problem.
Kamera waży około 3 funtów
Sama kamera waży około 3 funtów, czyli mniej więcej 1,4 kg. Tymczasem AI sugerowało, że w jej środku może znajdować się nawet 23 funty miedzi.
To oczywiście nie mogło się zgadzać.
Równie absurdalnie wyglądała informacja o złocie. Kilka gramów tego metalu w niewielkim urządzeniu elektronicznym oznaczałoby bardzo dużą jego zawartość jak na tego rodzaju sprzęt. W zwykłych urządzeniach elektronicznych złoto rzeczywiście jest wykorzystywane, między innymi w elementach obwodów i połączeniach, ale zazwyczaj występuje w ilościach śladowych.
Nie przeprowadzono też żadnego wiarygodnego testu ani rozbiórki kamery, która potwierdzałaby podawane przez AI liczby.
Mimo to odpowiedź Google’a wyglądała jak konkretna informacja techniczna.
Skąd AI wzięło te liczby?
Jak się okazało, źródła wykorzystane przez AI nie były szczególnie wiarygodne.
Jednym z nich był anonimowy wpis na Substacku, w którym autor szacował wartość metali znajdujących się w kamerze na 150–500 dolarów. Sam tekst przyznawał jednak, że były to jedynie szacunki oparte na internetowych dyskusjach dotyczących wartości złomu.
Nie było tam wyników badań, dokumentacji rozbiórki urządzenia ani analizy materiałowej.
Drugim źródłem był wygenerowany przez AI post na Instagramie zachęcający do rozbierania kamer Flock w celu odzyskania metali. Profil nie był związany z elektroniką czy inżynierią sprzętową.
Google po prostu zebrało te informacje i przedstawiło je użytkownikowi w formie brzmiącej jak pewnik.
Google później wycofało się z tej odpowiedzi
Po nagłośnieniu sprawy odpowiedź AI została zmieniona.
Google zaczęło informować użytkowników, że twierdzenia o kilogramach miedzi znajdujących się w pojedynczej kamerze są fałszywe, ponieważ całe urządzenie waży około 3 funtów. W przypadku złota system zaczął wskazywać, że chodzi co najwyżej o śladowe ilości typowe dla niewielkich urządzeń elektronicznych.
W nowej wersji odpowiedzi pojawiło się również wyjaśnienie, że opowieści o dużej ilości cennych metali w kamerach Flock wywodzą się z internetowych memów i halucynacji AI, a nie z rzeczywistych danych.
To właśnie ten element jest tutaj najciekawszy.
AI nie rozpoznało, że internet żartuje
Problem nie polega wyłącznie na tym, że Gemini podało błędną liczbę.
Znacznie ciekawsze jest to, dlaczego w ogóle uznało internetowy żart za wiarygodne źródło informacji.
Memy dotyczące kamer Flock były częścią szerszego sprzeciwu wobec systemów automatycznego monitorowania. Kamery te fotografują przejeżdżające samochody, automatycznie odczytują tablice rejestracyjne i przekazują dane do baz, które mogą być następnie przeszukiwane przez uprawnione podmioty.
Technologia budzi więc kontrowersje związane z prywatnością i zakresem automatycznego nadzoru.
Żarty o złocie były jednym z elementów internetowej reakcji na tę technologię. Kamera została przedstawiona jako swego rodzaju elektroniczna „piñata” pełna wartościowych metali. To miało być przede wszystkim satyryczne nawiązanie do urządzeń, które same są symbolem coraz większego monitorowania obywateli.
AI nie zrozumiało jednak tego kontekstu.
Zobaczyło pytanie, znalazło treści zawierające konkretne liczby i potraktowało je jako materiał do stworzenia odpowiedzi.
AI potrafi zamienić mema w „fakt”
To jeden z problemów, o których warto pamiętać podczas korzystania z wyszukiwarek wykorzystujących generatywną AI.
Model językowy nie działa jak człowiek, który może przeczytać kilka źródeł i pomyśleć: „chwila, przecież ta kamera waży mniej niż podana ilość miedzi”.
Zamiast tego system analizuje dostępne treści i próbuje przygotować odpowiedź pasującą do pytania. Jeżeli w internecie znajdzie kilka stron powtarzających tę samą informację, może uznać ją za wystarczająco prawdopodobną.
Nawet jeśli pierwotnym źródłem był żart.
W tym przypadku problem pogłębił fakt, że AI podało bardzo konkretne liczby. Konkret sprawia, że odpowiedź wygląda wiarygodnie. Użytkownik widzi „1–5 gramów złota” i „2–23 funty miedzi”, a nie ogólnik w rodzaju „kamera może zawierać pewne ilości metali”.
Tyle że precyzja odpowiedzi nie oznacza automatycznie jej prawdziwości.
Kamery Flock są kolejnym przykładem problemu z AI
Historia z kamerami Flock jest więc czymś więcej niż zabawną wpadką Google’a.
Pokazuje, że generatywna AI nadal może mieć poważne problemy z oceną jakości informacji. Szczególnie wtedy, gdy internet miesza fakty, memy, prowokacje, wpisy generowane przez inne modele AI i anonimowe komentarze.
W tym przypadku system Google’a dostał właściwie gotową narrację i tylko nadał jej pozory wiarygodnej odpowiedzi.
A kiedy okazało się, że liczby nie mają sensu, odpowiedź została poprawiona.
To ważna lekcja dla użytkowników AI: ładnie napisana i bardzo konkretna odpowiedź nie musi być prawdziwa. Nawet jeśli pochodzi bezpośrednio z jednej z największych wyszukiwarek internetowych na świecie.
A jeśli sztuczna inteligencja zaczyna przekonywać, że ważąca niespełna 1,5 kg kamera zawiera kilka kilogramów miedzi, warto zrobić dokładnie to, czego AI tym razem nie zrobiło — zatrzymać się na chwilę i sprawdzić, czy liczby w ogóle mają sens.
Foto: Flock System.