Blamaż firmy doradczej. Konsultanci przyznali, że użyli GPT-4o, po tym jak w raporcie odkryto fikcyjne cytaty i nieistniejące źródła.
Australijski oddział Deloitte zaoferował tamtejszemu rządowi częściowy zwrot pieniędzy za raport, w którym znalazły się cytaty i odwołania do badań… które nigdy nie istniały. Jak donosi Australian Financial Review (AFR), dokument powstał z pomocą generatywnej sztucznej inteligencji GPT-4o i zawierał liczne błędy oraz „halucynacje” AI.
Raport zatytułowany „Targeted Compliance Framework Assurance Review” został ukończony w lipcu i opublikowany w sierpniu przez australijskie Ministerstwo Zatrudnienia i Relacji w Miejscu Pracy (DEWR). Opracowanie, które kosztowało podatników niemal 440 tys. dolarów australijskich (ok. 290 tys. USD), miało analizować techniczne podstawy automatyzacji kar w krajowym systemie świadczeń socjalnych.
Nieistniejące źródła i zmyślone cytaty
Krótko po publikacji dokumentu Chris Rudge, zastępca dyrektora Wydziału Prawa Zdrowia na Uniwersytecie w Sydney, zauważył, że w raporcie pojawiły się odniesienia do licznych prac naukowych, które… nigdy nie powstały. Wśród nich znalazły się także cytaty przypisane prof. Lisie Burton Crawford – realnej badaczce z tej samej uczelni.
– To niepokojące, że przypisano mi autorstwo badań, których nigdy nie napisałam. Chciałabym, by Deloitte wyjaśnił, w jaki sposób powstały te cytowania – powiedziała Crawford w rozmowie z AFR w sierpniu.
„Niewielka liczba poprawek”
Wyjaśnienie przyszło dopiero kilka tygodni później. W zaktualizowanej wersji raportu, opublikowanej w miniony piątek, Deloitte przyznał, że podczas prac analitycznych użyto „łańcucha narzędzi opartego na dużym modelu językowym Azure OpenAI GPT-4o”. AI miała pomóc w analizie kodu i jego zgodności z wymogami biznesowymi oraz prawnymi.
Nowa wersja raportu, licząca 273 strony, usuwa aż 14 pozycji z listy źródeł. Wśród nich znalazły się m.in. zmyślone publikacje rzekomo autorstwa prof. Crawford. A także fałszywy cytat przypisany australijskiej sędzi federalnej Jennifer Davies (nazwisko błędnie zapisano w raporcie jako „Davis”).
Zwrot pieniędzy, ale wątpliwości pozostają
Deloitte Australia zapowiedział, że zwróci ostatnią część wynagrodzenia z kontraktu rządowego. Choć nie podano, jaką dokładnie kwotę obejmie rekompensata. Rządowe ministerstwo zapewniło, że zasadnicze wnioski raportu „pozostają w mocy” i nie wymagają korekt.
Nie wszyscy jednak są o tym przekonani.
– Nie można ufać rekomendacjom raportu, którego fundament opiera się na błędnej, nieujawnionej wcześniej i nieeksperckiej metodologii – ocenił Chris Rudge. – Deloitte przyznał, że wykorzystał generatywną AI do kluczowego zadania analitycznego, ale nie ujawnił tego na początku.
Foto: Squirrel_photos z Pixabay.