Het adviesbureau Deloitte Australia zal de Australische regering gedeeltelijk terugbetalen voor een rapport dat vol bleek te staan met door kunstmatige intelligentie verzonnen citaten en niet-bestaande bronnen. Dat meldt de Australian Financial Review (AFR).
Het gaat om het rapport “Targeted Compliance Framework Assurance Review”, dat in juli werd afgerond en in augustus werd gepubliceerd door het Department of Employment and Workplace Relations (DEWR). Het onderzoek, dat de Australische belastingbetaler bijna 440.000 Australische dollar (ongeveer 290.000 Amerikaanse dollar) kostte, richtte zich op het technische systeem waarmee de overheid automatisch boetes oplegt binnen het nationale welzijnsprogramma.
Verzonnen
Kort na publicatie ontdekte Chris Rudge, adjunct-directeur gezondheidsrecht aan de Universiteit van Sydney, dat het rapport verwees naar meerdere niet-bestaande publicaties. Onder de verzonnen verwijzingen bevonden zich ook rapporten die werden toegeschreven aan Lisa Burton Crawford, een echte hoogleraar aan de rechtenfaculteit van dezelfde universiteit. “Het is verontrustend om onderzoek op mijn naam te zien dat ik nooit heb geschreven,” verklaarde zij in augustus. “Ik verwacht van Deloitte een uitleg over hoe deze citaties tot stand zijn gekomen.”
Analyseren van systeemcode
Die uitleg kwam pas later, toen Deloitte en het DEWR in een aangepaste versie van het rapport “een klein aantal correcties” aanboden. Op pagina 58 van het 273 pagina’s tellende document staat nu dat bij het technische werk gebruik is gemaakt van een generatieve AI-tool gebaseerd op Azure OpenAI GPT-4o. Deze zou hebben geholpen bij het analyseren van systeemcode en nalevingsvereisten.
Van de oorspronkelijke 141 bronnen bleven er na correctie 127 over. Naast de verwijderde fictieve citaties verdwenen ook een verzonnen uitspraak van een federale rechter en meerdere fout gespelde namen.
Terugstorten
Deloitte heeft aangekondigd de laatste betalingstermijn van het contract terug te storten, al is niet duidelijk hoeveel dat precies betreft. Volgens het ministerie blijft “de inhoud en de aanbevelingen van het rapport overeind”.
Toch uit Rudge forse kritiek: “Je kunt de aanbevelingen niet vertrouwen als de basis van het rapport is gebouwd op een gebrekkige, niet-onafhankelijke methode. Deloitte heeft toegegeven AI te gebruiken voor een kernanalyse, maar dat nooit openbaar gemaakt.”