EY Canada innrømmer AI-tabbe, med oppdiktede McKinsey-rapporter og markedsdata
EYs virksomhet i Canada har fjernet en rapport etter at uavhengige forskere avdekket oppdiktede data og fiktive referanser. Saken føyer seg inn i en rekke av AI-blemmer hos store konsulenthus, og eksperter advarer om at bransjen er i ferd med å «forgifte» det digitale kunnskapsgrunnlaget.
Publisert
Rapporten «Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems» ble brukt av EYs konsulenter i Canada for å markedsføre selskapets tjenester innen cybersikkerhet. Men bak profesjonelle grafikk og hardtslående tabeller skjulte det seg en rekke såkalte «AI-hallusinasjoner», skriver blant andre Financial Times fredag.
Det var forskningsgruppen GPTZero som først avdekket at rapporten inneholdt fiktive fotnoter, uriktige markedsdata og referanser til McKinsey-rapporter som aldri har eksistert.
Diktet opp referanser
Ifølge funnene fra GPTZero benyttet EY-rapporten motstridende data for å underbygge sine argumenter. På ett sted ble størrelsen på markedet for lojalitetsprogrammer anslått til 200 milliarder dollar, mens det et annet sted i samme rapport ble hevdet at verdien av ubenyttede poeng var nøyaktig den samme.
Annonse
Mer enn halvparten av rapportens fotnoter førte til nettsider som ikke eksisterte, eller som ikke hadde noen relevans til påstandene i teksten.
– Når en rapport inneholder falsk informasjon eller uriktige kildehenvisninger, kan det «forgifte brønnen» ved å villede fremtidige forskere, uttaler forskerne i GPTZero.
De mener dette er særlig alvorlig når rapporten publiseres av et anerkjent konsulenthus og distribueres på en nettside med høy trafikk.
EY Canada har nå fjernet studien og uttaler at de går gjennom omstendighetene rundt publiseringen. Selskapet understreker at studien ikke var knyttet til arbeid for spesifikke klienter.
En systemisk utfordring
Saken hos EY er ikke noe isolert tilfelle i bransjen, og understreker vel først og fremst behovet for stor aktsomhet i forhold som har med bruk av AI å gjøre. Her hjemmefra vil mange huske Tromsø kommunes skolerapport for et år tilbake, og i fjor høst måtte Deloitte i Australia betale tilbake deler av honoraret for en rapport landets regjering hadde betalt 440 000 dollar for på grunn av AI-feil.
Annonse
Problemet har også rammet advokatbransjen nylig. Det høyprofilerte advokatfirmaet Sullivan & Cromwell måtte nylig beklage overfor en føderal domstol i New York, etter at et prosesskrift inneholdt oppdiktede henvisninger til det amerikanske konkurslovverket og henvisninger til fiktive rettssaker.
Sullivan & Cromwell opplyste til domstolen at firmaets egne retningslinjer, som instruerer advokater om å «stole på ingenting og verifisere alt», ikke hadde blitt fulgt. Det er nok noe alle som sysler med kunstig intelligens bør ta inn over seg.
Satser tungt til tross for feil
Til tross for de gjentakende AI-tabbene, fortsetter de store aktørene å investere massivt i teknologien.
EY hevdet i oktober i fjor at deres AI-relaterte inntekter hadde vokst med 30 prosent det foregående året. De opplyste samtidig at selskapet på det tidspunktet hadde 15 000 ansatte som jobbet med prosjekter knyttet til ansvarlig implementering og styringsrammeverk for kunstig intelligens.
Saken i Canada understreker imidlertid at selv aktører som har utviklet overordnede strategier for «ansvarlig AI» kan ha utfordringer med å få dem etterlevd i praksis når det produseres faglige analyser.
