Derfor «hallusinerer» ChatGPT og andre AI-verktøy – og sånn kan problemet løses

Selv om språkmodeller blir stadig mer avanserte, er det ett problem som ikke har blitt bedre gjennom versjonene: hallusineringen. Da snakker vi selvsagt om den irriterende uvanen språkmodeller som ChatGPT, Claude, Copilot og andre har med å være skråsikre på svarene sine, selv når de er fullstendig uriktige. 

Dette er et reelt problem for mange yrkesgrupper – både advokater, regnskapsførere, revisorer og mange andre som er opptatt av nøyaktighet og etterrettelighet – og noe som hindrer mange av dem fra å utnytte det fulle potensialet i kunstig intelligens 

Nå har OpenAI, selskapet bark ChatGPT, selv publisert en forskningsrapport hvor de argumenterer for at den bakenforliggende årsaken til språkmodellers hallusinasjoner, er at de vanlige trenings- og evalueringsprosedyrene utviklerne benytter, belønner gjetning fremfor å erkjenne usikkerhet.

Problemet med dagens evalueringsmetoder

Tenk på det som en multiple choice-prøve: Hvis du ikke vet svaret, kan du likevel være heldig og gjette riktig. Hvis du hopper over spørsmålet, er du garantert null poeng. Sånn fungerer det for språkmodellene også. 

Spør du en språkmodell om når en ukjent person har bursdag, vil den heller gjette «10. september» og ha 1:365 i odds for å gjette riktig – mens hvis den svarer «aner ikke» er den garantert null poeng. Slike modeller trenes opp med mange tusenvis av testspørsmål, og da vil en modell som gjetter, ende opp høyere på poengtavlene enn en forsiktig modell som innrømmer usikkerhet.

Ifølge OpenAI finnes det en enkel løsning: Skråsikre feil må straffes hardere enn usikkerhet – og modellen må få delpoeng for uttrykke usikkerhet på en passende måte. Dette er på ingen måte noen ny idé – flere standardiserte tester gir allerede minuspoeng ved feil svar, akkurat for å motvirke denne effekten.

Noen vanlige antagelser blir tilbakevist

I sin rapport om undersøkelsen, tilbakeviser OpenAI flere vanlige påstander om opplæringen av AI-modeller:

Påstand: Hallusinasjoner kan elimineres ved å forbedre nøyaktigheten – en 100 % nøyaktig modell vil aldr hallusinere.
Funn: Vi vil aldri oppnå 100 % nøyaktighet i svar fra språkmodeller, fordi enkelte spørsmål rett og slett er umulige å besvare.

Påstand: Hallusinasjoner er uunngåelig.
Funn: De er det ikke. Det går an å lære språkmodeller opp til å la være å svare når de er usikre.

Påstand: Å unngå hallusinasjoner krever intelligens som kun kan oppnås med større modeller.
Funn: Det kan faktisk være enklere for en liten modell å kjenne sine begrensninger.