Token-regningen er bare en tredjedel av KI-kostnaden

En utvikler satte i gang en økonomisk modell som skulle arbeide gjennom helgen. Da han kom tilbake, skal tokenregningen ha vært på en halv million kroner.

Historien er en av flere som Jonas Slørdahl Skjærpe, partner i EY, har fått høre den siste tiden. Han forteller også om et selskap som i en periode brukte rundt 10.000 kroner per ansatt per dag på tokens, og et annet der forbruket oversteg 50.000 kroner per ansatt i måneden.

Dette er enkelthistorier, ikke representative undersøkelser. Men Skjærpe ser et mønster:

– Dette er ganske ekstreme eksempler sammenlignet med det vi så for bare kort tid siden. Vi hører stadig flere slike historier, og det skjer med økende hyppighet.

– Det er, enkelt sagt, to grøfter bedriftene vil unngå å falle i. Den ene er at man bruker altfor mye penger uten å ha kontroll på verdien som skapes. Den andre er at man bruker for lite, ikke bygger tilstrekkelig kompetanse og dermed blir hengende etter konkurrentene, sier han.

To tredjedeler av kostnaden ligger et annet sted

I rapporten Can AI pay for itself? har EY forsøkt å beregne de reelle kostnadene ved å ta i bruk KI-agenter. Konklusjonen er at tokenforbruket, som mange virksomheter bruker som utgangspunkt for kostnadsberegningene, bare representerer omtrent en tredjedel av den samlede kostnaden.

De øvrige kostnadene omfatter blant annet abonnementer, teknologisk infrastruktur, styring og kontroll, organisasjonsendringer, håndtering av feil og regulatoriske krav. Flere av disse kostnadene er ifølge EY normalt ikke synlige i virksomhetenes KI-budsjetter.

– Det er én ting å eksperimentere med modeller og agenter. Noe helt annet er å bygge dette inn i den ordinære driften. Da trenger du sikkerhetsmekanismer, kontroll med resultatene og løsninger for hva som skal skje når modellene gjør feil, eller ikke er tilgjengelige, sier Skjærpe.

Ettersom generativ KI ikke nødvendigvis gir samme svar på identiske spørsmål, må virksomhetene også etablere nye metoder for å validere resultatene. Feil kan føre til at prosesser må kjøres på nytt, med nye kostnader som resultat.

– Hele denne teknologistacken har mange fortsatt et ganske begrenset forhold til. Det man først ser, er tokenregningen. Men så kommer infrastruktur, endringsledelse, kompetansebygging og organisatoriske tilpasninger på toppen, sier han.

EY-rapporten peker dessuten på at introduksjonspriser og subsidiert KI-bruk er i ferd med å bli erstattet av tydeligere krav til kostnadsdekning. Leverandørenes enorme investeringer i datasentre og regnekraft skal finansieres, og det kan føre til at en større del av regningen havner hos kundene. Hvor mye av kostnadene som faktisk vil bli overført, er imidlertid usikkert, understreker EY.

De dyreste modellene er ikke alltid de beste

Selv om kostnadene ved KI kan bli betydelige, mener Skjærpe at det finnes store muligheter til å redusere dem gjennom mer bevisst bruk av teknologien. En utfordring er at virksomhetene mangler erfaring med hvilke modeller som egner seg til ulike oppgaver. De kraftigste modellene kan løse svært kompliserte problemer, men de er også kostbare å bruke.

– Når vi setter sammen utviklingsteam, har vi både erfarne og mindre erfarne medarbeidere. Noen team har erfart at de mest avanserte og kostbare modellene bør overlates til folk som virkelig vet hvordan de skal bruke dem. Ellers kan man brenne av store summer uten å ha kontroll på hva man får igjen, sier Skjærpe. 

Han sammenligner situasjonen med eventyret om trollmannens læregutt, som setter kosten til å utføre arbeidet, men mister kontrollen over den.

EY har selv utviklet en løsning for kartlegging av eldre IT-systemer og applikasjonsporteføljer. Oppgaven er svært tokenintensiv, men løses ved hjelp av en åpen kildekode-modell fra Nvidia som kjøres på en virtuell maskin. Dermed unngår selskapet løpende betaling per token, selv om løsningen fortsatt har kostnader til datakraft og drift.

– Vi trenger ikke den dyreste modellen til denne oppgaven. En langt rimeligere løsning gjør jobben godt nok. Det er nettopp dette flere må lære seg: Hvilken modell er best egnet til hvilken oppgave?

Skjærpe mener markedet allerede er i ferd med å modnes. Der selskaper tidligere kunne velge én leverandør og bruke denne til alt, ser han nå større interesse for å kombinere ulike modeller ut fra kostnader, funksjonalitet, sikkerhet og krav til kontroll over dataene.

Spart tid er ikke nødvendigvis tjente penger

Den største utfordringen er, ifølge EY, ikke å redusere KI-kostnadene, men å skape økonomisk verdi. EY understreker at spart arbeidstid ikke automatisk gir bedre lønnsomhet. Dersom lønnskostnadene forblir uendret, må den frigjorte kapasiteten brukes til å øke produksjonen eller inntektene.

EY har også beregnet hva som skal til for å forsvare de samlede KI-investeringene i kontorbaserte næringer i høy- og øvre mellominntektsland. Med en forutsatt kapitalavkastning på 12 prosent må næringene innen 2031 enten øke verdiskapingen med 10,5 prosent eller redusere lønnskostnadene med 15,8 prosent – nær én av seks lønnskroner.

Beregningene er illustrasjoner, ikke prognoser eller krav til enkeltbedrifter. De synliggjør likevel et paradoks: Det som er lønnsomt for én virksomhet, kan bli problematisk når mange gjør det samme. Omfattende nedbemanning kan svekke kjøpekraften og dermed etterspørselen som bedriftene er avhengige av.

EY argumenterer derfor for at KI også må brukes til å skape vekst, ikke bare kutte kostnader.

Frykter også at virksomhetene bruker for lite

Skjærpe beskriver KI som en ny bølge av digitalisering, fordi teknologien nå kan overta oppgaver tradisjonell programvare ikke har klart. Tidligere har automatisering i stor grad vært begrenset til regelstyrte prosesser med forutsigbare utfall. Oppgaver som krever tolkning og skjønn, har i større grad måttet utføres av mennesker.

– Tradisjonell programvare fungerer godt når du kan si at hvis én betingelse er oppfylt, skal systemet gjøre én bestemt ting. Men hvis du skal vurdere om en kunde er fornøyd, eller tolke innholdet i en e-post, blir det vanskeligere. Nå kan KI-agenter utføre mange av disse vurderingene som en del av en automatisert prosess, sier Skjærpe.

Han trekker frem bank og forsikring som eksempler på bransjer der betydelige deler av det manuelle arbeidet kan automatiseres. Det innebærer ikke at beslutningsansvaret skal overføres til teknologien, mener han:

– Ansvaret må fortsatt ligge hos et menneske. Men agentene kan gjøre en langt større del av grunnarbeidet, slik at medarbeiderne kan konsentrere seg om de mer krevende vurderingene og beslutningene.

For å oppdage slike muligheter må virksomhetene også tillate at medarbeiderne eksperimenterer, mener Skjærpe, som advarer mot å gjøre kostnadskontrollen så rigid at den hindrer læring.