Gode rutiner hindrer at KI blir en usynlig trussel

En ansatt lager en automatisert arbeidsflyt med KI mot et fagsystem, for eksempel i Outlook. Arbeidsflyten fungerer utmerket. Etter tre måneder bytter den ansatte avdeling, og etter seks måneder har vedkommende glemt hele oppsettet. Etter tolv måneder tar prosessen fortsatt imot henvendelser, gjør oppslag i fagsystemer, lager svar og oppdaterer sakslogger.

– Dermed oppstår en situasjon hvor ingen vet hvem som eier prosessen. Den opprinnelige oppretteren kan til og med ha sluttet i virksomheten. Det er vanskelig å stanse prosesser man ikke vet eksisterer, sier Eirik Gulbrandsen i Seksjon for teknologi, sikkerhet og tilsyn i Datatilsynet.

Datatilsynet publiserte denne uken et 20 minutter langt foredrag der Gulbrandsen og kollega Sara Rossebø går gjennom hvordan norske virksomheter bruker samtaleroboter, KI-assistenter og KI-agenter. Gulbrandsen kaller arbeidsflyten ingen lenger kjenner til, for et autonomt, digitalt spøkelse.

– Kanskje utfører den oppgavene sine tilfredsstillende, men den kan også begynne å feile eller endre atferd. Dette representerer en betydelig og uoversiktlig risiko, sier han.

Fra skygge-IT til skygge-KI

Ifølge Gulbrandsen er ikke spørsmålet om de ansatte bruker KI. Spørsmålet er hvor omfattende bruken er.

– Tradisjonell skygge-IT førte gjerne til ukontrollerte programmer og enkeltverktøy. Skygge-KI skaper derimot ukontrollerte prosesser og systemer. Virksomheter har brukt tiår på å få kontroll over skygge-IT. Skygge-KI vil kreve enda mer oppmerksomhet og kontroll, sier han.

Med agentisk KI kobles språkmodellen til API-er eller protokoller som MCP, og den kan dermed handle på egen hånd. Agenten får et mål, planlegger deloppgavene, utfører dem og vurderer til slutt om den har nådd målet. Den kan hente en sak, sende den til kunden, kalle inn til møte og oppdatere fagsystemet.

– Når den ansatte går hjem klokken fire, fortsetter agenten arbeidet i bakgrunnen, kanskje i skymiljøet til en ekstern leverandør. Da står man ikke lenger overfor et passivt dataverktøy, men en autonom aktør og digital medarbeider som opererer uten menneskelig tilstedeværelse, sier Gulbrandsen.

Arver alle tilgangene

Agentene kjører som regel i brukerens egen kontekst, gjerne i nettleseren. Nettleseren fungerer i dag som en felles inngang til svært mange fagsystemer.

– Dette innebærer at alt brukeren har tilgang til, blir også KI-assistenten autorisert til å lese. Konsekvensene av en slik bred tilgang er sjelden tilstrekkelig utredet eller risikovurdert, sier han.

Én agent blir fort til flere. Gulbrandsen beskriver agentsvermer med 30 eller 100 agenter, der én henter informasjon, en annen analyserer den og en tredje handler. Økonomi24 har tidligere omtalt hvordan brukere bygger sine egne KI-broer direkte inn i regnskapssystemene.

– Slike oppsett kan i dag bygges uten spesiell teknisk ekspertise. Bevisstheten rundt at slike kraftige verktøy kan settes opp så enkelt, er for lav i mange virksomheter, sier Gulbrandsen.

Sprer seg som et virus

Avviksmeldingene Datatilsynet får om KI, faller i hovedsak i to grupper. Den ene gjelder verktøy som tar opp og transkriberer møter. Den andre gjelder KI-agenter som omgår tilgangsstyringen og dukker opp i fag- og saksbehandlingssystemer.

I møtesakene har typisk én deltaker samtykket til at en KI-applikasjon tar opp møtet. De andre deltakerne er ikke informert, og det foreligger ikke noe gyldig behandlingsgrunnlag. Verktøyet som går igjen, er Read AI. Én virksomhet skriver i avviksmeldingen at den i etterkant oppdaget at dataene lagres i USA og deles med underleverandører, og at tjenesten analyserer hvordan møtedeltakerne oppfører seg.

– Når deltakere klikker på e-posten fra Read AI, blir de automatisk registrert som brukere av tjenesten, og applikasjonen blir dermed dratt med videre inn i deres egne, fremtidige Teams-møter. Dette skjer ofte uten at brukerne er bevisste på det, noe som gjør at spredningsmønsteret minner om et datavirus, sier Sara Rossebø i Datatilsynet.

Ifølge Gulbrandsen ble mange tusen ansatte eksponert for slik spredning i en stor hendelse i Oslo. Det krevde omfattende tiltak å avgrense den.

Skygge-KI i godkjente verktøy

Den andre typen avvik gjelder KI som er bygget inn i verktøy de ansatte allerede har. Mange virksomheter har bedriftsavtaler med Microsoft for å sikre kontroll over databehandling, sletting og lagring. Likevel tror ansatte at de fritt kan bruke gratisversjonen av Copilot som dukker opp i nettleseren.

I ett avvik fikk en ansatt opp Copilot automatisk i fagsystemet og brukte verktøyet til å oppsummere et dokument. I et annet trodde en saksbehandler at Copilot var en offisiell del av fagsystemet.

– Slike hendelser illustrerer hvordan svakheter i den digitale grunnmuren, som mangelfulle prosesser, manglende rutiner og fravær av opplæring, blir svært synlige og forsterkes kraftig i møte med KI-verktøy, sier Rossebø.

Hun peker også på hukommelsen. En ansatt som har brukt en KI-assistent i et halvt år, har latt den bygge opp kontekst av personopplysninger, kundedata, prosjektnotater og møtereferater.

– Når en annen kollega eller bruker senere ber assistenten om en sammenstilling, for eksempel «gi meg alt om denne kunden», vet man da egentlig hva som ligger lagret i assistentens hukommelse? Hvilke koblinger og antakelser er generert, stemmer disse med virkeligheten, og foreligger det mekanismer for å slette disse dataene? spør hun.

Agenten trenger en sjef

Virksomhetene som har meldt avvik, har blant annet blokkert Read AI og strammet inn hva ansatte kan laste ned (se faktaboks). Opplæring er like avgjørende, ifølge Rossebø, og Datatilsynet anbefaler interne retningslinjer som setter klare grenser for hva KI kan brukes til.

– Det mest effektive tiltaket mot slike sikkerhetsbrudd er å ha full kontroll over tredjepartsapplikasjoner, nettleserutvidelser, og hva sluttbrukerne har anledning til å laste ned og aktivere. Her er tilgangskontroll selve nøkkelen, sier hun.

Gulbrandsen understreker at verken han eller Datatilsynet går inn for et totalforbud mot KI. Men han mener det kreves et bevissthetsløft fra toppledelsen og nedover.

– Gevinstpotensialet er stort, men nedsiden er like stor dersom styringen svikter, sier han.

Rådene ligner dem Dynamics-rådgiverne i Inspirit365 ga Økonomi24 i april: Start med én smal prosess, avgrens tilgangene og avklar hvem som eier dataene.

Til slutt plasserer Gulbrandsen ansvaret hos menneskene bak agenten.

– De som oppretter eller tar i bruk agenten, må stå til ansvar for handlingene agenten utfører på deres vegne. Det er dette vi legger i ansvarlig bruk av KI.

Fire spørsmål om KI-agentene

Gulbrandsen mener virksomheten må kunne svare på dette for hver agent:

• Hva kan den gjøre, hva brukes den til, og hvilke oppgaver har den utført tidligere?

• Hvilke handlinger og tilganger har den fått, og hvilke data har den tilgang til?

• Hvem eier agenten og har ansvaret for arbeidsprosessen den utfører?

• Hvilke kontrollmekanismer sikrer at arbeidet blir riktig, og hvordan skrus agenten av ved behov?

Tiltak fra avviksmeldingene

Dette har virksomheter som har meldt KI-avvik til Datatilsynet, gjort:

• blokkert tjenester som Read AI i Teams’ administrasjonssenter eller via Microsoft Entra ID

• blokkert e-post fra domener knyttet til tjenestene

• endret retningslinjene i Teams slik at bare møteverten kan slippe inn deltakere

• sperret for at ansatte kan laste ned tredjepartsverktøy uten godkjenning på forhånd

• innført sikkerhetsregler i nettleseren som hindrer at KI-assistenter og utvidelser er aktivert som standard

• innført faste rutiner for å fange opp endringer som kommer med sikkerhets- og programvareoppdateringer