Flere nylige hendelser viser at avanserte modeller av kunstig intelligens ikke bare kan hjelpe mennesker med å finne sårbarheter. De kan også gjennomføre komplekse handlinger på egen hånd, i høyt tempo og med begrenset menneskelig involvering.
– Nå ser vi konkrete eksempler på at kunstig intelligens kan skaffe seg uautorisert tilgang til systemer når testmiljøer, tilganger eller kontrollmekanismer svikter. For finansnæringen betyr det at grunnleggende digital robusthet blir enda viktigere, sier Pål Christian Waag, fagdirektør cybersikkerhet i Finans Norge.
– Virksomhetene må ha kontroll på sårbarheter, tilganger, leverandører og risiko.
Tre hendelser som viser utviklingen
I juli opplyste Hugging Face, en av verdens største plattformer for utvikling og deling av KI-modeller, at selskapet hadde håndtert et innbrudd i deler av produksjonsinfrastrukturen. Selskapet beskrev hendelsen som drevet av et autonomt KI-agentsystem. Selv om det ikke ble funnet tegn til manipulering av modeller, datasett eller programvarepakker, viser hendelsen likevel hvor raskt en autonom aktør kan utnytte svakheter, hente ut tilgangsinformasjon og bevege seg videre i et system.
OpenAI har senere opplyst at hendelsen var knyttet til en intern sikkerhetstest. Ifølge OpenAI fikk modellene utilsiktet tilgang til internett gjennom en svakhet i testoppsettet. Deretter forsøkte de å finne informasjon som kunne bidra til å løse evalueringen ved å kombinere sårbarheter og eksponerte tilganger. Hendelsen illustrerer hvor viktig det er med robuste test- og kontrollmiljøer.
Anthropic har også omtalt tre tilfeller der Claude-modeller fikk tilgang til reelle systemer hos eksterne organisasjoner under cybersikkerhetstester. Selskapet opplyste at dette skjedde etter en feil i et testoppsett hos en tredjepart, som ga modellene internettilgang selv om de skulle operere i en simulert test. Modellene brukte blant annet svake passord og uautentiserte endepunkter.
Hendelsene betyr ikke at KI-modeller har egne intensjoner. De viser at KI-agenter kan forfølge et mål på måter som utviklere, testmiljøer og kontrollmekanismer ikke fullt ut forutser.
– For finansnæringen er dette en viktig påminnelse. Risikoen handler om tempo, skala, automatisering, identitet, leverandørkjeder og evnen til å håndtere hendelser raskt nok.
Endringer i cybertrusselen
Tempoet øker. Avanserte KI-modeller kan bidra til raskere sårbarhetsanalyse, mer effektiv utnyttelse av kjente svakheter og raskere kobling mellom tekniske funn, eksponerte systemer og tilgjengelige tilganger. Det kan gjøre at virksomheter får mindre tid til å oppdage, vurdere og håndtere sårbarheter.
KI-agenter får større handlingsrom. De kan få i oppgave å løse et mål, og selv velge metode, verktøy og rekkefølge. Hendelsene viser at testmiljøer, sandkasser, tilgangsstyring og overvåking må vurderes på nytt når KI-agenter får mer kapasitet og større handlingsrom.
Avhengighetene blir viktigere. Moderne finansielle tjenester bygger på komplekse verdikjeder med programvarekomponenter, åpen kildekode og tjenester fra eksterne leverandører. Nye KI-angrep kan rette seg mot alt fra utviklingsmiljøer og datasett til API-er, skyplattformer og tilgangsinformasjon. Derfor må virksomhetene ha god oversikt over egne systemer og eksterne avhengigheter.
– Hendelsen hos Hugging Face viser at databehandlingsmiljøer, utviklingsmiljøer og offentlige utviklerplattformer kan være attraktive mål. Det gjør kontroll på programvareforsyningskjeden viktigere, sier Waag.
Ledelsen må ta eierskap
KI-relaterte cybertrusler må håndteres som en virksomhetsrisiko.
– Det innebærer at styre og ledelse må forstå hvordan økt automatisering, raskere sårbarhetsutnyttelse, KI-agenter og leverandøravhengigheter påvirker virksomhetens risikobilde, sier Waag.
Finans Norge mener ledelsen bør sikre:
- tydelig eierskap til KI-relatert cyberrisiko
- at scenarioer inngår i virksomhetens risikotoleranse og risikovurderinger
- at sikkerhetsmål og måleparametere inngår i styringen
- at nødvendige ressurser er tilgjengelige for sårbarhetshåndtering og beredskap
- at sikkerhet, utvikling, drift og forretning jobber mot felles prioriteringer
Råd og anbefalinger på ny fagside
Utviklingen går raskt, og tiltakene må utvikles i samme tempo.
– Finansnæringen har allerede høy modenhet på mange områder, men den nye utviklingen krever økt oppmerksomhet fra ledelsen, bedre koordinering og kontinuerlig oppfølging av risiko, sier Waag.
Derfor har Finans Norge samlet alle anbefalinger for å håndtere risiko med kunstig intelligens på egen fagside.
Finans Norge vil fortsette å følge utviklingen tett og ha dialog med medlemmer, myndigheter, nordiske og europeiske samarbeidspartnere og internasjonale fora.
