Trygg innføring av forretningskritisk KI

Vinnerne blir selskapene som tar i bruk KI i forretningskritiske systemer.

Sammendrag

  • De fleste organisasjoner har nå tatt i bruk KI i produksjon. Nesten ingen bruker det der det virkelig betyr noe: i kundevendte opplevelser, forretningskritiske beslutninger eller prosesser med minimalt menneskelig tilsyn. Det er i dette gapet konkurransefortrinn vinnes og tapes.

  • Hindringen er vanligvis trygghet, ikke kapasitet. Ved bruk av KI på områder der mye står på spill, er denne tryggheten et resultat av at fire konkrete kriterier er oppfylt.

  • Kriteriene omfatter hvordan KI-atferd testes, hvordan løsninger bygges og styres i stor skala, og om ledelsen virkelig forstår hvorfor dette er viktig.

  • Når disse kriteriene oppfylles, bygger organisasjonen erfaring og ansvarlighet og får mindre grunn til å vegre seg for å bruke KI til å skape vesentlige forbedringer. Uten denne tryggheten blir KI begrenset til å spare noen pund på perifere bruksområder, uten vesentlig innvirkning på hvordan organisasjonen drives.

Selskaper går videre fra konseptutprøvinger …

På denne tiden i fjor – flere tiår målt i KI-år – befant de fleste selskaper seg i «skjærsilden for KI-konseptutprøvinger»: De hadde mange interessante utprøvinger som viste hva KI kunne gjøre, men slet med å produksjonssette noen av dem. Ett år senere har mange organisasjoner minst noen KI-løsninger i produksjon, noe som er et stort fremskritt.

Ofte brukes KI likevel i perifere prosesser. Det er enklere, et innovasjonsteam kan utvikle løsningen sammen med en engasjert forretningsbruker, og hvis noe går galt, «er det ikke verdens undergang». Prosessen er ikke særlig viktig, det finnes en manuell reserveløsning, eller flere mennesker kontrollerer prosessen for å begrense mulige negative følger.

Resultatet av denne forståelige, men forsiktige tilnærmingen er at løsningenes effekt også blir begrenset. De har neppe gitt merkbare utslag på vekstmuligheter, kundeopplevelse eller kostnadsnivå.

… men bruker ofte ikke KI der det virkelig betyr noe, slik vinnerne gjør.

Det er dette som skiller fremtidens vinnere fra resten: De fremoverlente selskapene investerer i KI der det påvirker virksomhetens resultater.

Etternølerne «driver med KI» de også, bare ikke der det vil ha vesentlig innvirkning på virksomheten.

Ja, KI i investeringsbeslutninger, kundeopplevelser, produktutvikling, forskning og design samt automatisering uten mennesker i prosessen vil føles mer risikabelt, men det er også her de virkelige gevinstene ligger.

Selskapene som tar ledelsen på dette området, er kanskje ennå ikke synlige i markedet. Når de blir det, vil gapet allerede være stort, og forskjellen i tempoet på KI-innføringen vil gjøre at det bare øker mens etternølerne innser hva de hele tiden har tatt feil av.

Spørsmålet er derfor: Hva trenger en organisasjon for å være trygg på å bruke KI i prosessene som virkelig betyr noe?

La oss først anta at dere allerede har gått fra «Vi har et KI-verktøy som ChatGPT» via «Vi har konseptutprøvinger» til «Vi har ti enkle KI-løsninger i drift». Hvis ikke, må dette prioriteres. Disse første trinnene kan virke trivielle, men er avgjørende for å bygge KI-kompetanse i virksomheten, få frem bedre ideer til bruksområder og avdekke hva som kreves internt for å sette KI i produksjon.

På dette stadiet bør organisasjonen bli mer ambisiøs og gå videre til å levere «KI-løsninger med reell effekt og menneskelig tilsyn», og deretter til det som virkelig skiller den ut: «Vi bruker KI i kjerneprosessene og kundeopplevelsene våre».

De siste fremskrittene begrenses sjelden av teknologien, men av organisasjonens trygghet. Det finnes nemlig alltid en grunn til å utsette eller styre unna det vanskelige:

«Hva om den gir feil innsikt?», «Hva om den oppfører seg feil og vi havner i mediene?», «Hva om den regner feil og vi tar feil beslutning?», «Hva om den trakasserer kundene?», «Hva om modellen blir utilgjengelig?», «Hvordan skal vi håndtere oppdateringene av dette?», «Hva om regelverket endres?», «Bør vi vente på den nye modellen?» og så videre.

Fire sentrale trygghetskriterier

Etter vår vurdering er det vanligvis fire forutsetninger som gir trygghet til å trykke på «Sett i produksjon» for en KI-drevet endring med stor effekt.

  1. Hvorfor: Har organisasjonen, og særlig toppledelsen, virkelig sluttet seg til fortellingen om «hvorfor KI er viktig for virksomhetens suksess»? Hvis ikke vil organisasjonen lettere finne grunner til å styre unna de vanskelige beslutningene.

  2. Tilretteleggingen: Finnes det et team for KI-endring, -transformasjon eller -tilrettelegging som støtter organisasjonen mens den utvikler seg med KI? Et team som håndterer innføring, opplæring, regelverk, nye arbeidsmåter, utfordring av antakelser, nødvendig finansiering og så videre. KI er ikke en endring som teknologifunksjonen kan «ordne opp i», slik sky- og digitaliseringsinitiativer ofte ble behandlet. Den må ledes av virksomheten og få god støtte.

  3. Hvordan: Finnes det en etablert virksomhets- og løsningsarkitektur for anvendt KI? Selv om dette området stadig utvikler seg, tvinger et tydelig standpunkt frem refleksjon og kunnskapsbygging om riktige sikkerhetsmekanismer, kostnader, observerbarhet, kontroller, modelltilgang og lignende. Det bygger intern troverdighet for at organisasjonen «vet hva den gjør» med KI, og forhindrer at det oppstår mange ulike byggemetoder.

  4. Trygghetstesten før produksjonssetting: Løsningseiere kan utsette spørsmålet «Er den god nok til å settes i produksjon?» i det uendelige. Tradisjonell testing utført av kvalitetssikringsteam gir ikke denne tryggheten og ansvarsfølelsen for et ikke-deterministisk KI-system. Det gjør evalueringer.

La oss gå gjennom disse i motsatt rekkefølge, fordi den ligger nærmest beslutningsprosessen rundt trygg produksjonssetting.

[4] Evalueringer: Test grundig, slik at dere trygt kan trykke på «Start».

I flere tiår har organisasjoner stolt på at kvalitetssikringsteamet avgjør om en lansering er god nok. På papiret ble testingen utført av interessenter fra virksomheten, men i praksis gjorde kvalitetssikringsteamet jobben. Resultatet var enten bestått eller ikke bestått, basert på utallige regler av typen hvis dette, så det. Det var mye arbeid, men ukomplisert.

Dette fungerer ikke for KI, der vi må evaluere atferd.

Evalueringer, eller evals, gjør kvalitativ KI-atferd målbar. I stedet for bestått eller ikke bestått definerer dere kriterier – som korrekthet, tone, faktisk forankring og avvisningsatferd – og tildeler poeng. Følg resultatene gjennom prosjektet mens ledetekstene, modellene og sikkerhetsmekanismene forbedres. Da får prosjektteamet, endringskomiteene og virksomhetsledelsen et solid beslutningsgrunnlag: en korrekthetsscore som har gått fra x til y i løpet av prosjektet.

Dette tallet gjør to ting. For det første skaper det trygghet ved å vise forbedring over tid og gi interessentene håndfaste bevis på at systemet konsekvent oppfører seg pålitelig innenfor de fastsatte forventningene.

For det andre skaper det ansvarlighet. De kan vise til tallene og sporbarheten i evalueringene. Et dokumentert evalueringssett som er testet mot et tydelig definert spekter av scenarioer, er KI-motstykket til testrapporten. Det gir godkjenningskomiteen dokumentasjon på at aktsomhetskravet er oppfylt: Gjør løsningen bare det den skal, og gjør den det bare på riktig måte?

Tallene er selvsagt bare meningsfulle hvis evalueringskriteriene er omfattende nok. Det krever en endring i driftsmodellen som de fleste organisasjoner først gjør feil: Virksomheten må eie evalueringskriteriene. Ansvaret skal ikke ligge hos teknologi- eller kvalitetssikringsteamet eller delegeres til én juniorbruker. Produkteierne og spesialistene forstår fagområdet, grensetilfellene, ønsket tone, hvilke typer henvendelser brukerne kan komme med, hvilke resonneringstrinn som gir mening, feilmodusene, de riktige spørsmål-og-svar-parene og så videre. De som skal bruke og innføre løsningen, bør avgjøre hva som er godt nok.

Hvis dere skal godkjenne en løsning som bruker KI midt i kjernen av kundeopplevelsen, trenger dere derfor bare å stille to spørsmål:

(1) Hvem utformet evalueringskriteriene, og

(2) har evalueringsresultatene blitt bedre målt mot disse kriteriene over tid og nå passert minstekravet?

Hvis svaret er "teknologiteamet utformet dem, men vi er fornøyde med resultatene", er applikasjonen ikke klar. Hvis svaret er «ja, vi testet forrige uke, og den besto», er evalueringsmodenheten sannsynligvis ikke høy nok til å skape den nødvendige tryggheten. Evalueringene var neppe utgangspunktet for utviklingen.

Men hvis virksomhetens produkteier har definert, gjennomgått og forbedret evalueringene gjennom hele utviklingen og kan vise at resultatene utvikler seg i riktig retning, har dere noe det er verdt å godkjenne.

[3] KI-arkitektur for virksomheten: Ha et standpunkt, selv om det endres hver måned

Et annet lag av trygghet kommer fra samsvar med prinsipper og standarder for KI-arkitektur. De fem første KI-applikasjonene kunne bygges på den måten som var mest praktisk for å komme i gang. Men for å skalere og raskt innføre trygg og godt styrt KI i hele organisasjonen blir det nødvendig med en mer strukturert tilnærming, referansearkitekturer for applikasjoner og en felles KI-plattform.

Alle utviklingsteam må raskt kunne «arve» modelltilgang, sikkerhetsmekanismer, observerbarhet, skalering, kostnadsstyring og lignende, slik at de kan konsentrere seg om å utvikle løsningen.

Et tydelig syn på virksomhetens KI-plattform og arkitektur bygger ytterligere trygghet for at organisasjonen kan innføre KI sikkert i kritiske systemer, selv om løsningene har kort levetid på grunn av den raske utviklingen. Det betyr at noen har vurdert alle nøkkelfaktorene og valgt den beste veien til produksjon. Også dette styrker tilliten til at løsningen vil støtte de viktige prosessene.

[2] KI-transformasjon: ikke bare «en teknologisak»

Dette handler ikke om «å gjøre det samme, bare med tilgang til et KI-verktøy». Det er kanskje en klisjé, men transformasjon innebærer å utforme prosesser på nytt, revurdere produkttilbudet, videreutvikle kundeopplevelsen og endre arbeidsmåter og sannsynligvis også teamstrukturer.

Det skjer ikke som en oppgave ved siden av det daglige arbeidet og kan ikke drives av teknologifunksjonen (og nei, heller ikke av «innovasjonsteamet» deres på tre årsverk). Hvis dere satser på at «det ordner seg av seg selv», vil dere heller ikke oppnå endringstakten som de vinnende konkurrentene kan få til.

Å avdekke de virkelig banebrytende bruksområdene og sikre støtte til dem krever dessuten grundig KI-kunnskap i hele virksomheten og en positiv innstilling til teknologien.

KI-transformasjonen må derfor ledes av personer som vet hva organisasjonen trenger, forstår hvordan endring muliggjøres, og har KI-kompetanse. Styret må gi dem mandat til å gjennomføre arbeidet og sørge for koordinering, fremdrift, finansiering, påvirkning, styring, prioritering og beslutninger.

Særlig i de første fasene fungerer en sentral funksjon som et KI-knutepunkt, et KI-transformasjonsteam eller et KI-kontor godt. Dette sentrale teamet skaper trygghet for at organisasjonen har en strategi som kan gjennomføres, at store beslutninger kan tas og delegeres raskt, og at det finnes kvalitetsporter for KI-transformasjonen. Uten en slik funksjon kan tilnærmingen bli for fragmentert, med sprikende beslutninger, valg av produkter og løsninger samt kvalitet. Det svekker til slutt tryggheten som kreves for å innføre KI på områder der mye står på spill.

[1] Kan alle ansatte (og den administrerende direktøren) forklare «hvorfor»?

Som nevnt vil selskapene som oppnår reelle konkurransefortrinn med KI, være de som bygger erfaringen, kompetansen og tryggheten som trengs for ofte og raskt å innføre KI i kjernen av viktige prosesser og løsninger som forbedrer kundeopplevelsen, produktytelsen, produksjonstakten og lignende.

Det krever god evalueringspraksis, en arkitektur som raskt kan tilpasses og skaleres, og en løsningsorientert transformasjonsledelse som hjelper organisasjonen med å lære, tilpasse seg og etablere nye arbeidsmåter.

Ingen av disse tiltakene vil imidlertid lykkes som et rent initiativ «nedenfra og opp». Endringene og konsekvensene er rett og slett for raske og omfattende. «Styregodkjenning» eller «støtte fra ledelsen» er heller ikke nok.

Hvis de ansatte ikke tydelig forstår hvorfor endringene er nødvendige, hva de betyr for dem personlig – på godt og vondt – og hva de får igjen, vil transformasjonen skje bakveien og føre til betydelige følgeskader.

Det fjerde elementet i å oppnå reelle fordeler ved å ta i bruk KI er derfor at selskapsledelsen virkelig forstår og tror at investeringer i KI er avgjørende for selskapets videre suksess. Det er deres KI-strategi som innarbeides i formålet og målene, som de stadig løfter frem, og som de synlig følger opp med beslutninger og handling.

Det gir teamene i hele organisasjonen insentiver, støtte og nødvendig hastverk til å styrke kompetansen og ta de litt ubehagelige, men viktige beslutningene om å velge den vanskeligere og mer lønnsomme veien. Det gir tryggheten som trengs for å trykke på «Sett i produksjon» for den KI-drevne kundeopplevelsen eller investeringsbeslutningsprosessen.

Trygghet til å produksjonssette KI med høy risiko og stor effekt

Selskapene som vinner på KI de neste to årene, blir ikke dem med flest produksjonssettinger. Det blir dem som får KI til å fungere i viktige, kundevendte, beslutningspåvirkende og forretningskritiske systemer og prosesser, og som bygger organisasjonens evne til å gjøre dette konsekvent og trygt.

Hva bør dere gjøre nå? Hvis organisasjonen «driver med KI» uten at det påvirker selskapets suksess, kan dere prøve å svare på disse spørsmålene:

  1. Er det tydelig hvilken rolle KI spiller i å nå selskapets mål? Opplever dere at ledelsen faktisk mener at innføring av KI er avgjørende for selskapets fremtidige suksess?

  2. Finnes det en sentral funksjon som driver KI-satsingen fremover, bygger kompetanse i virksomheten og koordinerer aktivitetene?

  3. Bygger teknologiteamet opp kompetanse, kapasitet og standardmønstre som gjør KI-utviklingen raskere og tryggere?

  4. Kommer lanseringene i produksjon uten å bli blokkert av ubesvarte spørsmål om KI-atferd?

Hvis svaret på ett av disse spørsmålene er nei, vet dere hvor dere skal begynne for å styrke organisasjonens trygghet på at KI kan innføres raskt og konsekvent og gi konkurransefortrinn på områdene der det virkelig betyr noe.

Forfatter

Dave Pit