Tryg implementering af forretningskritisk AI

Vinderne bliver de virksomheder, der integrerer AI i forretningskritiske systemer.

Resumé

  • De fleste organisationer har nu AI i produktion. Næsten ingen bruger det dér, hvor det virkelig tæller: i kundevendte oplevelser, forretningskritiske beslutninger eller processer med minimalt menneskeligt tilsyn. Det er i dette spænd, at konkurrencemæssige fordele vindes og tabes.

  • Barrieren handler typisk om tillid, ikke kapacitet. Ved implementering af AI, hvor meget står på spil, bygger denne tillid på, at fire konkrete kriterier er opfyldt.

  • Kriterierne omfatter, hvordan I tester AI-adfærd, hvordan I udvikler og styrer løsninger i virksomhedsskala, og om ledelsen reelt har taget til sig, hvorfor det er vigtigt.

  • Når disse tillidskriterier opfyldes, opbygger I rutine og ansvarlighed og får færre grunde til at tøve med at implementere AI, hvor det kan gøre en reel forskel. Uden denne tillid ender AI med blot at spare pund i perifere anvendelser uden mærkbar indvirkning på organisationens drift.

Virksomhederne bevæger sig videre fra POC'er …

På samme tid sidste år – årtier målt i AI-år – befandt de fleste virksomheder sig i »AI-POC-skærsilden«: De havde mange interessante POC'er, som viste, hvad AI kunne, men havde svært ved at sætte nogen af dem i produktion. Et år senere har mange organisationer nu i det mindste nogle AI-løsninger i produktion, hvilket er et stort fremskridt.

Men ofte anvendes AI i perifere processer: Det er lettere, et innovationsteam kan udvikle løsningen sammen med en engageret forretningsbruger, og hvis noget går galt, »er det ikke verdens undergang«. Processen er ikke afgørende, der findes en manuel reserveproces, eller flere mennesker er involveret undervejs for at begrænse eventuelle negative konsekvenser.

Resultatet af denne forståelige, men forsigtige tilgang er, at løsningernes effekt også bliver beskeden: De har næppe gjort nogen nævneværdig forskel for vækstmuligheder, kundeoplevelse eller omkostningsprofil.

… men anvender ofte ikke AI dér, hvor det virkelig tæller – i modsætning til vinderne.

Det er dét, der adskiller fremtidens vindere fra resten: De progressive virksomheder investerer i at udnytte AI dér, hvor det har betydning for forretningens resultater.

Efternølerne »arbejder også med AI«, bare ikke dér, hvor det får en reel betydning for forretningen.

Og ja, AI i investeringsbeslutninger, kundeoplevelser, produktudvikling, forskning og design samt automatisering uden menneskelig kontrol vil føles mere risikabelt, men det er også her, de reelle gevinster findes.

De virksomheder, der er ved at få et forspring på området, er måske endnu ikke synlige for markedet. Men når de bliver det, vil afstanden allerede være betydelig, og forskellen i implementeringstempo vil få den til at vokse yderligere, mens efternølerne indser, hvad de hele tiden har misforstået.

Spørgsmålet er derfor: Hvad skal en organisation have på plads for trygt at kunne anvende AI i de processer, der virkelig betyder noget?

Lad os først antage, at I allerede er gået fra »Vi har et AI-værktøj som ChatGPT« over »Vi har POC'er« til »Vi har ti enkle AI-løsninger i drift«. Hvis ikke, bør det prioriteres højt. De første skridt kan virke banale, men de er afgørende for at begynde at opbygge AI-kompetencer i hele virksomheden, få bedre idéer til anvendelsesscenarier og afdække de interne trin, der kræves for at sætte AI i produktion.

På dette tidspunkt bør organisationen hæve ambitionerne og gå videre til »værdiskabende, anvendte AI-løsninger med menneskeligt tilsyn« og derefter det differentierende niveau: »Vi anvender AI i vores kerneprocesser og kundeoplevelser«.

De sidste fremskridt begrænses sjældent af teknologien, men derimod af organisationens tillid. For der er altid en grund til at udskyde eller undgå det svære:

»Hvad nu, hvis den giver de forkerte indsigter?«, »Hvad nu, hvis den opfører sig forkert, og vi ender i medierne?«, »Hvad nu, hvis den regner forkert, så vi træffer den forkerte beslutning?«, »Hvad nu, hvis den krænker kunderne?«, »Hvad nu, hvis modellen bliver utilgængelig?«, »Hvordan håndterer vi opdateringerne til den?«, »Hvad nu, hvis reglerne ændres?«, »Bør vi vente på den nye model?« osv.

Fire centrale tillidskriterier

Efter vores vurdering er der typisk fire betingelser, som giver tillid til at trykke på knappen »Gå i drift« ved en AI-understøttet forandring med stor effekt.

  1. Hvorfor: Har organisationen – især topledelsen – reelt taget fortællingen om, »hvorfor AI er vigtig for vores forretningsmæssige succes«, til sig? Hvis ikke, er organisationen mere tilbøjelig til at finde grunde til at undgå de svære beslutninger.

  2. Understøttelsen: Findes der et team for AI-forandring, -transformation eller -understøttelse, som hjælper organisationen med at udvikle sig med AI? Et team, der håndterer ibrugtagning, uddannelse, regler, nye arbejdsformer, udfordring af antagelser, nødvendig finansiering osv. AI er ikke en forandring, som teknologiafdelingen bare kan »tage sig af«, sådan som det ofte var tilfældet med cloud- eller digitaliseringsinitiativer. Den skal drives af forretningen og understøttes ordentligt.

  3. Hvordan: Findes der en etableret virksomheds- og løsningsarkitektur for anvendt AI? Området udvikler sig konstant, men en klar retning fremtvinger overvejelser og opbygning af viden om de rette sikkerhedsforanstaltninger, omkostninger, observerbarhed, kontroller, modeladgang osv. Det begynder at skabe intern troværdighed omkring, at organisationen »ved, hvad den laver« med AI, og forhindrer, at der opstår mange forskellige udviklingsmetoder.

  4. Tillidstesten før idriftsættelse: Løsningsejere kan blive ved med at udskyde spørgsmålet: »Er løsningen god nok til at gå i drift?« Traditionel test udført af QA-teams giver hverken den nødvendige tillid eller ansvarlighed for et ikke-deterministisk AI-system. Det gør evalueringer.

Lad os gennemgå dem i omvendt rækkefølge, fordi denne rækkefølge ligger tættest på beslutningen om, hvorvidt løsningen kan sættes i drift.

[4] Evalueringer: Test ordentligt, så I trygt kan trykke på »Start«.

I årtier har organisationer stolet på, at QA-teamet afgjorde, om en version var god nok. På papiret blev testen udført af forretningens interessenter; i virkeligheden blev den udført af QA-teamet. Resultatet var enten godkendt eller afvist på baggrund af utallige regler af typen: Hvis dette, så det. Meget arbejde, men ligetil.

Det virker ikke for AI, hvor vi skal evaluere adfærd.

Evalueringer, også kaldet evals, gør kvalitativ AI-adfærd målbar. I stedet for godkendt/afvist definerer I kriterier som korrekthed, tone, faktuel forankring og afvisningsadfærd og tildeler point. Følg resultaterne gennem hele projektet, mens I forbedrer prompts, modeller, sikkerhedsforanstaltninger osv. Så får projektteamet, forandringsudvalgene og forretningsledelsen noget, de trygt kan handle på: en korrekthedsscore, der i løbet af projektet er steget fra x til y.

Det tal har to funktioner. For det første skaber det tillid ved at dokumentere forbedringer over tid og give interessenterne håndgribeligt bevis for, at systemet konsekvent opfører sig pålideligt inden for de fastsatte forventninger.

For det andet skaber det ansvarlighed. Det er de tal og den evalueringshistorik, de kan henvise til. Et dokumenteret evalueringssæt, der er testet på tværs af et veldefineret udvalg af scenarier, svarer for AI til den testrapport, som viser godkendelsesudvalget, at der er udvist rettidig omhu: Gør løsningen kun det, den skal, og gør den det kun på den måde, den skal?

Tallene er naturligvis kun meningsfulde, hvis evalueringskriterierne er tilstrækkeligt omfattende. Det kræver en ændring af driftsmodellen, som de fleste organisationer i første omgang håndterer forkert: Forretningen skal eje evalueringskriterierne – ikke teknologiafdelingen eller QA-teamet – og ansvaret må ikke uddelegeres til én juniorbruger. Produktejerne og specialisterne forstår fagområdet, særtilfældene, den ønskede tone, de typer interaktioner, brugerne kan udsætte systemet for, de ræsonneringstrin, der giver mening, fejlscenarierne, de korrekte Q&A-par osv. De, der bruger og implementerer løsningen, bør afgøre, hvad der er godt nok.

Hvis I skal godkende en løsning, der anvender AI helt centralt i kundeoplevelsen, behøver I derfor kun stille to spørgsmål:

(1) Hvem har udformet evalueringskriterierne, og

(2) Er evalueringsresultaterne løbende blevet bedre i forhold til kriterierne, og har de nu passeret minimumsgrænsen?

Hvis svaret er "teknologiafdelingen udarbejdede dem, men vi er tilfredse med resultaterne", er applikationen ikke klar. Hvis svaret er »ja, vi testede i sidste uge, og den bestod«, er evalueringsmodenheden sandsynligvis ikke høj nok til at skabe den nødvendige tillid, da evalueringerne næppe var udgangspunktet for udviklingen.

Men hvis den forretningsansvarlige produktejer har defineret, gennemgået og løbende forbedret evalueringerne under hele udviklingen og kan vise, at resultaterne bevæger sig i den rigtige retning, har I noget, der er værd at godkende.

[3] Virksomhedens AI-arkitektur: Hav en retning, selv om den ændres hver måned

Endnu et lag af tillid kommer af at være på linje med principper og standarder for AI-arkitektur. De første fem AI-applikationer kunne med fordel bygges på den måde, der gjorde det nemmest at komme i gang. Men for at skalere og opnå høj hastighed i sikker og velstyret implementering af AI i hele organisationen bliver en mere struktureret tilgang med referencearkitekturer for applikationer og en fælles AI-platform nødvendig.

Alle udviklingsteams skal hurtigt kunne »arve« modeladgang, sikkerhedsforanstaltninger, observerbarhed, skalering, omkostningsstyring osv., så de kan fokusere på at udvikle løsningen.

En klar retning for virksomhedens AI-platform og arkitekturtilgange styrker yderligere organisationens tillid til, at den sikkert kan implementere AI i kritiske systemer – også selv om retningen hurtigt kan blive forældet på grund af udviklingstempoet. Det betyder nemlig, at nogen har overvejet alle de centrale faktorer og valgt den optimale vej til implementering. Det styrker også tilliden til, at løsningen kan understøtte de vigtige processer.

[2] AI-transformation: ikke blot »noget teknisk«

Det handler ikke om at »gøre det samme, bare med adgang til et AI-værktøj«. Det lyder måske som en kliché, men transformation kræver, at processer gentænkes, produkttilbud revurderes, kundeoplevelsen videreudvikles, og arbejdsformer og sandsynligvis også teamstrukturer ændres.

Det sker ikke som en bibeskæftigelse og kan ikke drives af teknologiafdelingen (og nej, heller ikke af jeres »innovationsteam« på tre fuldtidsmedarbejdere). Og hvis I vælger tilgangen »det løser sig nok«, opnår I ikke samme forandringstempo som de vindende konkurrenter.

At finde de reelt banebrydende anvendelsesscenarier og sikre opbakning til dem kræver desuden både indgående AI-viden i hele virksomheden og en positiv tilgang til teknologien.

AI-transformationen kræver derfor, at personer, som kender organisationens behov, kan skabe forandring og forstår AI, får mandat fra bestyrelsen til at gennemføre den og levere koordinering, fremdrift, finansiering, indflydelse, styring, prioritering og beslutningstagning.

Især i de første faser fungerer en central enhed som et AI Hub, en AI-transformation eller et AI-kontor godt. Det centrale team skaber tillid til, at organisationen har en strategi, der kan føres ud i livet, at store beslutninger hurtigt kan træffes og uddelegeres, og at der er klare kvalitetsporte for AI-transformationen. Uden et sådant team risikerer tilgangen at blive for fragmenteret, så beslutninger, produkt- og løsningsvalg samt kvalitet bliver inkonsistente. I sidste ende undergraver det tilliden til at implementere AI på områder, hvor meget står på spil.

[1] Kan alle medarbejdere (og den administrerende direktør) forklare »hvorfor«?

Som nævnt tidligere bliver det de virksomheder, der opbygger erfaringen, ekspertisen og tilliden til ofte, hurtigt og sikkert at implementere AI i de centrale processer og oplevelser, som forbedrer kundeoplevelsen, produktresultaterne, produktionshastigheden osv., der opnår reelle konkurrencemæssige fordele.

Det kræver både gode evalueringsmetoder, en arkitektur, der hurtigt kan tilpasses og skaleres, og en løsningsorienteret transformationsledelse, som hjælper organisationen med at lære, tilpasse sig og etablere nye arbejdsformer.

Ingen af delene lykkes imidlertid nedefra og op. Forandringerne og konsekvenserne er simpelthen for hurtige og omfattende til det. »Bestyrelsens godkendelse« eller »ledelsens opbakning« er heller ikke nok.

Hvis medarbejderne ikke tydeligt kan se, hvorfor forandringerne er nødvendige, hvad de betyder for dem personligt – godt eller skidt – og hvad de får ud af dem, bliver resultatet en transformation ad bagvejen med betydelige følgeskader.

Det fjerde element i at opnå en reel fordel ved at indføre AI er derfor, at virksomhedens ledelse oprigtigt forstår og tror på, at investeringer i AI er afgørende for virksomhedens fortsatte succes. Det er deres AI-strategi, der indarbejdes i missionen og målene, som de igen og igen taler varmt for, og som de synligt understøtter med handling, når de træffer beslutninger.

Det giver teams i hele organisationen incitament, støtte og en følelse af nødvendighed, så de opkvalificerer sig og træffer de lidt ubehagelige, men vigtige beslutninger om at vælge den vanskeligere og mere givende vej. Det giver tillid til at trykke på »Gå i drift« for den AI-understøttede kundeoplevelse eller investeringsbeslutningsproces.

Tillid til at sætte AI med høj risiko og stor effekt i drift

De virksomheder, der får størst udbytte af AI de næste to år, bliver ikke dem med flest implementeringer. Det bliver dem, der får AI til at fungere i de vigtige, kundevendte, beslutningspåvirkende og forretningskritiske systemer og processer – og som opbygger organisationens evne til at gøre det konsekvent og sikkert.

Hvad bør I så gøre? Hvis jeres organisation »arbejder med AI«, men det ikke påvirker virksomhedens succes, så prøv at besvare disse spørgsmål:

  1. Er det tydeligt, hvilken rolle AI spiller i at opfylde virksomhedens mission? Oplever I, at ledelsen reelt tror på, at indførelsen af AI er afgørende for virksomhedens fremtidige succes?

  2. Findes der en central enhed, som fremmer AI-dagsordenen, uddanner organisationen og koordinerer aktiviteterne?

  3. Opbygger teknologiafdelingen ekspertise, kapacitet og mønstre, der gør udviklingen af AI hurtigere og sikrere?

  4. Når nye versioner frem til produktion uden at blive blokeret af ubesvarede spørgsmål om AI-adfærd?

Hvis svaret på blot ét af spørgsmålene er nej, ved I, hvor I skal begynde for at styrke organisationens tillid til, at AI kan implementeres hurtigt og ensartet og dermed skabe konkurrencemæssige fordele dér, hvor det virkelig tæller.

Forfatter

Dave Pit