Bedrijfskritieke AI vol vertrouwen inzetten

De winnaars zijn de bedrijven die AI inzetten in bedrijfskritieke systemen.

Samenvatting

  • De meeste organisaties gebruiken AI inmiddels in productie. Bijna geen enkele organisatie zet AI in waar het ertoe doet: in klantgerichte ervaringen, bedrijfskritieke beslissingen of processen met minimaal menselijk toezicht. In die kloof wordt het concurrentievoordeel gewonnen of verloren.

  • De belemmering is doorgaans een gebrek aan vertrouwen, niet aan technische mogelijkheden. Bij de inzet van AI voor kritieke toepassingen ontstaat dat vertrouwen wanneer aan vier specifieke criteria wordt voldaan.

  • Die criteria gaan over de manier waarop je AI-gedrag test, oplossingen op ondernemingsniveau bouwt en beheert, en de vraag of je leiderschap werkelijk overtuigd is van het belang ervan.

  • Door aan deze vertrouwenscriteria te voldoen, bouw je routine en verantwoordelijkheid op en is er minder reden om terug te deinzen voor de inzet van AI om echt verschil te maken. Zonder dat vertrouwen blijft AI steken in kostenbesparingen bij randtoepassingen, zonder wezenlijke invloed op de bedrijfsvoering.

Bedrijven laten POC's achter zich…

Rond deze tijd vorig jaar — tientallen AI-jaren geleden — zaten de meeste bedrijven in het "AI-POC-vagevuur": veel interessante POC's die lieten zien wat AI zou kunnen, maar grote moeite om er ook maar één in productie te nemen. Een jaar later hebben veel organisaties nu ten minste enkele AI-oplossingen in productie, een grote stap vooruit.

Vaak wordt AI echter toegepast in randprocessen: dat is eenvoudiger, een innovatieteam kan het samen met een enthousiaste zakelijke gebruiker ontwikkelen en als het misgaat, "is het niet het einde van de wereld". Het proces is niet echt belangrijk, er is een handmatig reserveproces of er zijn meerdere mensen die toezicht houden om eventuele negatieve gevolgen te beperken.

Het resultaat van die begrijpelijke maar behoudende aanpak is dat ook de impact van zulke oplossingen beperkt blijft: waarschijnlijk hebben ze nauwelijks merkbaar bijgedragen aan groeikansen, de klantervaring of de kostenstructuur.

…maar passen AI vaak niet toe waar het echt telt, in tegenstelling tot de winnaars.

Dat onderscheidt de toekomstige winnaars van de rest: vooruitstrevende bedrijven investeren in AI op terreinen die bepalend zijn voor hun prestaties.

De achterblijvers "doen ook iets met AI", maar niet waar het wezenlijke bedrijfsimpact heeft.

En ja, AI inzetten voor investeringsbeslissingen, de klantervaring, productontwikkeling, onderzoek & ontwerp en automatisering zonder menselijk toezicht zal riskanter aanvoelen, maar juist daar ligt de echte winst.

Bedrijven die op dit terrein vooroplopen, zijn misschien nog niet zichtbaar voor de markt. Tegen de tijd dat ze dat wel zijn, is de kloof niet alleen aanzienlijk, maar zal die door hun hogere tempo van AI-implementatie steeds verder groeien, terwijl achterblijvers ontdekken wat ze al die tijd verkeerd hebben begrepen.

De vraag is dus: wat heeft een organisatie nodig om AI vol vertrouwen toe te passen in de processen die er echt toe doen?

Laten we eerst aannemen dat je al bent doorgegroeid van "We hebben een AI-tool zoals ChatGPT" via "We hebben POC's" naar "We hebben tien eenvoudige AI-oplossingen live". Zo niet, dan moet je daar met voorrang werk van maken. Die eerste stappen lijken misschien eenvoudig, maar zijn essentieel om de AI-geletterdheid binnen de organisatie te ontwikkelen, betere use-cases te bedenken en duidelijk te krijgen welke interne stappen nodig zijn om AI in productie te nemen.

Op dat moment moet de organisatie ambitieuzer worden en doorgroeien naar "betekenisvolle, toegepaste AI-oplossingen met menselijk toezicht" en vervolgens naar het onderscheidende "we passen AI toe in onze kernprocessen en klantervaringen".

Bij die laatste stappen vormt technologie zelden de beperking; het ontbreekt vooral aan vertrouwen binnen de organisatie. Want er is altijd wel een reden om het moeilijke werk uit te stellen of uit de weg te gaan:

"Wat als het verkeerde inzichten oplevert?", "Wat als het zich verkeerd gedraagt en we in het nieuws komen?", "Wat als het een berekening verkeerd uitvoert en wij de verkeerde beslissing nemen?", "Wat als het klanten beledigt?", "Wat als het model niet meer beschikbaar is?", "Hoe ondersteunen we updates hiervoor?", "Wat als de regelgeving verandert?", "Moeten we op het nieuwe model wachten?", enzovoort.

Vier essentiële vertrouwenscriteria

Volgens ons zijn er doorgaans vier voorwaarden die voldoende vertrouwen geven om bij een AI-gestuurde verandering met grote impact op "Live zetten" te drukken.

  1. Het waarom: is de organisatie, en met name de directie, werkelijk overtuigd van het verhaal achter "waarom AI belangrijk is voor ons zakelijke succes"? Zo niet, dan zal de organisatie eerder redenen vinden om moeilijke beslissingen uit de weg te gaan.

  2. De ondersteuning: is er een team voor AI-verandering, -transformatie of -ondersteuning dat de organisatie begeleidt bij haar ontwikkeling met AI? Een team dat zich bezighoudt met adoptie, scholing, regelgeving, nieuwe werkwijzen, het ter discussie stellen van aannames, de benodigde financiering enzovoort. AI is geen verandering die je "door de techafdeling laat regelen", zoals bij cloud- of digitale initiatieven vaak gebeurde. De bedrijfsvoering moet de leiding nemen en daarbij goede ondersteuning krijgen.

  3. Het hoe: is er een vaste bedrijfs- en oplossingsarchitectuur voor toegepaste AI? Hoewel dit domein voortdurend verandert, dwingt een duidelijke visie je om na te denken en kennis op te bouwen over de juiste vangrails, kosten, observeerbaarheid, beheersmaatregelen, toegang tot modellen enzovoort. Zo ontstaat intern geloofwaardigheid dat de organisatie bij AI "weet wat ze doet" en wordt voorkomen dat iedereen op zijn eigen manier gaat bouwen.

  4. De vertrouwenstest voor livegang: eigenaren van oplossingen kunnen de vraag "is het goed genoeg om live te gaan?" eindeloos voor zich uitschuiven. Traditionele tests door QA-teams bieden niet het nodige vertrouwen en verantwoordelijkheidsgevoel voor een niet-deterministisch AI-systeem. Evaluaties doen dat wel.

Laten we deze punten in omgekeerde volgorde bespreken, omdat die volgorde het beste aansluit bij de besluitvorming over een livegang.

[4] Evaluaties: test grondig om vol vertrouwen op "start" te drukken.

Organisaties vertrouwen al tientallen jaren op het QA-team om te bepalen of een release goed genoeg is. Op papier testten de zakelijke belanghebbenden; in werkelijkheid deed het QA-team dat. De uitkomst was slagen of zakken, op basis van talloze regels van het type als dit, dan dat. Veel werk, maar wel eenvoudig.

Voor AI werkt dat niet, omdat we gedrag moeten evalueren.

Met evaluaties, of evals, maak je kwalitatief AI-gedrag meetbaar. In plaats van slagen of zakken definieer je criteria, zoals juistheid, toon, feitelijke verankering en weigeringsgedrag, en ken je scores toe. Volg die scores gedurende het project terwijl je prompts, modellen, vangrails enzovoort verbetert. Zo ontstaat iets waarop het projectteam, verandercommissies en de bedrijfsleiding met vertrouwen kunnen handelen: bijvoorbeeld een juistheidsscore die tijdens het project van x naar y is gestegen.

Dat cijfer doet twee dingen. Ten eerste wekt het vertrouwen doordat het verbetering door de tijd heen aantoont en belanghebbenden tastbaar bewijs geeft dat het systeem zich binnen de gestelde verwachtingen consequent betrouwbaar gedraagt.

Ten tweede creëert het verantwoordelijkheid. Het zijn de cijfers waarnaar men kan verwijzen, samen met de herkomstgeschiedenis van die evals. Een gedocumenteerde evaluatieset die is getest met een duidelijk omschreven reeks scenario's, is voor AI het equivalent van het testrapport. Het geeft de goedkeuringscommissie bewijs van zorgvuldigheid: doet het systeem alleen wat het hoort te doen, en doet het dat uitsluitend op de juiste manier?

Die cijfers zijn natuurlijk alleen betekenisvol als de evaluatiecriteria rijk genoeg zijn. Dat vereist een verandering in het operationele model die de meeste organisaties aanvankelijk verkeerd aanpakken: de "business" moet eigenaar zijn van de evaluatiecriteria, niet het technologie- of QA-team en ook niet één junior gebruiker aan wie ze zijn gedelegeerd. De producteigenaren en specialisten begrijpen het domein, de uitzonderingssituaties, de gewenste tone of voice, de soorten interacties die gebruikers kunnen aangaan, de logische stappen in de redenering, de manieren waarop het systeem kan falen, de juiste vraag-en-antwoordparen enzovoort. De mensen die de oplossing gebruiken en implementeren, moeten bepalen wat goed eruitziet.

Als je een oplossing moet goedkeuren die AI in het hart van de klantervaring toepast, hoef je dus maar twee vragen te stellen:

(1) Wie heeft de evaluatiecriteria opgesteld, en

(2) zijn de evalprestaties volgens die criteria in de loop van de tijd verbeterd en liggen ze nu boven de minimumdrempel?

Als het antwoord luidt: "Het technologieteam heeft ze opgesteld, maar we zijn tevreden met de resultaten", is de toepassing nog niet klaar. Als het antwoord luidt: "Ja, we hebben vorige week getest en het systeem is geslaagd", is de evaluatiemethodiek waarschijnlijk niet volwassen genoeg om het nodige vertrouwen te wekken. Vermoedelijk vormden de evals namelijk niet het uitgangspunt voor de bouw.

Maar als de producteigenaar vanuit de bedrijfsvoering tijdens de hele ontwikkeling evals heeft gedefinieerd, beoordeeld en verfijnd, en kan aantonen dat de prestaties zich in de juiste richting ontwikkelen, heb je iets wat goedkeuring verdient.

[3] AI-architectuur voor de hele organisatie: bepaal een visie, ook als die maandelijks verandert

Afstemming op principes en standaarden voor AI-architectuur biedt een extra laag vertrouwen. Voor je eerste vijf AI-toepassingen kon je nog bouwen op elke manier die geschikt leek om van start te gaan. Om veilig en goed beheerd AI op grote schaal en in hoog tempo binnen de hele organisatie in te zetten, wordt echter een meer gestructureerde aanpak nodig, met referentiearchitecturen voor toepassingen en een centraal AI-platform.

Alle engineeringteams moeten snel toegang kunnen "erven" tot modellen, vangrails, observeerbaarheid, schaalmogelijkheden, kostenbeheer enzovoort, zodat ze zich op de engineering van de oplossing kunnen richten.

Een visie op het centrale AI-platform en de architectuuraanpak versterkt het vertrouwen binnen de organisatie dat zij AI veilig in kritieke systemen kan inzetten, ook als die visie door het hoge veranderingstempo maar kort houdbaar is. Het betekent namelijk dat iemand alle belangrijke factoren heeft afgewogen en de optimale implementatieroute heeft gekozen. Ook dat versterkt het vertrouwen dat de oplossing deze belangrijke processen kan ondersteunen.

[2] AI-transformatie: niet alleen "iets technisch"

Dit is niet "hetzelfde blijven doen, maar dan met toegang tot een AI-tool". Het klinkt misschien als een cliché, maar transformatie betekent processen herontwerpen, het productaanbod heroverwegen, de klantervaring verder ontwikkelen en werkwijzen en waarschijnlijk ook teamstructuren veranderen.

Dat doe je er niet even naast en het kan niet worden aangestuurd door Technologie — en nee, ook niet door je "innovatieteam" van drie fte. En met de houding "het komt vanzelf wel goed" bereik je niet hetzelfde veranderingstempo als de concurrenten die winnen.

Om werkelijk baanbrekende use-cases te vinden en daar steun voor te krijgen, zijn bovendien grondige AI-kennis in de hele organisatie en een positieve houding tegenover AI nodig.

Je AI-transformatie vereist daarom mensen die weten wat de organisatie nodig heeft, veranderingen mogelijk kunnen maken en AI begrijpen. Zij moeten van het bestuur het mandaat krijgen om voor uitvoering, coördinatie, energie, financiering, draagvlak, governance, prioritering en besluitvorming te zorgen.

Vooral in de eerste fasen werkt een centrale functie zoals een AI-hub, AI-transformatieteam of AI-office goed. Dit centrale team wekt het vertrouwen dat de organisatie een uitvoerbare strategie heeft, grote beslissingen snel kan nemen en decentraal kan laten uitvoeren, en kwaliteitsdrempels voor de AI-transformatie kan vaststellen. Zonder zo'n team dreigt de aanpak te versnipperen, met inconsistente beslissingen, product- en oplossingskeuzes en kwaliteit als gevolg. Uiteindelijk ondermijnt dat het vertrouwen om AI voor kritieke toepassingen in te zetten.

[1] Kan iedere medewerker — ook de CEO — het "waarom" verwoorden?

Zoals eerder aangegeven, behalen bedrijven pas echt concurrentievoordeel met AI als ze binnen de hele organisatie de ervaring, expertise en het vertrouwen opbouwen om AI vaak, snel en veilig toe te passen in het hart van belangrijke processen en ervaringen die de klantervaring, productprestaties en productiesnelheid verbeteren.

Goede evaluatiemethoden, een architectuur die zich snel aanpast en kan opschalen, en een daadkrachtige aanpak van transformatiemanagement die de organisatie helpt leren, aanpassen en nieuwe werkwijzen invoeren, zijn allemaal noodzakelijk.

Geen van deze zaken kan echter succesvol van onderaf ontstaan. Daarvoor volgen de veranderingen elkaar te snel op en zijn de gevolgen te groot. Ook "goedkeuring van het bestuur" of "steun van het management" volstaat niet.

Als medewerkers niet duidelijk zien waarom veranderingen nodig zijn, wat die persoonlijk voor hen betekenen — positief of negatief — en wat ze ermee winnen, sluipt de transformatie via de achterdeur binnen, met veel nevenschade.

Het vierde element om echt voordeel uit AI-adoptie te halen, is daarom leiderschap dat werkelijk begrijpt en gelooft dat investeren in AI essentieel is voor het blijvende succes van het bedrijf. Het is hun AI-strategie, opgenomen in de missie en doelstellingen. Ze dragen die voortdurend uit en laten met zichtbare besluiten en daden zien dat ze erachter staan.

Dat geeft teams in de hele organisatie de prikkels, steun en urgentie om hun vaardigheden te ontwikkelen en de soms ongemakkelijke maar belangrijke beslissingen te nemen die nodig zijn om voor de moeilijkere, maar lonendere route te kiezen. Het geeft het vertrouwen om bij die AI-gestuurde klantervaring of dat besluitvormingsproces voor investeringen op "Live zetten" te drukken.

Vertrouwen om risicovolle AI met grote impact live te zetten

De bedrijven die de komende twee jaar met AI winnen, zijn niet de bedrijven met de meeste implementaties. Het zijn de bedrijven die AI laten werken voor belangrijke klantgerichte, besluitvormende en bedrijfskritieke systemen en processen, en de organisatiekracht opbouwen om dat consequent en veilig te doen.

Wat moet je nu doen? Als je organisatie "iets met AI doet" maar dat geen invloed heeft op het succes van het bedrijf, probeer dan deze vragen te beantwoorden:

  1. Is duidelijk welke rol AI speelt bij het verwezenlijken van de missie van je bedrijf? Heb je het gevoel dat de leiding werkelijk gelooft dat AI-adoptie essentieel is voor het toekomstige succes van het bedrijf?

  2. Is er een centrale functie die de AI-agenda aanjaagt, de organisatie bijschoolt en activiteiten coördineert?

  3. Bouwt het technologieteam expertise, capaciteit en patronen op die snellere en veiligere AI-engineering mogelijk maken?

  4. Bereiken releases de productie zonder te worden geblokkeerd door onbeantwoorde vragen over AI-gedrag?

Als het antwoord op een van deze vragen nee is, weet je waar je moet beginnen om binnen de organisatie het vertrouwen te kweken dat AI snel en consistent kan worden ingezet om concurrentievoordeel te behalen op de terreinen waar het echt telt.

Auteur

Dave Pit