Geschäftskritische KI vertrauensvoll einsetzen

• Die meisten Unternehmen nutzen KI inzwischen im Produktivbetrieb. Fast keines nutzt sie dort, wo es zählt: in kundenorientierten Angeboten, bei geschäftskritischen Entscheidungen oder in Prozessen mit minimaler menschlicher Aufsicht. An dieser Lücke entscheidet sich der Wettbewerbsvorteil.

• Das Hindernis ist meist mangelndes Vertrauen, nicht mangelnde Leistungsfähigkeit. Beim Einsatz von KI in kritischen Bereichen entsteht dieses Vertrauen, wenn vier konkrete Kriterien erfüllt sind.

• Diese Kriterien betreffen das Testen des KI-Verhaltens, die Entwicklung und Steuerung von Lösungen im Unternehmensmaßstab sowie die Frage, ob die Führung wirklich verstanden hat, warum dies wichtig ist.

• Wer diese Vertrauenskriterien erfüllt, schafft Routine und Verantwortlichkeit und hat weniger Grund, vor dem Einsatz von KI für spürbare Verbesserungen zurückzuschrecken. Andernfalls bleibt KI darauf beschränkt, in Randbereichen ein paar Pfund zu sparen, ohne die Arbeitsweise des Unternehmens wesentlich zu verändern.

Vor einem Jahr, in KI-Jahren sind das Jahrzehnte, steckten die meisten Unternehmen im „KI-POC-Fegefeuer“: Es gab viele interessante POCs, die das Potenzial von KI zeigten, doch kaum einer ließ sich produktiv einsetzen. Ein Jahr später haben viele Unternehmen zumindest einige KI-Lösungen im Produktivbetrieb. Das ist ein großer Fortschritt.

Häufig kommt KI jedoch nur in Randprozessen zum Einsatz: Das ist einfacher, ein Innovationsteam kann die Lösung mit einer engagierten Person aus dem Fachbereich entwickeln, und wenn etwas schiefgeht, „ist das kein Weltuntergang“. Der Prozess ist nicht wirklich wichtig, es gibt einen manuellen Ersatzprozess oder mehrere Kontrollinstanzen durch Menschen, die negative Folgen begrenzen.

Das Ergebnis dieses verständlichen, aber vorsichtigen Ansatzes ist ebenfalls begrenzt: Solche Lösungen dürften Wachstumsmöglichkeiten, Kundenerlebnis oder Kostenstruktur kaum merklich verändert haben.

Das unterscheidet die künftigen Gewinner vom Rest: Fortschrittliche Unternehmen investieren in den Einsatz von KI dort, wo sie die Geschäftsergebnisse beeinflusst.

Auch die Nachzügler „machen etwas mit KI“, nur nicht dort, wo sie das Geschäft spürbar voranbringt.

Natürlich wirkt der Einsatz von KI bei Investitionsentscheidungen, im Kundenerlebnis, in der Produktentwicklung, in Forschung und Entwicklung und bei „Automatisierungen ohne menschliche Kontrolle“ riskanter. Doch genau dort liegt der wirkliche Nutzen.

Die führenden Unternehmen in diesem Bereich sind für den Markt womöglich noch nicht sichtbar. Sobald sie es werden, wird der Abstand jedoch bereits erheblich sein. Da sie KI zudem schneller einsetzen, wächst er weiter, während die Nachzügler erst erkennen, was sie die ganze Zeit falsch gemacht haben.

Die Frage lautet also: Was braucht ein Unternehmen, um KI vertrauensvoll in den wirklich wichtigen Prozessen einzusetzen?

Nehmen wir zunächst an, du bist bereits von „Wir haben ein KI-Tool wie ChatGPT“ über „Wir haben POCs“ zu „Wir betreiben zehn einfache KI-Lösungen“ gelangt. Falls nicht, solltest du das vorrangig angehen. Diese ersten Schritte mögen trivial erscheinen, sind aber unerlässlich: Sie fördern die KI-Kompetenz im gesamten Unternehmen, liefern bessere Ideen für Anwendungsfälle und zeigen, welche internen Schritte für den Produktivbetrieb von KI nötig sind.

Nun sollte das Unternehmen ehrgeiziger werden und zunächst „relevante angewandte KI-Lösungen unter menschlicher Aufsicht“ umsetzen. Danach folgt der entscheidende Schritt: „Wir setzen KI in unseren Kernprozessen und Kundenerlebnissen ein.“

Diese letzten Fortschritte scheitern selten an der Technologie, sondern am Vertrauen innerhalb des Unternehmens. Denn es gibt immer einen Grund, schwierige Aufgaben aufzuschieben oder ihnen auszuweichen:

„Was, wenn die Erkenntnisse falsch sind?“, „Was, wenn sich die KI falsch verhält und wir in den Nachrichten landen?“, „Was, wenn sie sich verrechnet und wir die falsche Entscheidung treffen?“, „Was, wenn sie Kund:innen beleidigt?“, „Was, wenn das Modell nicht mehr verfügbar ist?“, „Wie unterstützen wir Aktualisierungen?“, „Was, wenn sich die Vorschriften ändern?“, „Sollten wir auf das neue Modell warten?“ und so weiter.

Unserer Ansicht nach gibt es meist vier Voraussetzungen für das nötige Vertrauen, bei einer wirkungsvollen KI-gestützten Veränderung auf „Go-live“ zu schalten.

1. Das Warum: Ist das Unternehmen, insbesondere die oberste Führungsebene, wirklich von der Aussage überzeugt, „warum KI für unseren Geschäftserfolg wichtig ist“? Andernfalls findet das Unternehmen eher Gründe, schwierigen Entscheidungen auszuweichen.

2. Die Befähigung: Gibt es ein Team für KI-Wandel, -Transformation oder -Befähigung, das das Unternehmen bei seiner Weiterentwicklung mit KI unterstützt? Dieses Team kümmert sich um Einführung, Weiterbildung, Vorschriften, neue Arbeitsweisen, das Hinterfragen von Annahmen, die nötige Finanzierung und mehr. KI ist keine Veränderung, die „die IT regeln soll“, wie es bei Cloud- oder Digitalinitiativen häufig der Fall war. Sie muss vom Geschäft getragen und umfassend unterstützt werden.

3. Das Wie: Gibt es eine etablierte Unternehmens- und Lösungsarchitektur für angewandte KI? Auch wenn sich dieser Bereich ständig weiterentwickelt, zwingt eine klare Vorstellung dazu, die richtigen Schutzmaßnahmen, Kosten, Beobachtbarkeit, Kontrollen, Modellzugriffe und weitere Aspekte zu durchdenken und Wissen dazu aufzubauen. So entsteht intern Glaubwürdigkeit dafür, dass das Unternehmen bei KI „weiß, was es tut“, und es werden viele unterschiedliche Entwicklungsansätze vermieden.

4. Der Vertrauenstest vor dem Go-live: Lösungsverantwortliche können die Frage „Ist die Lösung gut genug für den Produktivbetrieb?“ endlos aufschieben. Herkömmliche Tests durch QA-Teams schaffen bei einem nicht deterministischen KI-System weder dieses Vertrauen noch ein Gefühl der Verantwortlichkeit. Evaluationen schaffen beides.

Gehen wir diese Punkte in umgekehrter Reihenfolge durch, denn so kommen wir der Entscheidung über ein vertrauensvolles Go-live am nächsten.

Über Jahrzehnte verließen sich Unternehmen auf das QA-Team, um zu entscheiden, ob ein Release gut genug war. Auf dem Papier testeten die Verantwortlichen aus den Fachbereichen, tatsächlich übernahm dies jedoch das QA-Team. Das Ergebnis war bestanden oder nicht bestanden, basierend auf zahllosen Regeln nach dem Muster: wenn dies, dann das. Viel Arbeit, aber unkompliziert.

Bei KI funktioniert das nicht, denn hier müssen wir Verhalten evaluieren.

Mit Bewertungen (auch Evaluationen, kurz Evals), lässt sich qualitatives KI-Verhalten messbar machen. Statt bestanden oder nicht bestanden definierst du Kriterien wie Korrektheit, Stil, faktische Verankerung und Ablehnungsverhalten und vergibst Punktwerte. Verfolge diese Werte über die gesamte Projektdauer, während du Prompts, Modelle, Schutzmaßnahmen und weitere Aspekte verbesserst. So erhalten das Projektteam, Änderungsgremien und die Unternehmensführung eine belastbare Entscheidungsgrundlage: einen Korrektheitswert, der im Projektverlauf von x auf y gestiegen ist.

Diese Kennzahl erfüllt zwei Zwecke. Erstens stärkt sie das Vertrauen, indem sie Verbesserungen im Zeitverlauf belegt und den Beteiligten konkrete Nachweise liefert, dass sich das System innerhalb der festgelegten Erwartungen dauerhaft zuverlässig verhält.

Zweitens schafft sie Verantwortlichkeit. Sie können auf diese Zahlen und die Herkunft dieser Evaluation verweisen. Ein dokumentierter Evaluationssatz, der anhand eines klar definierten Spektrums von Szenarien getestet wurde, entspricht bei KI dem Testbericht. Er belegt gegenüber dem Freigabegremium die gebotene Sorgfalt: Tut das System ausschließlich das, was es tun soll, und tut es dies ausschließlich auf die vorgesehene Weise?

Diese Zahlen sind natürlich nur aussagekräftig, wenn die Bewertungskriterien umfassend genug sind. Das erfordert eine Veränderung des Betriebsmodells, die die meisten Unternehmen anfangs falsch angehen: Für die Bewertungskriterien muss der Fachbereich verantwortlich sein, nicht das Technologie- oder QA-Team und auch nicht eine einzelne unerfahrene Person, an die diese Aufgabe delegiert wird. Produktverantwortliche und Fachleute kennen die Domäne, die Grenzfälle, den gewünschten Stil, mögliche Interaktionen, sinnvolle Reasoning-Schritte, Fehlermodi, korrekte Frage-Antwort-Paare und weitere Aspekte. Die Personen, die die Lösung nutzen und bereitstellen, sollten entscheiden, was eine gute Lösung ausmacht.

Wenn du eine Lösung freigeben musst, die KI im Zentrum des Kundenerlebnisses einsetzt, brauchst du also nur zwei Fragen zu stellen:

(1) Wer hat die Bewertungskriterien entwickelt, und

(2) Hat sich die Evaluationsleistung gemessen an diesen Kriterien im Zeitverlauf verbessert und inzwischen den Mindestwert erreicht?

Lautet die Antwort „Das Technologieteam hat sie entwickelt, aber wir sind mit den Ergebnissen zufrieden“, ist die Anwendung nicht bereit. Lautet die Antwort „Ja, wir haben letzte Woche getestet und die Lösung hat bestanden“, ist der Reifegrad der Evaluation wahrscheinlich nicht hoch genug, um das nötige Vertrauen zu schaffen. Denn vermutlich bildeten die Evals nicht den Ausgangspunkt der Entwicklung.

Wenn jedoch die Produktverantwortlichen aus dem Fachbereich die Evals während der gesamten Entwicklung definiert, geprüft und kontinuierlich verbessert haben und dir einen positiven Leistungsverlauf zeigen können, liegt eine Lösung vor, die freigegeben werden kann.

Zusätzliches Vertrauen entsteht durch die Orientierung an Prinzipien und Standards für die KI-Architektur. Bei den ersten fünf KI-Anwendungen war es sinnvoll, sie zunächst auf beliebige geeignete Weise zu entwickeln. Für Skalierung und einen schnellen, sicheren und gut gesteuerten KI-Einsatz im gesamten Unternehmen werden jedoch ein strukturierterer Ansatz mit Referenzarchitekturen für Anwendungen und eine unternehmensweite KI-Plattform erforderlich.

Alle Entwicklungsteams müssen Modellzugriff, Schutzmaßnahmen, Beobachtbarkeit, Skalierung, Kostenmanagement und Ähnliches schnell übernehmen können, damit sie sich auf die Entwicklung der Lösung konzentrieren können.

Eine klare Vorstellung von der unternehmensweiten KI-Plattform und den Architekturansätzen stärkt das Vertrauen in einen sicheren KI-Einsatz in kritischen Systemen, selbst wenn sie wegen des rasanten Wandels nur kurz Bestand hat. Denn das bedeutet, dass jemand alle wesentlichen Faktoren durchdacht und den optimalen Weg zur Bereitstellung festgelegt hat. Auch das stärkt das Vertrauen, dass die Lösung diese wichtigen Prozesse zuverlässig unterstützt.

Es geht nicht darum, „mit Zugriff auf ein KI-Tool einfach dasselbe zu tun wie bisher“. Es mag abgedroschen klingen, aber Transformation bedeutet, Prozesse neu zu gestalten, Produktangebote zu überdenken, das Kundenerlebnis weiterzuentwickeln sowie Arbeitsweisen und höchstwahrscheinlich auch Teamstrukturen zu verändern.

Das gelingt nicht nebenbei und kann nicht allein von der Technologieabteilung vorangetrieben werden. Und nein, auch nicht von deinem dreiköpfigen „Innovationsteam“. Mit dem Ansatz „Das wird sich schon von selbst regeln“ erreichst du nicht das Veränderungstempo, das erfolgreiche Wettbewerber möglicherweise vorlegen.

Um die wirklich bahnbrechenden Anwendungsfälle zu erkennen und Unterstützung dafür zu gewinnen, braucht es außerdem im gesamten Unternehmen fundierte KI-Kenntnisse und eine positive Haltung dazu.

Für deine KI-Transformation braucht es daher Menschen, die die Bedürfnisse des Unternehmens kennen, Veränderungen ermöglichen können und KI verstehen. Der Vorstand muss ihnen den Auftrag geben, die Transformation umzusetzen und für Koordination, Dynamik, Finanzierung, Überzeugungsarbeit, Steuerung, Priorisierung und Entscheidungen zu sorgen.

Besonders in den ersten Phasen eignet sich eine zentrale Funktion wie ein KI-Hub, ein KI-Transformationsteam oder ein KI-Büro. Dieses zentrale Team stärkt das Vertrauen, dass das Unternehmen eine umsetzbare Strategie hat, wichtige Entscheidungen schnell treffen und dezentral weitergeben kann und klare Qualitätskriterien für die KI-Transformation setzt. Ohne ein solches Team droht ein zu fragmentierter Ansatz. Das führt zu uneinheitlichen Entscheidungen, Produkt- und Lösungsoptionen sowie Qualitätsstandards und untergräbt letztlich das Vertrauen in den KI-Einsatz in kritischen Bereichen.

Wie bereits erwähnt, werden diejenigen Unternehmen einen echten Wettbewerbsvorteil aus KI ziehen, die unternehmensweit Erfahrung, Fachwissen und Vertrauen aufbauen, um KI häufig und schnell im Zentrum wichtiger Prozesse und Angebote einzusetzen und so das Kundenerlebnis, die Produktleistung, die Produktionsgeschwindigkeit und mehr zu verbessern.

Erforderlich sind gute Evaluationsverfahren, eine schnell anpassbare und skalierbare Architektur sowie ein lösungsorientiertes Transformationsmanagement, das dem Unternehmen hilft, zu lernen, sich anzupassen und neue Arbeitsweisen zu etablieren.

All das lässt sich jedoch nicht erfolgreich „von unten nach oben“ umsetzen. Die Veränderungen und ihre Folgen sind dafür schlicht zu schnell und zu weitreichend. Auch eine „Genehmigung des Vorstands“ oder „Unterstützung durch das Management“ reicht nicht aus.

Wenn deine Beschäftigten nicht klar erkennen, warum Veränderungen nötig sind, was sie persönlich für sie bedeuten, ob gut oder schlecht, und welchen Nutzen sie haben, kommt die Transformation durch die Hintertür und verursacht erhebliche Kollateralschäden.

Das vierte Element für echte Vorteile durch den KI-Einsatz ist daher eine Unternehmensführung, die wirklich versteht und davon überzeugt ist, dass Investitionen in KI für den dauerhaften Erfolg des Unternehmens unerlässlich sind. Es ist ihre KI-Strategie, die in Leitbild und Ziele einfließt, die sie immer wieder überzeugend vermittelt und durch sichtbare Entscheidungen und Taten untermauert.

Das schafft für Teams im gesamten Unternehmen Anreize, Unterstützung und Dringlichkeit, Kompetenzen zu entwickeln und die etwas unbequemen, aber wichtigen Entscheidungen für den schwierigeren und lohnenderen Weg zu treffen. Es schafft das nötige Vertrauen, um bei einem KI-gestützten Kundenerlebnis oder Investitionsentscheidungsprozess auf „Go-live“ zu schalten.

In den nächsten zwei Jahren werden nicht die Unternehmen am meisten von KI profitieren, die sie am häufigsten einsetzen. Erfolgreich werden diejenigen sein, die KI in wichtigen, kundenorientierten, entscheidungsrelevanten und geschäftskritischen Systemen und Prozessen wirksam einsetzen und unternehmensweit die Fähigkeit aufbauen, dies konsequent und sicher zu tun.

Was solltest du jetzt tun? Wenn dein Unternehmen „KI einsetzt“, dies aber keinen Einfluss auf seinen Erfolg hat, versuche, diese Fragen zu beantworten:

1. Ist klar, welche Rolle KI beim Erreichen des Unternehmensziels spielt? Hast du den Eindruck, dass die Führung den KI-Einsatz tatsächlich für den künftigen Erfolg des Unternehmens als unerlässlich ansieht?

2. Gibt es eine zentrale Funktion, die die KI-Agenda vorantreibt, Wissen im Unternehmen vermittelt und Aktivitäten koordiniert?

3. Baut das Technologieteam Fachwissen, Kapazitäten und Muster auf, die eine schnellere und sichere KI-Entwicklung ermöglichen?

4. Gelangen Releases ohne Hindernisse in den Produktivbetrieb, die durch ungeklärte Fragen zum KI-Verhalten entstehen?

Lautet die Antwort auf eine dieser Fragen Nein, weißt du, wo du ansetzen musst. So wächst im Unternehmen das Vertrauen, KI schnell und einheitlich dort einzusetzen, wo sie wirklich zählt und Wettbewerbsvorteile schafft.