Enterprise-KI & Strategie · Projektvorgehen
Warum scheitern so viele KI-Projekte, bevor sie in Produktion gehen?
Viele KI-Projekte überzeugen im Pilot und kommen nie im Alltag an. Oft liegt es daran, dass sie wie klassische IT-Projekte geplant werden: mit festen Anforderungen, einem Abnahmetermin und dem Gedanken, dass die Arbeit mit dem Go-live endet. KI verhält sich anders.
Julia Rose
Das Wichtigste in Kürze
- Laut IDC erreichen 88 % der KI-Proof-of-Concepts nicht die breite Produktion, von 33 Piloten gehen vier in Betrieb.
- Die oft zitierte Gartner-Zahl von 85 % beschreibt eine Prognose von 2018 zu fehlerhaften Ergebnissen durch Verzerrungen, keine Ausfallquote.
- KI-Ergebnisse hängen von Daten ab. Wie gut ein Modell wird, zeigt sich erst mit echten Daten.
- Nach dem Go-live ändern sich Daten und Bedingungen. KI braucht deshalb laufende Überwachung und Anpassung.
Was die Zahlen sagen
Die meistzitierte aktuelle Zahl stammt von IDC: 88 % der untersuchten KI-Proof-of-Concepts erreichen nicht die breite Produktion. Von 33 gestarteten Piloten gingen nur vier in den produktiven Betrieb.
Quelle: CIO.com zur IDC-Studie mit Lenovo
Häufig liest man auch, laut Gartner scheiterten 85 % aller KI-Projekte. Das gibt die Quelle nicht her. Gartner sagte im Februar 2018 voraus, dass bis 2022 85 % der KI-Projekte fehlerhafte Ergebnisse liefern würden, verursacht durch Verzerrungen in Daten, in Algorithmen oder bei den verantwortlichen Teams. Die Prognose zeigt trotzdem, wo das Risiko liegt: bei Daten und Vorgehen.
Quelle: Gartner, Pressemitteilung vom 13.02.2018
Worin sich KI-Projekte von IT-Projekten unterscheiden
In klassischer Software lässt sich das Ergebnis jedes Programmschritts vorhersagen. KI-Modelle lernen Muster aus Daten und liefern Wahrscheinlichkeiten. Das verändert die Planung grundlegend:
| Klassisches IT-Projekt | KI-Projekt | |
|---|---|---|
| Verhalten | durch Regeln festgelegt | aus Daten gelernt, mit Unsicherheit |
| Anforderungen | vorab vollständig beschreibbar | Zielwerte, die sich erst mit echten Daten bestätigen lassen |
| Test | Funktion erfüllt oder nicht | Qualität gemessen an vielen echten Fällen |
| Nach dem Go-live | Wartung bei Änderungen | laufende Überwachung, weil sich Daten verändern |
| Risiko | Fehler im Code | Daten, die nicht zur Realität passen |
Daten und Erwartungen
Ein Modell ist so gut wie die Daten, aus denen es lernt, und wie nahe diese an der Realität liegen. Werden Trainingsdaten nur unter kontrollierten Bedingungen gesammelt, schneidet das Modell im Alltag oft deutlich schlechter ab. Dazu kommen Sonderfälle, die im Datensatz fehlen.
Ein häufiger Fehler ist die Erwartung sehr hoher Kennzahlen, bevor geklärt ist, wie gut die Aufgabe heute überhaupt lösbar ist und ob verlässliche Daten vorliegen. Deshalb gehören an den Anfang: das Geschäftsproblem verstehen, die Datenlage prüfen und mit allen Beteiligten realistische Zielwerte vereinbaren.
Nach dem Go-live: Daten verändern sich
Bei klassischer Software endet ein Projekt oft mit der Abnahme und der Betreuungsphase danach. Bei KI beginnt dann ein neuer Abschnitt. Über die Zeit verschiebt sich die Verteilung der Daten, man spricht von Data Drift: Kunden verhalten sich anders, Produkte und Formulare ändern sich, neue Begriffe tauchen auf. Ein Modell, das darauf nicht reagiert, wird schleichend schlechter.
Das gilt auch für Anwendungen mit großen Sprachmodellen. Sie kennen nur ihren Trainingsstand, und ein Modellwechsel beim Anbieter oder neue Dokumente verändern die Ergebnisse. Deshalb braucht jede KI-Anwendung im Betrieb:
- Überwachung: Qualität, Fehler und Kosten werden laufend gemessen.
- Testsätze: Änderungen an Modell, Prompt oder Daten werden vor dem Einsatz geprüft.
- Anpassung: Modelle werden nachtrainiert oder Prompts und Wissensbasis aktualisiert.
- Zuständigkeit: Ein Team ist fest dafür verantwortlich und hat Zeit dafür.
Wie das organisiert wird, beschreiben unsere Beiträge zu MLOps und LLM-Observability.
Ein Vorgehen, das in Produktion führt
- Analyse: Prozess, Datenlage und Nutzen klären, bevor entwickelt wird.
- Proof of Concept mit echten Daten: zeigen, dass die Aufgabe lösbar ist, einschließlich Sonderfällen.
- MVP im Betrieb: eine erste Version mit echten Nutzern, eingebunden in die vorhandenen Systeme.
- Ausbau: weitere Fälle und Bereiche erst, wenn die Kennzahlen stimmen.
- Betrieb: Überwachung, Anpassung und klare Verantwortung von Anfang an eingeplant.
Wie dieser Weg in unseren Projekten aussieht, beschreibt der Beitrag KI entwickeln, die funktioniert: unser MVP-First-Ansatz. Speziell zu KI-Agenten lesen Sie Der Pilot lief, die Produktion nicht.
Ihr KI-Projekt soll in Produktion gehen?
Wir prüfen mit Ihnen Prozess, Daten und Ziele und planen den Weg vom ersten Test bis zum Betrieb.
Prozessanalyse anfragenHäufige Fragen
Häufige Gründe sind Daten, die nicht zur Realität passen, zu hohe Erwartungen ohne vorherige Prüfung der Datenlage, fehlende Einbindung in bestehende Systeme und die Annahme, dass die Arbeit mit dem Go-live endet.
So nicht. Gartner sagte 2018 voraus, dass bis 2022 85 % der KI-Projekte fehlerhafte Ergebnisse liefern würden, verursacht durch Verzerrungen in Daten, Algorithmen oder bei den verantwortlichen Teams.
Die schleichende Veränderung der Daten nach dem Go-live, etwa durch neues Kundenverhalten, neue Produkte oder neue Begriffe. Ein Modell, das nicht angepasst wird, liefert dadurch mit der Zeit schlechtere Ergebnisse.
Mit einer Analyse von Prozess und Daten, einem Proof of Concept mit echten Daten, einem MVP im Betrieb, schrittweisem Ausbau und von Anfang an eingeplanter Überwachung und Anpassung.
Julia ist seit 2019 Teil von theBlue.ai und begleitet die Entwicklung von KI-Anwendungen im Unternehmensumfeld seit den frühen Tagen des Unternehmens. In ihrer Rolle als Marketing Lead arbeitet sie eng mit den Engineering- und Consulting-Teams zusammen und macht komplexe technische Themen für Entscheider verständlich und zugänglich.
In ihren Artikeln schreibt sie über praktische Erfahrungen aus Enterprise-KI-Projekten sowie über die Herausforderungen und Chancen beim Einsatz von KI in Unternehmen.