KI-Projekte im Mittelstand: Warum 7 von 10 an den Daten scheitern

Die Zahlen sind eindeutig — und ernuechternd

Der KI-Index Mittelstand 2026 meldet einen Rekord: 51,2 Prozent der mittelstaendischen Unternehmen in Deutschland nutzen oder testen KI-Loesungen. Das ist ein Plus von 54 Prozent gegenueber dem Vorjahr. Die Nutzung von KI-Agenten — also Systemen, die eigenstaendig Aufgaben ausfuehren — hat sich fast verdoppelt, von 8,7 auf 16,6 Prozent.

Gleichzeitig veroeffentlichte Gartner im April 2026 eine Analyse, die das Bild korrigiert: 72 Prozent aller Enterprise-KI-Projekte scheitern. Die RAND Corporation kommt sogar auf 80,3 Prozent, die ihren Business-Wert nicht liefern. Und in der Detailanalyse zeigt sich: Sieben von zehn gescheiterten Projekten landen nicht am Modell, nicht an der Software, nicht am Anbieter — sondern an schlechter Datenqualitaet und fehlender Daten-Governance.

Fuer KMU bedeutet das: Die Entscheidung, ob ein KI-Projekt funktioniert, faellt nicht beim Anbieter-Pitch. Sie faellt Wochen vorher — bei der Frage, ob die eigenen Daten ueberhaupt brauchbar sind.

Was „schlechte Daten" im KMU-Alltag konkret bedeutet

Wenn Gartner von Datenqualitaet spricht, klingt das abstrakt. Im Arbeitsalltag eines Handwerksbetriebs, einer Steuerkanzlei oder einer Arztpraxis zeigt sich das Problem sehr konkret:

Kundendaten in fuenf verschiedenen Systemen. Die Buchhaltung nutzt DATEV, der Vertrieb eine Excel-Tabelle, die Terminplanung ein separates Tool, Rechnungen liegen im Mailpostfach, und Notizen stehen auf Papier. Kein System kennt den kompletten Kunden.

Keine einheitliche Schreibweise. „Mueller GmbH", „Müller GmbH", „Mueller GmbH & Co. KG" sind im CRM drei verschiedene Kunden. Eine KI, die Umsatzprognosen erstellen soll, rechnet mit drei Datensaetzen statt einem.

Lueckenhafte Historien. Wer seine Angebote nicht systematisch erfasst, kann keine Conversion-Rate berechnen. Wer Ablehnungsgruende nicht notiert, kann keine Muster erkennen. Die KI braucht aber genau diese Muster.

Veraltete Kontaktdaten. E-Mail-Adressen, die seit Jahren nicht gepflegt werden. Telefonnummern von Ansprechpartnern, die laengst gewechselt haben. Ein KI-Mailsystem, das auf diese Daten zugreift, produziert Bounces statt Ergebnisse.

Warum KI-Anbieter das Problem nicht loesen

Viele KI-Anbieter versprechen „sofort einsatzbereite Loesungen". Das ist technisch nicht falsch — die Software funktioniert. Aber sie funktioniert nur so gut wie die Daten, die sie bekommt. Das Prinzip ist dasselbe wie bei einer Tabellenkalkulationsformel: Wer falsche Zahlen eingibt, bekommt ein korrektes aber nutzloses Ergebnis.

Ein Beispiel aus der Praxis: Ein Malerbetrieb mit 12 Mitarbeitern fuehrt ein KI-gestuetztes Angebots-Tool ein. Das System soll anhand vergangener Projekte automatisch Preise kalkulieren. Das Problem: Die letzten drei Jahre wurden Angebote per Freitext-Mail verschickt. Keine standardisierten Posten, keine einheitliche Flaechenerfassung, keine konsistente Materialzuordnung. Das KI-System hat zwar 400 Angebote — aber kann daraus keine Struktur ableiten.

Der Anbieter kann das nicht reparieren. Er kann die Software konfigurieren, aber die 400 Altangebote muessen vom Betrieb selbst aufbereitet werden — oder man faengt bei null an und sammelt erst sechs Monate lang strukturierte Daten.

Das ist der Grund, warum Mittelstaendler laut KI-Index nur 0,35 Prozent ihres Umsatzes in KI investieren — 30 Prozent unter dem globalen Schnitt. Nicht weil sie das Thema ignorieren, sondern weil die Vorarbeit aufwaendiger ist als erwartet und im Anbieter-Pitch nicht erwaehnt wird.

Die fuenf Datenhausaufgaben vor jedem KI-Projekt

Bevor ein KMU-Betrieb ueberhaupt mit einem KI-Anbieter spricht, sollte er fuenf Fragen beantworten koennen. Nicht perfekt — aber ehrlich.

1. Wo liegen unsere Kerndaten? Kundendaten, Projektdaten, Finanzdaten, Kommunikation. Listen Sie jedes System auf, in dem diese Daten heute gespeichert werden. Dazu gehoeren auch Excel-Dateien, E-Mail-Postfaecher und Papierordner.

2. Gibt es eine einzige Quelle der Wahrheit? Wenn der gleiche Kunde in drei Systemen unterschiedlich hinterlegt ist, gibt es keine. Das muss nicht sofort ein teures CRM sein — aber es muss klar sein, welches System bei Konflikten „gewinnt".

3. Wie vollstaendig sind die Daten der letzten 12 Monate? Pruefen Sie stichprobenartig 20 Datensaetze. Wie viele haben vollstaendige Kontaktdaten? Wie viele haben einen dokumentierten Projektstatus? Alles unter 70 Prozent ist ein Warnsignal.

4. Wer ist fuer die Datenpflege verantwortlich? Wenn die Antwort „alle" oder „niemand" lautet, ist das Problem identifiziert. Daten-Governance heisst: Eine Person oder Rolle ist zustaendig dafuer, dass neue Daten vollstaendig und korrekt erfasst werden.

5. Welche Daten braucht das geplante KI-Projekt tatsaechlich? Nicht „alle Daten". Sondern: Welche konkreten Felder, welcher Zeitraum, welches Format? Ein Chatbot fuer Kundenanfragen braucht andere Daten als eine Umsatzprognose.

Welche KI-Projekte trotz imperfekter Daten funktionieren

Die gute Nachricht: Nicht jedes KI-Projekt braucht perfekte Daten. Es gibt eine klare Hierarchie, welche Anwendungen mit wenig Datenaufwand starten koennen — und welche ohne saubere Datenbasis garantiert scheitern.

Geringer Datenaufwand (sofort startbar):

• KI-Textassistenten fuer E-Mails, Angebote, Social Media (nutzen allgemeines Sprachverstaendnis, keine eigenen Daten noetig)
• KI-Chatbots auf der Website (arbeiten mit vorhandenen Website-Inhalten)
• Automatisierte Terminbuchung (braucht nur Kalender-Integration)

Mittlerer Datenaufwand (3-6 Monate Vorbereitung):

• Kundensegmentierung und gezielte Ansprache (braucht saubere CRM-Daten)
• Automatisierte Angebotsvorlagen (braucht strukturierte Projekthistorie)
• Bewertungs- und Feedback-Analyse (braucht gesammeltes Kundenfeedback)

Hoher Datenaufwand (6-12 Monate Vorbereitung):

• Umsatzprognosen und Kapazitaetsplanung (braucht lueckenlose Finanzdaten ueber Jahre)
• Automatische Preiskalkulation (braucht standardisierte Projekt- und Kostendaten)
• Predictive Maintenance fuer Maschinen (braucht Sensordaten und Wartungshistorie)

Der Fehler, den viele KMU machen: Sie starten mit der dritten Kategorie, weil der ROI dort am hoechsten scheint. Aber ohne Datenbasis liefert genau diese Kategorie die groessten Enttaeuschungen. Besser ist der umgekehrte Weg — mit der ersten Kategorie starten, dabei die Datenpflege-Prozesse aufbauen, und sich schrittweise hocharbeiten.

Was KMU von gescheiterten Grossprojekten lernen koennen

Die Gartner-Zahlen stammen aus Enterprise-Projekten — also Konzernen mit IT-Abteilungen, sechsstelligen Budgets und dedizierten Data-Teams. Wenn selbst diese Unternehmen zu 72 Prozent scheitern, ist die Warnung fuer KMU ohne IT-Abteilung umso deutlicher.

Aber KMU haben auch einen Vorteil: Sie sind kleiner. Das bedeutet weniger Datenquellen, kuerzere Entscheidungswege und schnellere Bereinigungszyklen. Ein Handwerksbetrieb mit 200 Kunden kann seine Stammdaten in einem Wochenende pruefen. Ein Konzern mit 200.000 Kunden braucht dafuer ein eigenes Projekt.

Die drei haeufigsten Fehler, die KMU von Konzernen uebernehmen sollten — als Warnung:

Fehler 1: KI als IT-Projekt behandeln. KI ist ein Geschaeftsprojekt. Die Fachleute im Betrieb muessen definieren, welches Problem geloest werden soll. Nicht die IT, nicht der Anbieter.

Fehler 2: Zu viel auf einmal. Konzerne scheitern haeufig an zu breitem Scope. Fuer KMU gilt: Ein Prozess, ein Tool, ein messbares Ziel. Erst wenn das funktioniert, den naechsten Prozess angehen.

Fehler 3: Erfolg nicht messen. 76 Prozent der mittelstaendischen Unternehmen nutzen KI laut einer Studie vom Juli 2026 produktiv — aber nur 26 Prozent haben sie in Kernprozesse integriert. Die Luecke entsteht, weil niemand misst, ob das Tool tatsaechlich Zeit oder Geld spart. Ohne Messung kein Beweis, ohne Beweis kein Ausbau.

Konkret: So macht ein 10-Personen-Betrieb seine Daten KI-ready

Ein Elektriker-Betrieb mit 10 Mitarbeitern, einem Buero-PC und einem Steuerberater als einziger „IT". Typische Ausgangslage — und trotzdem loesbar.

Woche 1-2: Bestandsaufnahme. Alle Orte auflisten, an denen Kundendaten gespeichert werden. Ergebnis ist meist: Buchhaltungssoftware, E-Mail-Programm, Handy-Kontakte, WhatsApp-Verlaeufe, Papierordner. Das ist keine Schande — das ist der Startpunkt.

Woche 3-4: Fuehrungssystem waehlen. Ein System wird zur „Wahrheit". Fuer die meisten KMU reicht anfangs eine gut strukturierte Google-Tabelle oder ein einfaches CRM wie HubSpot Free. Entscheidend: Ab jetzt werden neue Kunden NUR dort eingetragen.

Monat 2-3: Altdaten nachziehen. Nicht alles auf einmal. Nur die Kunden der letzten 12 Monate uebertragen. Dabei Schreibweisen vereinheitlichen, fehlende Felder ergaenzen, doppelte Eintraege zusammenfuehren.

Monat 4-6: Prozess etablieren. Jeder neue Auftrag wird mit vollstaendigem Datensatz erfasst: Kunde, Leistung, Umfang, Preis, Ergebnis. Nach sechs Monaten hat der Betrieb einen sauberen Datensatz, der fuer einfache KI-Anwendungen ausreicht — zum Beispiel automatische Angebotserstellung oder Kundensegmentierung.

Das Gesamtinvestment: Etwa 2-3 Stunden pro Woche ueber sechs Monate. Kein externes Budget noetig. Und das Ergebnis ist unabhaengig von jedem KI-Anbieter nuetzlich — saubere Daten verbessern auch ohne KI die Arbeit im Betrieb.