Cloudflare sperrt KI-Bots: Was Websites bis September 2026 einstellen muessen

Was Cloudflare ab September 2026 aendert

Cloudflare schuetzt laut eigenen Angaben rund 20 Prozent aller Websites weltweit vor Angriffen, Spam und unerwuenschtem Traffic. Ab dem 15. September 2026 aendert der Anbieter die Standard-Einstellungen fuer neue Domains: KI-Bots, die Inhalte fuer Trainingszwecke abgreifen, werden auf Seiten mit Werbung automatisch blockiert.

Der Hintergrund: Immer mehr KI-Unternehmen crawlen Websites, um ihre Sprachmodelle zu trainieren — oft ohne Erlaubnis, ohne Gegenleistung und in einem Umfang, der Server belastet. Cloudflare reagiert darauf mit einem neuen Klassifizierungssystem, das Bots nicht mehr pauschal als „KI" oder „Nicht-KI" einstuft, sondern nach ihrem konkreten Zweck unterscheidet.

Fuer Website-Betreiber ist das grundsaetzlich eine gute Nachricht. Allerdings steckt ein Problem in den Details, das besonders KMU betrifft, die ihre Website nicht aktiv verwalten.

Die drei neuen Bot-Kategorien

Cloudflare unterscheidet ab September drei Typen von Crawlern:

Search-Bots greifen auf Inhalte zu, um sie in Suchergebnissen anzuzeigen. Googlebot und Bingbot gehoeren dazu. Diese bleiben standardmaessig erlaubt.

Agent-Bots arbeiten live im Auftrag eines Nutzers — etwa ein KI-Chatbot, der eine Website durchsucht, um eine Frage zu beantworten. Auch sie werden zunaechst zugelassen.

Training-Bots laden Inhalte herunter, um KI-Modelle zu trainieren oder zu verbessern. Diese werden auf Seiten mit Werbung kuenftig standardmaessig blockiert.

Warum das auch Googlebot betreffen kann

Hier liegt das eigentliche Risiko: Googlebot und Bingbot sind sogenannte Multi-Purpose-Crawler. Sie indexieren Seiten fuer die Suche, nutzen die Daten aber auch fuer KI-Funktionen wie AI Overviews oder den AI Mode. Cloudflare klassifiziert sie deshalb als „Search + Training".

Wenn ein Website-Betreiber die Training-Sperre aktiviert, wendet Cloudflare die restriktivste Regel an. Im Klartext: Googlebot wird auf betroffenen Seiten ebenfalls blockiert — nicht nur fuer KI-Training, sondern komplett.

Die Folge: Seiten werden nicht mehr indexiert, verschwinden aus den Google-Suchergebnissen und verlieren organischen Traffic. Fuer ein lokales Unternehmen, das ueber Google gefunden werden will, ist das ein direkter Umsatzverlust.

Was KMU konkret tun muessen

Die gute Nachricht: Wer seine Cloudflare-Einstellungen kennt, kann das Problem in fuenf Minuten loesen. Die schlechte: Viele KMU wissen nicht einmal, ob ihre Website ueber Cloudflare laeuft.

Schritt 1: Pruefen, ob Cloudflare aktiv ist. Oeffnen Sie ein Terminal oder nutzen Sie ein Online-Tool wie „DNS Checker". Wenn die Nameserver auf Cloudflare zeigen (z. B. `*.ns.cloudflare.com`), laeuft Ihre Website ueber Cloudflare. Alternativ: Im Browser die Entwicklertools oeffnen (F12), unter „Network" eine beliebige Seite laden und in den Response-Headern nach `cf-ray` suchen.

Schritt 2: Bot-Einstellungen pruefen. Im Cloudflare-Dashboard unter „Security" finden Sie seit Juli 2026 die neuen AI-Bot-Kategorien. Dort koennen Sie separat festlegen, ob Search-, Agent- und Training-Bots erlaubt oder blockiert werden sollen.

Schritt 3: Googlebot nicht blockieren. Stellen Sie sicher, dass die Kategorie „Search" auf „Allow" steht. Wenn Sie Training-Bots blockieren moechten, aktivieren Sie nur die Training-Kategorie — aber pruefen Sie vorher, ob Googlebot dadurch mitgesperrt wird. Cloudflare zeigt in den Einstellungen an, welche bekannten Bots von einer Regel betroffen sind.

Schritt 4: robots.txt als Ergaenzung. Unabhaengig von Cloudflare koennen Sie in Ihrer `robots.txt` gezielt einzelne KI-Crawler aussperren. Fuer die gaengigsten Trainings-Bots sieht das so aus:

``` User-agent: GPTBot Disallow: /

User-agent: CCBot Disallow: /

User-agent: anthropic-ai Disallow: /

User-agent: Googlebot Allow: / ```

Diese Datei liegt im Hauptverzeichnis Ihrer Website und wird von serioes arbeitenden Crawlern respektiert.

Welche KMU besonders betroffen sind

Nicht jede Website ist gleichermassen gefaehrdet. Besonders aufpassen muessen:

Websites mit Werbeanzeigen: Die neuen Standardregeln greifen explizit bei Seiten, die Ads ausspielen. Wer Google AdSense, Affiliate-Banner oder andere Werbeformate einbindet, ist direkt betroffen.

Websites, die ueber Baukastensysteme laufen: Viele Anbieter wie Wix, Squarespace oder Jimdo nutzen Cloudflare im Hintergrund, ohne dass der Betreiber davon weiss. Hier haben Sie oft keinen direkten Zugriff auf die Bot-Einstellungen — und muessen beim Anbieter nachfragen.

Websites mit Content-Strategie: Wer regelmaessig Blogartikel, Ratgeber oder FAQ-Seiten veroeffentlicht, um ueber Google gefunden zu werden, riskiert bei falscher Bot-Konfiguration den Verlust dieser Sichtbarkeit. Gerade fuer Handwerker, Aerzte oder Kanzleien, die auf lokale Suchanfragen setzen, kann das spuerbar werden.

Was hinter dem Trend steckt

Die Cloudflare-Aenderung ist Teil einer groesseren Entwicklung: Website-Betreiber verlieren zunehmend die Kontrolle darueber, wer ihre Inhalte nutzt und wofuer. KI-Unternehmen wie OpenAI, Google und Anthropic trainieren ihre Modelle mit Milliarden von Webseiten — oft ohne Verguetung.

Cloudflare positioniert sich hier als Vermittler: Website-Betreiber sollen selbst entscheiden koennen, welche Bots Zugriff erhalten. Langfristig plant Cloudflare sogar ein System, bei dem KI-Unternehmen fuer den Zugriff auf Inhalte bezahlen koennten — eine Art „Content-Maut" fuer KI-Training.

Fuer KMU bedeutet das: Die Frage, wer Ihre Website-Inhalte nutzen darf, wird in den naechsten Jahren zu einer echten Geschaeftsentscheidung. Wer seine Texte, Bilder und Daten schuetzt, behaelt einen Wettbewerbsvorteil. Wer alles offen laesst, fuettert die KI-Modelle der Konkurrenz — inklusive der eigenen Keywords und Fachexpertise.

Zeitplan: Was bis wann passieren muss

Die wichtigsten Termine im Ueberblick:

Jetzt (August 2026): Pruefen Sie, ob Ihre Website ueber Cloudflare laeuft. Falls ja: Oeffnen Sie das Dashboard und sichten Sie die aktuellen Bot-Einstellungen unter Security.

Bis 10. September 2026: Passen Sie die Einstellungen an, bevor die neuen Standards greifen. Stellen Sie sicher, dass Googlebot und Bingbot nicht versehentlich blockiert werden. Ergaenzen Sie Ihre robots.txt um gezielte Regeln fuer Trainings-Bots.

Ab 15. September 2026: Die neuen Standardeinstellungen greifen fuer neue Domains. Bestehende Domains sind nur betroffen, wenn der Betreiber die neuen Regeln manuell aktiviert hat — oder wenn der Hosting-Anbieter dies im Hintergrund tut.

Laufend: Ueberwachen Sie Ihre Google Search Console auf Crawling-Fehler. Ein ploetzlicher Rueckgang der indexierten Seiten oder ein Anstieg von „Blockiert"-Meldungen kann auf eine Bot-Sperre hindeuten.

Fazit: Fuenf Minuten Arbeit, die Rankings retten

Die Cloudflare-Aenderung ist kein Grund zur Panik, aber ein Grund zum Handeln. Wer seine Einstellungen bis Mitte September prueft und gezielt konfiguriert, schuetzt seine Inhalte vor ungewolltem KI-Training — ohne die eigene Google-Sichtbarkeit zu gefaehrden.

Das eigentliche Problem liegt anderswo: Viele KMU wissen nicht, welche technischen Dienste im Hintergrund ihrer Website laufen. Cloudflare, CDN-Anbieter, Caching-Layer — all das beeinflusst, wer Ihre Seiten sehen und crawlen kann. Wer hier keinen Ueberblick hat, riskiert, dass gut gemeinte Sicherheitsmassnahmen die eigene Reichweite zerstoeren.

Eine kurze Pruefung der Bot-Einstellungen — fuenf Minuten, die den Unterschied machen koennen zwischen stabilen Rankings und einem ploetzlichen Sichtbarkeitsverlust.