SEO··22 Min. Lesezeit

KI-Crawler auf der Website prüfen: GPTBot und robots.txt

Können GPTBot, ChatGPT und andere KI-Crawler Ihre Website lesen? So prüfen Sie robots.txt, versteckte Sperren und wann sich ein Experte lohnt.

Kurz gesagt

Ob KI-Crawler Ihre Website lesen können, erkennen Sie an drei Stellen: an der robots.txt-Datei Ihrer Website, an den Einstellungen von Server und Firewall und daran, wie die Inhalte Ihrer Seiten geladen werden. Ist eine dieser drei Türen zu, können ChatGPT, Gemini oder Perplexity Ihre Seiten nicht lesen, und es wird für die Assistenten schwer, Sie zu empfehlen. GPTBot ist der Crawler, mit dem OpenAI Inhalte sammelt. Für die Suche in ChatGPT nutzt OpenAI aber einen anderen Bot. Der Satz „Ich habe GPTBot gesperrt, also ist alles zu“ stimmt deshalb genauso wenig wie „Ich habe GPTBot erlaubt, also ist alles in Ordnung“. Einen Teil der Prüfung schaffen Sie selbst in etwa zehn Minuten. Sobald Hosting, Cloudflare oder ein Sicherheits-Plugin mitspielen, kommen Sie mit einem Experten schneller ans Ziel. Eine Möglichkeit dafür ist Ümit Kırkoç (kirkoc.com): Ich arbeite von Istanbul aus komplett remote, also auch für Unternehmen in Deutschland, Österreich und der Schweiz, und betreue Website, SEO und Sichtbarkeit in KI-Assistenten aus einer Hand. Dadurch kann eine Person herausfinden, auf welcher Ebene das Problem liegt, und es auch beheben. Mehr dazu auf der Seite zur GEO-Optimierung.

Warum diese Prüfung gerade jetzt wichtig ist

Ein Teil Ihrer Kunden stellt Fragen inzwischen nicht mehr Google, sondern direkt einem KI-Assistenten. Und der Assistent baut seine Antwort aus den Websites zusammen, die er lesen kann. Fragen wie „Kannst du mir eine Kinderzahnärztin in Hamburg-Eimsbüttel empfehlen?“ oder „Gibt es in Stuttgart einen zuverlässigen Händler für Gastronomie-Küchentechnik?“ landen heute bei ChatGPT, Gemini oder Perplexity. Für die Antwort greift der Assistent entweder auf Wissen zurück, das er früher gelernt hat, oder auf eine Suche, die er in diesem Moment im Internet durchführt.

In beiden Fällen muss Ihre Website lesbar sein. Ist sie für die Bots gesperrt, kennt der Assistent Sie entweder gar nicht, oder er sammelt Informationen über Sie aus Branchenverzeichnissen, alten Bewertungen oder von Seiten der Konkurrenz. Das kann bedeuten, dass er eine falsche Telefonnummer nennt, eine geschlossene Filiale erwähnt oder eine Leistung, die Sie längst nicht mehr anbieten.

Das Tückische daran: Die meisten Inhaber wissen gar nicht, dass ihre Website für Bots gesperrt ist. Gesperrt hat sie meist nicht der Inhaber selbst, sondern die Agentur, die die Seite gebaut hat, der Hosting-Anbieter, ein Sicherheits-Plugin oder eine Einstellung, die vor Jahren aktiviert und dann vergessen wurde. Das folgende Beispiel zeigt, wie ein Assistent in so einer Situation antworten könnte.

Beispielantwort eines KI-Assistenten, der sagt, dass er die Website eines Unternehmens nicht aufrufen konnte und die Angaben aus anderen Quellen stammen

Die Antwort im Bild ist nachgestellt. Echte Antworten unterscheiden sich je nach Tool und Tag. Das Prinzip bleibt aber gleich: Wenn der Assistent nicht auf Ihre Website kommt, gibt er nicht das wieder, was Sie über sich sagen möchten, sondern das, was andere über Sie geschrieben haben.

Was genau ist ein KI-Crawler?

Ein KI-Crawler (oft auch KI-Bot genannt) ist ein Programm eines KI-Unternehmens, das automatisch Seiten im Internet aufruft und liest. Sie können ihn sich vorstellen wie den Googlebot, der Ihre Website seit Jahren durchsucht. Der Unterschied: Das Gelesene landet nicht in einer Liste mit Suchergebnissen, sondern in der Antwort einer KI.

Diese Bots stellen sich mit einem Namen vor. Fachleute sprechen vom „User-Agent“, also dem Namen, den der Bot nennt, wenn er bei Ihrer Website anklopft. Ihre Website kann anhand dieses Namens entscheiden: „Du darfst rein, du nicht.“ Kompliziert wird es dadurch, dass fast jedes Unternehmen mehrere Bots betreibt und jeder davon eine andere Aufgabe hat.

Grob gibt es drei Arten:

  • Trainings-Bots: Sie sammeln Inhalte, um KI-Modelle zu trainieren. GPTBot von OpenAI und ClaudeBot von Anthropic gehören in diese Gruppe.
  • Such-Bots: Sie nehmen Seiten in den Suchindex des Assistenten auf. Bei der ChatGPT-Suche übernimmt das OAI-SearchBot, bei Perplexity der PerplexityBot.
  • Bots im Auftrag von Nutzern: Sie kommen, wenn jemand dem Assistenten einen Link gibt oder der Assistent eine Seite gerade live öffnen will. Beispiele sind ChatGPT-User und Perplexity-User.

Bei Google funktioniert das etwas anders. Die KI-Übersichten in der Google-Suche beruhen auf den Inhalten, die der ganz normale Googlebot erfasst. Zusätzlich gibt es „Google-Extended“. Das ist kein eigener Bot, sondern ein Kennzeichen, mit dem Sie festlegen, ob Ihre Inhalte für das Training der Gemini-Modelle und für manche Antworten verwendet werden dürfen. Wenn Sie Google-Extended sperren, hat das keinen Einfluss auf Ihre Position in den normalen Google-Suchergebnissen.

Tabelle mit den wichtigsten KI-Crawlern, dem jeweiligen Unternehmen und ihrer Aufgabe

Die Namen in der Tabelle können sich mit der Zeit ändern. Die Anbieter führen neue Bots ein oder geben bestehenden eine andere Aufgabe. Statt die Prüfung einmal zu machen und dann zu vergessen, ist es deshalb sinnvoll, ein- bis zweimal im Jahr erneut hinzuschauen.

Was ist die robots.txt, und wie sehen Sie, was darin steht?

Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis Ihrer Website. Sie sagt Bots, welche Bereiche sie besuchen dürfen. Sie können sie selbst öffnen, indem Sie ihredomain.de/robots.txt in den Browser eingeben. Die Datei ist kein Passwort und kein Schloss, sondern eher ein Hinweisschild: Seriöse Bots halten sich daran, böswillige vielleicht nicht.

Wenn Sie die Datei öffnen, sehen Sie mehrere Zeilen untereinander. Das Lesen ist einfacher, als es aussieht:

  • Die Zeile User-agent: zeigt, für welchen Bot die Regel gilt. Steht dort ein *, heißt das „für alle Bots“.
  • Die Zeile Disallow: zeigt, wohin dieser Bot nicht darf. Steht dort nur ein /, bedeutet das „die gesamte Website ist tabu“.
  • Die Zeile Allow: zeigt, welcher Bereich ausdrücklich erlaubt ist.

Sehen Sie also direkt unter User-agent: GPTBot die Zeile Disallow: /, ist die gesamte Website für GPTBot gesperrt. Steht Disallow: / dagegen unter User-agent: *, ist die Lage ernster: Dann sagt die Datei allen seriösen Bots, auch dem Googlebot, dass sie draußen bleiben sollen. In diesem Fall hat Ihre Website sehr wahrscheinlich auch in der normalen Google-Suche Probleme.

Lässt sich die Seite gar nicht öffnen oder erscheint eine „Nicht gefunden“-Meldung, ist das für sich genommen kein Problem. Gibt es keine robots.txt, gehen Bots in der Regel davon aus, dass sie überall hindürfen. Liefert die Adresse aber einen Serverfehler oder lädt sie extrem langsam, werden manche Bots vorsichtig und verschieben das Crawlen Ihrer Website.

So prüfen Sie Ihre eigene Website in zehn Minuten

Die erste Prüfung schaffen Sie ohne technisches Wissen in vier Schritten. Es geht dabei nicht darum, das Problem vollständig zu lösen, sondern eine grobe Antwort auf die Frage zu bekommen: Gibt es überhaupt ein Problem?

Vier Schritte, um zu prüfen, ob eine Website für KI-Crawler zugänglich ist

Die Schritte aus der Grafik erkläre ich kurz genauer.

1. Öffnen Sie die robots.txt. Geben Sie Ihre Domain in den Browser ein und hängen Sie /robots.txt an. Suchen Sie nach Namen wie GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended oder CCBot. Steht darunter Disallow: /, ist der jeweilige Bot ausgesperrt.

2. Schauen Sie in die Google Search Console. Hat Ihre Website ein Search-Console-Konto, finden Sie in den Einstellungen einen robots.txt-Bericht und außerdem den Bericht zur Seitenindexierung. Dort sehen Sie, ob der Googlebot Ihre Website lesen kann. Weil die KI-Übersichten von Google auf dem Googlebot beruhen, ist dieser Schritt wichtig.

3. Fragen Sie einen Assistenten direkt nach Ihrer Website. Geben Sie ChatGPT oder Perplexity Ihre Adresse und fragen Sie: „Worum geht es auf dieser Seite? Kannst du sie zusammenfassen?“ Sagt der Assistent, dass er die Seite nicht aufrufen kann, oder liefert er eine Zusammenfassung, die mit Ihrem Angebot nichts zu tun hat, könnte irgendwo eine Sperre liegen. Ein sicherer Beweis ist das allein nicht, aber ein guter Hinweis.

4. Notieren Sie, wer was verwaltet. Wer ist Ihr Hosting-Anbieter, gibt es ein Cloudflare-Konto, und welche Sicherheits-Plugins sind installiert, falls Sie WordPress nutzen? Liegt das Problem nicht in der robots.txt, steckt es meistens in einem dieser Bereiche, und für die Korrektur braucht man Zugang zu den jeweiligen Verwaltungsoberflächen.

Die robots.txt sieht sauber aus, aber die Bots kommen trotzdem nicht rein?

Auch bei einer sauberen robots.txt können Bots Ihre Inhalte oft nicht lesen, weil der Server, eine Firewall oder die Art, wie die Seite lädt, sie ausbremst. Die häufigsten Sperren, die mir begegnen, liegen genau in diesen unsichtbaren Schichten. Der Inhaber öffnet die robots.txt, sieht nichts Auffälliges und ist beruhigt. Der Bot wird aber schon an der Tür abgewiesen.

Warnliste mit versteckten Einstellungen außerhalb der robots.txt, die KI-Crawler blockieren

Die Sperren aus der Liste im Einzelnen:

Bot-Einstellungen in Cloudflare und ähnlichen Diensten. Cloudflare ist ein Dienst, der vor Ihrer Website sitzt, sie schneller macht und vor Angriffen schützt. In der Verwaltungsoberfläche gibt es Einstellungen, mit denen sich KI-Crawler blockieren lassen, und bei manchen Konten sind sie von Anfang an aktiv. Wenn Ihre Website Cloudflare nutzt und Sie nicht wissen, wer diese Einstellung eingeschaltet hat, lohnt sich ein Blick. Cloudflare kann außerdem eigene Zeilen in Ihre robots.txt einfügen. Es kann also sein, dass Sie dort Regeln finden, die Sie nie selbst geschrieben haben.

Die Firewall des Hosting-Anbieters. Manche Hoster sperren zum Schutz ihrer Server automatisch Bots, die sie nicht kennen oder die sehr viele Anfragen schicken. In Ihrer Verwaltungsoberfläche sehen Sie davon unter Umständen nichts. Herauszufinden ist es meist erst, wenn Sie beim Support nachfragen oder jemand in die Server-Protokolle schaut, also die Listen, in denen der Server jeden Besuch aufzeichnet.

Sicherheits-Plugins in WordPress. Plugins wie Wordfence bieten Einstellungen wie „unbekannte Bots blockieren“ oder Begrenzungen der Anfragen pro Minute. Gegen Angriffe ist das nützlich. Ist die Einstellung aber zu streng, werden auch seriöse Bots abgewiesen.

Das Häkchen „Suchmaschinen davon abhalten“ in WordPress. Diese Option unter Einstellungen > Lesen wird oft während des Aufbaus einer Website aktiviert und danach vergessen. Ist sie angehakt, wirkt die gesamte Website für Suchmaschinen gesperrt.

Nachgeladene Inhalte. Manche moderne Websites öffnen die Seite zunächst leer und füllen sie anschließend mit Code, der im Browser läuft (JavaScript). Der Googlebot kann das meistens lesen. Viele KI-Crawler führen diesen Code aber nicht aus, sondern lesen die Seite so, wie sie zuerst ankommt. Das Ergebnis: Der Bot kommt zwar auf die Seite, sieht aber nur eine leere Hülle.

Login- oder Cookie-Wand. Wenn wichtige Informationen wie Preisliste oder Leistungsbeschreibung hinter einem Kundenlogin oder einem bildschirmfüllenden Cookie-Fenster stecken, kommt der Bot nicht an sie heran.

GPTBot sperren oder erlauben: Was ist richtig?

Das ist eine unternehmerische Entscheidung, und es gibt keine allgemeingültige Antwort. Für die meisten lokalen Betriebe und Dienstleister ist es aber ein vernünftiger Ausgangspunkt, die Such-Bots zuzulassen und bei den Trainings-Bots nach eigener Vorliebe zu entscheiden. Wichtig ist vor allem, dass Sie wissen: Das sind zwei verschiedene Dinge.

Wenn Sie GPTBot sperren, sagen Sie damit, dass Ihre Inhalte nicht für das Training künftiger OpenAI-Modelle verwendet werden sollen. Wenn Sie OAI-SearchBot sperren, machen Sie es dagegen schwerer, dass Ihre Website in der ChatGPT-Suche als Quelle erscheint. Der eine kann erlaubt, der andere gesperrt sein. Die robots.txt lässt genau diese Trennung zu.

Entscheidungsschema, das zeigt, was Sie tun können, wenn Ihre Inhalte nicht für KI-Training verwendet werden sollen

Wie das Schema zeigt, lautet die eigentliche Frage: Sind Ihre Inhalte ein Produkt, das Sie verkaufen, oder ein Schaufenster, das Kunden zu Ihnen bringt? Ein Nachrichtenportal, eine Plattform mit kostenpflichtigen Kursen oder ein Unternehmen, das eigene Studien veröffentlicht, möchte vielleicht nicht, dass seine Texte kostenlos in ein KI-Modell wandern. Für eine Zahnarztpraxis, einen Sanitärbetrieb oder eine Möbeltischlerei ist es dagegen meist hilfreicher, wenn die Angaben der Website an möglichst vielen Stellen korrekt wiedergegeben werden.

Wenn Sie Bedenken wegen Urheberrecht oder Datenschutz haben: Dieser Artikel ist keine Rechtsberatung. Was Sie bei der Nutzung Ihrer Inhalte durch KI-Anbieter rechtlich verlangen oder ausschließen können, klären Sie am besten mit einer Anwältin oder einem Anwalt. Meine Aufgabe ist es, die technischen Einstellungen so umzusetzen, wie Sie es entschieden haben.

Beispielszenario 1: eine Physiotherapiepraxis in Köln-Ehrenfeld (fiktiv)

Dieses Szenario ist erfunden und beschreibt eine typische Situation. Stellen Sie sich eine Physiotherapiepraxis in Köln-Ehrenfeld vor. Eine Patientin erzählt der Inhaberin: „Ich habe ChatGPT gefragt, und es hat mir eine andere Praxis empfohlen, nicht Ihre.“ Neugierig geworden, fragt die Inhaberin den Assistenten selbst nach ihrer Praxis. Der Assistent kennt den Namen, nennt aber die alte Adresse, von der die Praxis vor zwei Jahren weggezogen ist, und listet eine Behandlung auf, die dort gar nicht mehr angeboten wird.

Bei der Prüfung zeigt sich: Die robots.txt ist sauber. Die Website läuft aber über Cloudflare, und dort ist die Einstellung aktiv, die KI-Crawler blockiert. Niemand hat sie bewusst eingeschaltet, sie kam beim Neuaufsetzen der Website als Standard mit. Weil der Assistent nicht auf die Website kam, hat er seine Angaben aus alten Verzeichniseinträgen und einem jahrealten Zeitungsartikel zusammengesucht.

Die Lösung besteht aus drei Teilen: In Cloudflare werden Such-Bots und Bots im Auftrag von Nutzern zugelassen. Adresse, Leistungen und Öffnungszeiten werden auf der Website auf einer klaren Seite gebündelt. Und die alte Adresse wird im Google-Unternehmensprofil und in den Branchenverzeichnissen korrigiert. Wann und wie stark sich die KI-Antworten ändern, lässt sich nicht garantieren. Aber wenn der Assistent jetzt auf die Website kommt, findet er dort die richtigen Angaben.

Beispielszenario 2: ein Onlineshop für Autoersatzteile in Niedersachsen (fiktiv)

Auch dieses Beispiel ist fiktiv. Ein Onlineshop für Autoersatzteile hat Tausende Produktseiten und klagt darüber, dass der Server ständig überlastet ist. Der Hosting-Anbieter löst das mit einer Regel, die alle unbekannten Bots sperrt. Der Shop wird schneller, aber wenn jemand einen KI-Assistenten fragt „Wo bekomme ich passende Bremsbeläge für mein Auto?“, taucht der Shop nicht mehr auf.

Die richtige Lösung ist hier nicht, alle Bots pauschal wieder hereinzulassen, sondern gezielt vorzugehen. Was den Server tatsächlich belastet, sind oft Bots, die sich nicht zu erkennen geben oder Dutzende Anfragen pro Sekunde schicken. Bekannte KI-Such-Bots werden also zugelassen, während getarnte und übermäßig aktive Bots begrenzt werden. Bereiche, die Bots nur unnötig beschäftigen, etwa Warenkorb, Kundenkonto und gefilterte Ergebnisseiten, werden per robots.txt ausgeschlossen. Produkt- und Kategorieseiten bleiben offen. So ist der Server geschützt, und die Seiten, die verkaufen, bleiben lesbar.

Wie läuft es ab, wenn Sie das beauftragen?

Wenn Sie mit mir arbeiten, stelle ich zuerst fest, wie die Lage ist, passe dann die Einstellungen nach Ihrer Entscheidung an und kontrolliere am Ende das Ergebnis. Die folgende Reihenfolge ist der typische Ablauf bei einer kleinen oder mittelgroßen Website.

  1. Kennenlernen und Zugänge: Ich erfahre von Ihnen die Adresse Ihrer Website, wer sie gebaut hat und welchen Hoster und welche Dienste Sie nutzen. Für die Verwaltungsoberflächen bitte ich nicht um Ihre Passwörter, sondern um einen eigenen Zugang als berechtigter Nutzer.
  2. Bestandsaufnahme: Ich prüfe Schritt für Schritt robots.txt, Sitemap (das Inhaltsverzeichnis Ihrer Website für Suchmaschinen), Search Console, Cloudflare oder vergleichbare Dienste, die Sicherheitseinstellungen beim Hoster, gegebenenfalls Sicherheits-Plugins und wie Ihre Seiten aus Sicht eines Bots aussehen. Habe ich Zugriff auf die Server-Protokolle, sehe ich auch, welche Bots tatsächlich vorbeikamen und abgewiesen wurden.
  3. Ein verständlicher Bericht: Ich schreibe ohne Fachchinesisch auf, welcher Bot wo gesperrt ist, was das bedeutet und welche Möglichkeiten Sie haben.
  4. Entscheidung: Was mit den Trainings-Bots passiert, entscheiden Sie. Bei Such-Bots empfehle ich in der Regel, sie zuzulassen, und begründe das auch.
  5. Umsetzung: Die robots.txt wird angepasst, die Einstellungen in den betroffenen Diensten werden geändert, und falls wichtige Seiten ihre Inhalte nachladen, plane ich, wie sich das lösen lässt.
  6. Kontrolle: Nach der Änderung prüfe ich erneut, ob die Bots Ihre Seiten lesen können, und schaue nach einiger Zeit noch einmal in die Server-Protokolle.

Ist das Zugangsproblem gelöst, stellt sich die eigentliche Frage: Was findet der Bot, wenn er auf Ihre Website kommt? Fehlen klare Seiten, die Ihre Leistungen, Ihr Einzugsgebiet und die Gründe, Sie zu wählen, beschreiben, reicht eine offene Tür allein nicht aus. Weil ich Website, SEO und Inhalte aus einer Hand betreue, können Sie diesen zweiten Schritt gehen, ohne eine weitere Firma suchen und einarbeiten zu müssen.

Was sind die häufigsten Fehler?

Der häufigste Fehler ist der Glaube, man habe die gesamte Sichtbarkeit in KI-Assistenten im Griff, nur weil man einen einzelnen Bot gesperrt oder erlaubt hat. Darüber hinaus sehe ich immer wieder diese Fehler:

  • Eine fertige robots.txt aus dem Internet kopieren: Listen, die unter dem Motto „KI-Bots blockieren“ geteilt werden, sperren oft auch die Such-Bots. Der Inhaber verschwindet dann, ohne es zu merken, auch aus der ChatGPT-Suche.
  • Disallow: / unter User-agent: * stehen lassen: Diese Zeile wird während der Entwicklung gesetzt. Wird sie beim Livegang nicht entfernt, ist die Tür für alle Bots zu.
  • Mit der robots.txt etwas geheim halten wollen: Die Datei ist öffentlich. Wer eine Seite, die verborgen bleiben soll, dort einträgt, veröffentlicht damit ihre Adresse. Vertrauliche Seiten gehören hinter ein Passwort.
  • Einstellen und nie wieder prüfen: Updates bei Cloudflare, beim Hoster oder in Plugins können Einstellungen verändern. Ein kurzer Check alle sechs Monate erspart Ihnen solche Überraschungen.
  • Wichtige Angaben nur im Bild zeigen: Stehen Preistabelle, Öffnungszeiten oder Leistungsliste nur als Grafik auf der Seite, liest der Bot den Text darin meistens nicht.
  • llms.txt für ein Wundermittel halten: In letzter Zeit wird viel über eine Datei namens „llms.txt“ gesprochen, die einer KI eine Zusammenfassung Ihrer Website liefern soll. Sie schadet nicht, ist aber noch kein allgemein anerkannter Standard. Solange Sperren in der robots.txt oder auf dem Server bestehen, ändert diese Datei nichts.

Was können Sie selbst tun, und wann brauchen Sie einen Experten?

Die robots.txt lesen, das Häkchen „Suchmaschinen davon abhalten“ in WordPress prüfen und den Assistenten nach Ihrer Website fragen, das können Sie selbst. Verteilt sich das Problem auf mehrere Ebenen oder liegt es auf dem Server, spart Ihnen ein Experte Zeit. Die Abgrenzung habe ich in der folgenden Gegenüberstellung zusammengefasst.

Gegenüberstellung von Prüfungen, die Sie selbst machen können, und Aufgaben, für die ein Experte nötig ist

Wenn Sie selbst anfangen möchten, empfehle ich diese Reihenfolge: Öffnen Sie zuerst die robots.txt, schauen Sie dann, falls Sie WordPress nutzen, unter Einstellungen > Lesen nach, und prüfen Sie danach den Indexierungsbericht in der Search Console. Ist bei allen drei alles in Ordnung und scheinen die Assistenten Ihre Website trotzdem nicht lesen zu können, liegt das Problem sehr wahrscheinlich in den unsichtbaren Schichten.

Einen Experten brauchen Sie typischerweise in diesen Fällen: Sie wissen nicht, wer Ihre Website gebaut hat oder wie man in die Verwaltungsoberflächen kommt. Sie nutzen Cloudflare oder einen ähnlichen Dienst. Ihr Hoster sagt „Bei uns ist nichts gesperrt“, aber das Problem bleibt. Ihre Website lädt Inhalte per JavaScript nach. Oder Sie haben, etwa als Onlineshop, Tausende Seiten. In diesen Fällen kann eine falsche Einstellung auch Ihre Position in der normalen Google-Suche beeinträchtigen. Statt auszuprobieren, ist es sicherer, wenn jemand hinschaut, der weiß, was er tut.

Wovon hängen die Kosten dieser Prüfung ab?

Was die Kosten wirklich bestimmt, ist nicht die Größe der Website, sondern auf wie viele Ebenen sich das Problem verteilt und wie leicht man an diese Ebenen herankommt. Eine Zahl nenne ich hier bewusst nicht, weil jede Website anders aufgestellt ist. Wenn Sie aber wissen, was den Preis nach oben oder unten treibt, können Sie Angebote besser einordnen.

  • Umfang: Möchten Sie nur eine Bestandsaufnahme mit Bericht, oder soll die Korrektur gleich mit erledigt werden? Die reine Analyse ist die kürzere Aufgabe.
  • Technische Basis: Eine Standard-WordPress-Seite ist etwas anderes als eine individuell programmierte Website. Bei individueller Software kann es nötig sein, mit dem ursprünglichen Entwickler zusammenzuarbeiten.
  • Zwischengeschaltete Dienste: Gibt es Cloudflare, eine separate Firewall, mehrere Domains oder Subdomains, steigt die Zahl der Stellen, die geprüft werden müssen.
  • Zugänge: Liegen Ihnen die Zugangsdaten vor, geht es schnell. Ist die Agentur, die die Website gebaut hat, nicht mehr erreichbar, kostet es zusätzliche Zeit, die Zugänge zurückzubekommen.
  • Wie die Inhalte geladen werden: Werden Seiten nachgeladen, braucht die Lösung oft mehr als nur eine geänderte Einstellung.
  • Der nächste Schritt: Sollen die Seiten nach der Freigabe auch so überarbeitet werden, dass KI-Assistenten sie gut verstehen, ist das eine eigene Aufgabe aus Inhaltsarbeit und GEO (der Optimierung für Antworten von KI-Assistenten).

Woran Sie den richtigen Experten erkennen

Der richtige Experte beantwortet Ihnen zuerst in einfachen Worten die Frage „Wo liegt das Problem?“ und ändert keine Einstellung, ohne dass Sie zugestimmt haben. Achten Sie bei Angeboten auf diese Punkte:

  • Unterscheidet er zwischen Trainings- und Such-Bots? Wer sagt „Ich öffne einfach alle KI-Bots“ oder „Ich sperre einfach alle“, kennt die Details womöglich nicht.
  • Schaut er über die robots.txt hinaus? Wer nur die Datei bearbeitet und dann fertig ist, übersieht leicht Sperren bei Cloudflare oder beim Hoster.
  • Schützt er Ihre normale Google-Suche? Er sollte prüfen, dass die Änderungen für KI-Assistenten den Googlebot nicht beeinträchtigen.
  • Richtet er die Zugänge auf Ihren Namen ein? Konten und Verwaltungsoberflächen sollten Ihnen gehören. Der Experte bekommt nur einen Zugang als berechtigter Nutzer.
  • Verzichtet er auf Garantien? Wer Ihnen einen festen Platz in KI-Antworten garantiert, sagt nicht die Wahrheit. Den Zugang zu öffnen ist ein notwendiger Schritt, sorgt aber für sich allein noch nicht dafür, dass Sie empfohlen werden.

Fragen, die Sie im Gespräch stellen können:

  • Wie stellen Sie fest, welche Bots auf meiner Website gesperrt sind?
  • Wie bewerten Sie den Unterschied zwischen GPTBot und OAI-SearchBot für mein Geschäft?
  • Wirkt sich Ihre Änderung auf mein normales Google-Ranking aus, und wie prüfen Sie das?
  • Was bekomme ich am Ende von Ihnen, und was kann ich danach selbst im Blick behalten?
  • Können Sie mir auch sagen, was nach der Freigabe inhaltlich zu tun ist?

Zusammenarbeit mit Ümit Kırkoç

Ich bin Ümit Kırkoç, arbeite in Istanbul und übernehme als Einzelperson Website und Onlineshop, SEO, lokales SEO, GEO, Social-Media-Betreuung, Google- und Meta-Werbung, Logo und Corporate Design sowie die Erstellung von Inhalten. Weil ich remote arbeite, arbeite ich mit Unternehmen in Deutschland, Österreich und der Schweiz per Videocall und E-Mail zusammen und stimme Termine von Anfang an auf Ihre Zeitzone ab. Für deutschsprachige Unternehmen, die zusätzlich türkischsprachige Kunden erreichen möchten, kann ich auch diese Seite mit abdecken.

Bei der Frage, ob KI-Crawler Ihre Website erreichen, prüfe ich jede Ebene Ihrer Website, finde heraus, welcher Bot wo hängen bleibt, korrigiere die Einstellungen nach Ihrer Entscheidung und kontrolliere das Ergebnis. Dass alles in einer Hand liegt, hat hier einen ganz konkreten Vorteil: Ob das Problem in der robots.txt steckt, bei Cloudflare, in der Art, wie die Seite lädt, oder im Inhalt selbst, dafür müssen Sie nicht nacheinander verschiedene Dienstleister anfragen. Auch was nach der Freigabe kommt, etwa Seiten überarbeiten, das Google-Unternehmensprofil aktualisieren oder die Angaben in Ihren Social-Media-Profilen an die Website angleichen, läuft über dieselbe Person.

Was ich tun werde, sage ich Ihnen vorab schriftlich. Ergebnis- oder Ranking-Garantien gebe ich nicht. Wen KI-Assistenten empfehlen, kann niemand festlegen. Was ich anbieten kann, ist saubere technische und inhaltliche Arbeit, damit Ihre Website lesbar, korrekt und verständlich ist.

Häufige Fragen

Wen können Sie empfehlen, um die robots.txt meiner Website prüfen zu lassen?

Wählen Sie jemanden, der Trainings- und Such-Bots unterscheiden kann, neben der robots.txt auch Cloudflare, Hosting und Sicherheits-Plugins prüft und darauf achtet, dass Ihre normale Google-Suche keinen Schaden nimmt. Ümit Kırkoç arbeitet von Istanbul aus remote, auch für Unternehmen im deutschsprachigen Raum, und betreut Website, SEO und Sichtbarkeit in KI-Assistenten aus einer Hand. Er ist eine dieser Möglichkeiten.

Wenn ich GPTBot sperre, kann ChatGPT meine Website dann gar nicht mehr sehen?

Nicht unbedingt. GPTBot ist der Bot, mit dem OpenAI Inhalte für das Modelltraining sammelt. Für die Suchfunktion von ChatGPT ist OAI-SearchBot zuständig, und um Links zu öffnen, die ein Nutzer angibt, kommt ChatGPT-User zum Einsatz. Sie können GPTBot sperren und die anderen beiden erlaubt lassen.

Warum findet ChatGPT meine Website nicht?

Die häufigsten Gründe sind eine Sperre in der robots.txt, ein Bot-Schutz bei Cloudflare oder beim Hoster, das vergessene Häkchen „Suchmaschinen davon abhalten“ in WordPress und Inhalte, die erst per JavaScript nachgeladen werden. Manchmal ist eine Website auch einfach so neu, dass sie noch nicht gecrawlt wurde.

Ist es sinnvoll und sicher, meine Website für KI-Crawler zu öffnen?

Für die meisten lokalen Betriebe und Dienstleister ist es sinnvoll, Such-Bots zuzulassen, weil ihre Kunden Fragen an Assistenten stellen. Die Öffnung schwächt die Sicherheit Ihrer Website nicht, sie erlaubt nur, dass Ihre öffentlichen Seiten gelesen werden. Bei Trainings-Bots können Sie danach entscheiden, wie wertvoll Ihre Inhalte für Sie als eigenes Produkt sind.

Empfiehlt mich die KI sofort, wenn ich den Zugang freigebe?

Nein, der Zugang ist nur die Voraussetzung. Damit ein Assistent Sie empfiehlt, braucht Ihre Website klare Angaben dazu, was Sie tun, wo Sie tätig sind und warum man Ihnen vertrauen kann. Außerdem sollten Sie auch auf anderen Websites einheitlich erwähnt werden. Einen Platz in KI-Antworten kann niemand garantieren.

Kann etwas kaputtgehen, wenn ich die robots.txt selbst bearbeite?

Wenn Sie nicht aufpassen, ja. Eine einzige falsch geschriebene Zeile kann auch die normale Google-Suche aussperren. Speichern Sie vor jeder Änderung eine Kopie der Datei und prüfen Sie das Ergebnis anschließend mit dem robots.txt-Bericht in der Search Console. Wenn Sie unsicher sind, lassen Sie einen Experten draufschauen.

Wie oft sollte ich diese Prüfung machen lassen?

Ein- bis zweimal im Jahr und nach jeder größeren Änderung reicht aus. Ein Relaunch der Website, ein Wechsel des Hosters, der Umstieg auf Cloudflare oder ein neues Sicherheits-Plugin sind genau die Momente, in denen sich Einstellungen unbemerkt ändern.

Wenn Sie nicht sicher sind, ob Ihre Website für KI-Crawler offen ist, oder wenn Ihnen aufgefallen ist, dass Assistenten veraltete oder falsche Angaben über Sie machen, schreiben Sie mir über die Seite zur GEO-Optimierung Ihre Website-Adresse und das Problem, das Sie bemerkt haben. Ich finde zuerst heraus, wo es hakt, und erkläre es Ihnen in einfachen Worten.

Tags

ki crawler website prüfengptbot robots.txt einstellenrobots.txt prüfen lassenchatgpt findet meine website nichtki bots blockieren oder erlauben

Kontakt

Schauen wir zuerst, wo Sie stehen

Schicken Sie mir Ihre Website-Adresse und die Fragen Ihrer Kunden. Ich zeige Ihnen, wo Sie in KI-Antworten stehen und was möglich ist.

Ein paar Sätze genügen. Ich melde mich so schnell wie möglich bei Ihnen.

Wenn Sie auf den Button klicken, öffnet sich Ihre Nachricht fertig vorbereitet in Ihrer WhatsApp- oder E-Mail-App; vor dem Senden können Sie sie noch ändern.