WordPress gehackt: die ersten Stunden
Abschalten, sichern, Passwörter tauschen, dann erst suchen. Die Reihenfolge, die den Befall wirklich beendet, und warum Aufräumen der falsche erste Schritt ist.
Die robots.txt ist eine kleine Textdatei im Wurzelverzeichnis deiner Website, mit der du Suchmaschinen-Crawlern sagen kannst, welche Bereiche sie sich sparen sollen. Zumindest in der Theorie, denn daran halten sich nur die seriösen Bots. Spam-Bots interessiert das nicht.
Was die robots.txt kann und was nicht
Der wichtigste Satz zu diesem Thema, und der wird ständig missverstanden:
Die robots.txt steuert das Crawling, nicht die Indexierung. Ein Eintrag dort verhindert nicht, dass eine Seite bei Google auftaucht.
Daniel Weihmann
Wer eine Seite sperrt, sagt damit nur: Ruf sie nicht ab. Kennt Google die Adresse über einen Link von woanders, kann sie trotzdem im Index landen, dann eben ohne Inhaltsangabe. Wer wirklich verhindern will, dass etwas in der Suche erscheint, braucht ein noindex im Quelltext oder bei Dateien den X-Robots-Tag im Header.
Und der Widerspruch, in den viele hineinlaufen: Wer eine Seite gleichzeitig in der robots.txt sperrt und mit noindex versieht, hebt sich die Wirkung selbst auf. Der Bot darf nicht nachsehen und erfährt das noindex nie.
Wie viel bringt sie fürs Ranking?
Wenig. Der Verweis auf die Sitemap hat noch Bedeutung, vor allem für Suchmaschinen, bei denen du keine Webmaster-Tools eingerichtet hast. Bei sehr großen Seiten kann es sinnvoll sein, unnötige Bereiche vom Crawling auszunehmen, damit sich der Bot auf das Wesentliche konzentriert.
Bei einer normalen Firmenseite mit fünfzig Unterseiten ist beides nicht der Rede wert. Was ich dagegen regelmäßig sehe, sind Fehler.
Keine robots.txt ist besser als eine falsche. Ich habe Seiten gesehen, die sich damit selbst ausgesperrt haben.
Daniel Weihmann
Der Fehler, der heute richtig teuer wird
Seit ein paar Jahren kursieren Anleitungen, man solle die Crawler der KI-Anbieter aussperren, damit „niemand die Inhalte klaut“. Manche Sicherheits-Erweiterungen tragen so etwas sogar ungefragt ein.
Für einen Betrieb, der gefunden werden will, ist das ein Eigentor, sobald dabei die Such-Crawler mitgesperrt werden. Die Anbieter trennen beides: GPTBot und ClaudeBot sammeln Inhalte für das Training der Modelle, OAI-SearchBot und Claude-SearchBot holen sie für die Suche in ChatGPT und Claude, und PerplexityBot für die Suche bei Perplexity. Wer die Such-Crawler sperrt, kann in den Antworten dieser Systeme nicht als Quelle vorkommen, und dorthin verlagert sich gerade ein Teil der Suche. Ob du das Training erlauben willst, ist eine eigene Entscheidung.
Wer die Such-Crawler der KI-Anbieter aussperrt, verschwindet aus den Antworten, in denen die Leute künftig suchen. Das ist keine Schutzmaßnahme, das ist ein Rückzug.
Daniel Weihmann
Deshalb prüfe ich bei jeder Seite, die ich übernehme, als Erstes die robots.txt auf solche Einträge. Mehr dazu unter KI-Suche.
Unsicher, ob deine robots.txt etwas blockiert?
Schick mir die Adresse deiner Seite. Ich prüfe, ob die Datei Seiten aussperrt, die gefunden werden sollen, und korrigiere sie.
Was bei WordPress hineingehört
Wenig, und genau das ist der Punkt:
# Pfad zur Sitemap
Sitemap: https://www.example.com/sitemap.xml
# Werbe-Crawler von Google alles sehen lassen, wenn AdSense läuft
User-agent: Mediapartners-Google
Disallow:
# Standard für WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpDer Verweis auf die Sitemap darf mehrfach vorkommen, wenn du mehrere hast. Die Ausnahme für admin-ajax.php ist wichtig, weil viele Erweiterungen darüber im Vordergrund arbeiten und Google sonst Bausteine deiner Seiten nicht laden kann.
Was du nicht sperren solltest, obwohl es früher in vielen Anleitungen stand: /wp-includes/, /wp-content/themes/ und alles, worin CSS- und JavaScript-Dateien liegen. Google will Seiten so sehen wie ein Besucher. Wer die Gestaltungsdateien sperrt, bekommt in der Search Console Meldungen über nicht nutzbare Seiten.
Wie du sie bei WordPress anlegst
Ein Plugin brauchst du dafür nicht. WordPress erzeugt eine virtuelle robots.txt automatisch, sobald keine echte Datei vorhanden ist. Legst du eine echte Datei ins Wurzelverzeichnis, hat diese Vorrang.
Ich lege sie als echte Datei an, weil sie dann versionierbar ist und nicht plötzlich anders aussieht, weil ein Plugin sich eingemischt hat. Prüfen kannst du das Ergebnis, indem du deinedomain.de/robots.txt im Browser aufrufst, und anschließend in der Search Console unter den Einstellungen, wo Google zeigt, welche Fassung ihm vorliegt.
Ein Wort zur Sicherheit
Die robots.txt ist öffentlich lesbar. Wer dort Verzeichnisse einträgt, die niemand kennen soll, veröffentlicht deren Existenz. Ein Admin-Bereich oder ein Kundenordner gehört durch ein Passwort geschützt, nicht durch eine Zeile, die jeder aufrufen kann. Wie ich WordPress-Seiten absichere, steht bei WordPress: Wartung und Rettung.