Robots Refresher 2025 – Empfehlungen von John Mueller & Martin Splitt, Google Search Relations-Team
Die Steuerung der Indexierung und Sichtbarkeit Ihrer Website bleibt ein zentrales Element einer nachhaltigen SEO-Strategie. In dieser Sonderausgabe der Robots Refresher-Reihe geben John Mueller und Martin Splitt, beide aus dem Google Search Relations-Team, konkrete Empfehlungen zur optimalen Nutzung der robots.txt-Datei sowie der Möglichkeiten auf Seitenebene wie Robots-Meta-Tags und X-Robots-Tag-HTTP-Header.
Teil 1: robots.txt – das flexible Werkzeug zur Steuerung des Crawlings
Die robots.txt-Datei ist ein seit über 30 Jahren bewährtes Werkzeug für Websiteinhaber, unterstützt von Suchmaschinen und Crawler-Betreibern weltweit. Sie legt fest, welche Bereiche einer Website von Bots gecrawlt werden dürfen und welche nicht.
Erste Schritte mit robots.txt
Erstellen Sie eine einfache Textdatei namens robots.txt und laden Sie diese in das Stammverzeichnis Ihrer Website hoch. In den meisten CMS gibt es hierfür eigene Einstellmöglichkeiten oder Plugins.
Beispiel: Ausschluss des Warenkorb-Bereichs für alle Bots:
user-agent: * disallow: /cart
Konkretere Regeln
- Mehrere Bots steuern:
user-agent: examplebot user-agent: otherbot disallow: /search
- Bestimmten Bot anweisen, Dateitypen zu meiden:
user-agent: documentsbot disallow: *.pdf
- Erlauben und verbieten in Kombination:
user-agent: documentsbot allow: /blog/ disallow: /blog/drafts/
- Bot-spezifische Regeln für Teile der Seite:
user-agent: * allow: / user-agent: aicorp-trainer-bot disallow: / allow: /$
- Kommentare für spätere Nachvollziehbarkeit:
# I don't want bots in my highschool photos user-agent: * disallow: /photos/highschool/
Praktische Umsetzung
Nutzen Sie CMS-Plugins oder eigene Editierfunktionen. Nach Änderungen sollten Sie immer testen – es gibt kostenlose Tools wie den robots.txt-Tester von TametheBots oder Open-Source-Parser, um Ihre Datei auf Fehler zu prüfen.
Teil 2: Seitenebene – Meta-Robots-Tags & X-Robots-Tag-HTTP-Header
Die robots.txt-Datei eignet sich hervorragend für die Grobsteuerung, doch für präzisere Kontrolle sind Meta-Tags und HTTP-Header das Mittel der Wahl. John Mueller empfiehlt dringend, beide Methoden zu kombinieren, um optimale Ergebnisse zu erzielen.
Meta-Robots-Tags
Diese Tags werden direkt im HTML eingebaut und steuern, wie Suchmaschinen Ihre Seite indexieren und Links darauf bewerten.
<meta name="robots" content="noindex, nofollow">
Typische Einsätze:
- Vertrauliche oder interne Seiten
- Vermeidung von Duplicate Content
- Verhindern der Anzeige von Snippets (
nosnippet)
X-Robots-Tag (HTTP-Header)
Für Nicht-HTML-Dokumente wie PDFs oder Bilder bietet sich der X-Robots-Tag an.
X-Robots-Tag: noindex, noarchive
Typische Einsätze:
- Schutz sensibler PDF-Dokumente
- Vermeidung der Bildindexierung
- Temporäre Kampagneninhalte
Vergleich: Wann welchen Mechanismus einsetzen?
| Ziel | Empfohlenes Protokoll |
|---|---|
| Kompletter Verzeichnisschutz | robots.txt |
| Indexierung einzelner Seiten steuern | Meta-Robots-Tag |
| Indexierung von PDFs oder Bildern verhindern | X-Robots-Tag |
| Keine Snippets anzeigen lassen | Meta-Robots-Tag oder X-Robots-Tag |
Handlungsempfehlungen 2025
- Nutzen Sie die robots.txt-Datei, um umfangreiche Bereiche der Website vom Crawling auszuschließen.
- Steuern Sie mit Meta-Robots-Tags einzelne Seiten, insbesondere wenn es um Duplicate Content oder sensible Bereiche geht.
- Verwenden Sie X-Robots-Tag für Dateien ohne HTML, wie PDFs oder Bilder.
- Testen Sie regelmäßig Ihre Einstellungen, mit Tools wie Google Search Console oder speziellen robots.txt-Testern.
- Kombinieren Sie Mechanismen bewusst, um sowohl Breitenwirkung als auch Präzision zu erzielen.
- Dokumentieren Sie Ihre Einstellungen, für klare Nachvollziehbarkeit bei Teammitgliedern oder externen Partnern.
Fazit: Kontrolle auf allen Ebenen
Mit einer durchdachten Kombination aus robots.txt, Meta-Robots-Tags und X-Robots-Tag behalten Sie die volle Kontrolle über Ihre Website-Sichtbarkeit. John Mueller und Martin Splitt empfehlen, die Mechanismen strategisch zu kombinieren, um sowohl allgemeine Regeln als auch spezifische Steuerungen optimal einzusetzen.
Nutzen Sie die Vielfalt der Möglichkeiten, überprüfen Sie regelmäßig Ihre Einstellungen, und passen Sie Ihre Steuerungen an neue Inhalte und SEO-Ziele an. So stellen Sie sicher, dass Suchmaschinen Ihre Website genau so interpretieren, wie Sie es wünschen.
Verfasst auf Grundlage der Empfehlungen von John Mueller & Martin Splitt, Google Search Relations-Team
