Robots.txt erstellen: Syntax und Befehle erklärt

Das Wichtigste auf einen Blick

• Die robots.txt-Datei ist eine Textdatei, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche einer Website sie besuchen dürfen und welche nicht.
• Ihre korrekte Anwendung ist entscheidend, um das Crawling-Budget zu optimieren und unerwünschte Inhalte aus dem Suchmaschinenindex fernzuhalten.
• Die wichtigsten Befehle sind User-agent, Disallow, Allow und Sitemap, welche die grundlegende Steuerung ermöglichen.
• Die Datei muss immer im Stammverzeichnis Ihrer Domain (z.B. www.ihredomain.de/robots.txt) abgelegt werden.
• Fehler in der robots.txt können dazu führen, dass wichtige Seiten nicht indexiert werden oder sensible Informationen öffentlich zugänglich bleiben.
• Experten empfehlen, die robots.txt regelmäßig zu überprüfen und mit der Google Search Console zu validieren.

Ihre Website ist ein digitales Schaufenster, doch nicht jede Ecke soll für jeden sichtbar sein – vor allem nicht für Suchmaschinen. Ohne eine klare Wegweisung kann es passieren, dass Crawler Seiten indexieren, die gar nicht für die Öffentlichkeit bestimmt sind, oder wichtige Inhalte übersehen. Eine falsch konfigurierte oder fehlende robots.txt-Datei kann zu Problemen bei der Indexierung und ineffizienter Nutzung des Crawling-Budgets führen. Doch wie steuert man diese unsichtbaren Besucher effektiv?

Die Antwort liegt in der robots.txt-Datei, einem kleinen, aber mächtigen Werkzeug im Bereich der Suchmaschinenoptimierung (SEO). Mit dieser Datei können Sie spezifische Anweisungen an Webcrawler senden, um zu kontrollieren, welche Teile Ihrer Website sie durchsuchen und indexieren dürfen. Wenn Sie lernen, eine Robots.txt erstellen und ihre Syntax sowie Befehle zu verstehen, gewinnen Sie maßgebliche Kontrolle über die Sichtbarkeit Ihrer Inhalte. In diesem umfassenden Leitfaden erfahren Sie alles Notwendige, um Ihre robots.txt korrekt zu konfigurieren und Ihre SEO-Strategie zu stärken.

Was ist die robots.txt-Datei und warum ist sie entscheidend?

Die robots.txt ist eine einfache Textdatei, die Webmastern die Möglichkeit gibt, Suchmaschinen-Crawlern (Bots) Anweisungen zu geben, welche Bereiche einer Website sie nicht besuchen oder durchsuchen sollen. Sie agiert als eine Art Türsteher, der den Zugang zu bestimmten Verzeichnissen oder Dateien regelt.

Definition und Funktion

Eine robots.txt ist eine Plain-Text-Datei, die im Root-Verzeichnis einer Website abgelegt wird und Anweisungen für Webcrawler enthält. Ihre Hauptfunktion besteht darin, unerwünschte Crawling-Aktivitäten zu unterbinden. Dies ist besonders nützlich, um nicht-öffentliche Bereiche wie Admin-Panels, Warenkorb-Seiten, Entwicklungsbereiche oder duplicate content aus dem Index fernzuhalten. Die Datei ist öffentlich zugänglich unter https://www.ihredomain.de/robots.txt. Es ist wichtig zu verstehen, dass die robots.txt keine Seiten aus dem Index entfernt; sie verhindert lediglich, dass Crawler diese Seiten erneut besuchen und deren Inhalt lesen. Um Inhalte aus dem Index zu entfernen, sind noindex-Meta-Tags oder das Entfernungstool in der Google Search Console die richtigen Werkzeuge.

Der Einfluss auf SEO und Crawling-Budget

Die korrekte Konfiguration der robots.txt hat einen direkten Einfluss auf Ihr SEO. Durch das Blockieren unwichtiger oder doppelter Inhalte stellen Sie sicher, dass Crawler ihr Crawl-Budget effizient nutzen. Das Crawl-Budget ist die Anzahl der Seiten, die ein Suchmaschinen-Bot innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlen möchte. Indem Sie Bots von irrelevanten Seiten fernhalten, leiten Sie sie zu Ihren wichtigsten Inhalten. Dies erhöht die Wahrscheinlichkeit, dass Ihre relevanten Seiten schneller gefunden, gecrawlt und indexiert werden, was sich positiv auf Ihre Rankings auswirken kann. Eine optimierte robots.txt ist somit ein grundlegender Baustein für eine erfolgreiche SEO-Strategie.

Praxis-Tipp: Überprüfen Sie regelmäßig die Crawling-Statistiken in der Google Search Console. Eine hohe Anzahl von gecrawlten, aber unwichtigen Seiten kann ein Indiz dafür sein, dass Ihre robots.txt Optimierungspotenzial bietet.

Grundlegende Syntax: User-agent, Disallow und Allow

Das Herzstück jeder robots.txt-Datei sind die Direktiven User-agent, Disallow und Allow. Sie bilden die Grundlage für die Kommunikation mit den Crawlern.

Der User-agent Befehl

Der User-agent Befehl identifiziert den spezifischen Crawler, für den die nachfolgenden Anweisungen gelten sollen. Er ist der erste Befehl in jedem Anweisungsblock.

Syntax: User-agent: [Crawler-Name]

Beispiel:

User-agent: Googlebot
Disallow: /private/

In diesem Beispiel gelten alle folgenden Disallow- oder Allow-Anweisungen nur für den Googlebot. Einige der bekanntesten User-agents sind:

• Googlebot: Googles Standard-Webcrawler
• Bingbot: Microsofts Bing-Crawler
• DuckDuckBot: DuckDuckGos Crawler
• *: Ein Sternchen als Platzhalter (wildcard) bedeutet, dass die Anweisungen für alle Crawler gelten, die keinen spezifischen User-agent-Block haben. Experten empfehlen, einen generischen User-agent: * Block am Ende der Datei zu platzieren, um alle nicht explizit genannten Bots abzudecken.

Der Disallow Befehl

Der Disallow Befehl ist der wichtigste Befehl, um Crawler von bestimmten Pfaden oder Dateien auszuschließen. Er weist den angegebenen User-agents an, einen bestimmten URL-Pfad nicht zu besuchen.

Syntax: Disallow: [Pfad]

Beispiele:

• Disallow: /admin/ (Blockiert das gesamte /admin/ Verzeichnis)
• Disallow: /temp/test.html (Blockiert eine spezifische Datei)
• Disallow: / (Blockiert die gesamte Website – sehr vorsichtig anwenden!)
• Disallow: (Ein leerer Disallow-Befehl bedeutet, dass der Crawler alles crawlen darf.)

Der Disallow-Befehl sollte immer mit einem führenden Schrägstrich / für Pfade beginnen. Wenn Sie ein Verzeichnis blockieren, endet der Pfad ebenfalls mit einem Schrägstrich.

Der Allow Befehl (für Ausnahmen)

Der Allow Befehl ist eine Erweiterung des ursprünglichen Robots Exclusion Standard (RES) und wird hauptsächlich von Google und einigen anderen Suchmaschinen unterstützt. Er ermöglicht es, Ausnahmen von einem Disallow-Befehl zu definieren.

Syntax: Allow: [Pfad]

Beispiel: Angenommen, Sie möchten das gesamte /bilder/ Verzeichnis blockieren, aber ein spezifisches Bild /bilder/logo.png soll indexierbar sein:

User-agent: *
Disallow: /bilder/
Allow: /bilder/logo.png

In diesem Fall überstimmt der Allow-Befehl den Disallow-Befehl für den spezifischen Pfad logo.png. Die Regel, die spezifischer ist, gewinnt in der Regel. Der Allow-Befehl ist besonders nützlich, wenn Sie beispielsweise CSS- oder JavaScript-Dateien in einem eigentlich gesperrten Verzeichnis haben, die für das Rendering der Seite wichtig sind. Laut Google ist das Crawlen von CSS- und JS-Dateien entscheidend für das Verständnis der Seite.

Erweiterte Robots.txt-Befehle und ihre Anwendung

Neben den grundlegenden Anweisungen gibt es weitere Befehle und Muster, die eine feinere Kontrolle über das Crawling ermöglichen.

Der Sitemap Befehl

Der Sitemap Befehl hilft Suchmaschinen, Ihre XML-Sitemap(s) zu finden. Dies ist zwar keine Crawling-Anweisung im herkömmlichen Sinne, aber eine wichtige Information für Suchmaschinen, um alle wichtigen URLs auf Ihrer Website zu entdecken.

Syntax: Sitemap: [URL zur Sitemap]

Beispiel:

User-agent: *
Disallow: /private/
Sitemap: https://www.ihredomain.de/sitemap.xml
Sitemap: https://www.ihredomain.de/bilder-sitemap.xml

Sie können mehrere Sitemap-Anweisungen hinzufügen, wenn Sie mehrere Sitemaps haben (z.B. für Bilder, Videos, Nachrichten). Dies ist eine effiziente Methode, um sicherzustellen, dass Suchmaschinen alle relevanten Seiten Ihrer Website kennen und idealerweise auch die wichtigsten SEO KPIs erfassen.

Wildcards (*) und das Dollarzeichen ($)

Um flexiblere Regeln zu erstellen, können Sie Wildcards (*) und das Dollarzeichen ($) verwenden.

• Sternchen (*) als Wildcard: Der Stern ist ein Platzhalter für eine beliebige Zeichenfolge. Beispiel:

  User-agent: *
  Disallow: /*?param=

  Diese Regel blockiert alle URLs, die den String ?param= enthalten (z.B. /seite.html?param=wert).

  User-agent: *
  Disallow: /kategorie/*/subkategorie/

  Hier werden alle URLs blockiert, die dem Muster /kategorie/beliebiges/subkategorie/ folgen.

• Dollarzeichen ($) für das Ende einer URL: Das Dollarzeichen kennzeichnet das Ende eines Pfades oder einer Dateiendung. Beispiel:

  User-agent: *
  Disallow: /*.pdf$

  Diese Regel blockiert den Zugriff auf alle PDF-Dateien auf der gesamten Website. Ohne das $, würde die Regel auch URLs wie datei.pdf?query=1 blockieren, was unter Umständen nicht gewünscht ist.

  User-agent: *
  Disallow: /seite/$

  Blockiert nur die URL /seite/ selbst, aber nicht /seite/unterseite/.

Die Kombination von Wildcards und dem Dollarzeichen ermöglicht präzise Steuerungsmöglichkeiten, um beispielsweise spezifische Dateitypen oder dynamische URLs auszuschließen.

Praxis-Tipp: Nutzen Sie Wildcards mit Bedacht. Eine zu breite Regel wie Disallow: /*.js könnte essenzielle JavaScript-Dateien blockieren, die für die korrekte Darstellung Ihrer Website unerlässlich sind und von Google zur Bewertung der Benutzerfreundlichkeit gecrawlt werden müssen.

Schritt-für-Schritt: Eine robots.txt-Datei erstellen und implementieren

Das Erstellen und Implementieren einer robots.txt-Datei ist ein relativ einfacher Prozess, erfordert jedoch Genauigkeit, um Fehler zu vermeiden.

Dateistruktur und Speicherort

Die robots.txt-Datei muss eine reine Textdatei sein (kein HTML, kein Rich Text). Sie sollte unter dem Namen robots.txt gespeichert werden, ausschließlich in Kleinbuchstaben.

Speicherort: Die Datei muss im Root-Verzeichnis Ihrer Domain abgelegt werden. Das bedeutet, sie ist direkt unter der Haupt-URL Ihrer Website erreichbar.

• Korrekter Pfad: https://www.ihredomain.de/robots.txt
• Falsche Pfade: https://www.ihredomain.de/blog/robots.txt oder https://www.ihredomain.de/assets/robots.txt

Wenn die Datei nicht am korrekten Speicherort gefunden wird, ignorieren Crawler sie und crawlen die gesamte Website ohne Einschränkungen.

Ein grundlegendes Beispiel für eine robots.txt-Datei:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-login.php
Sitemap: https://www.ihredomain.de/sitemap.xml

Diese Datei blockiert den Zugriff auf WordPress-Admin-Bereiche, CGI-Skripte und die Login-Seite für alle Crawler. Gleichzeitig weist sie auf die Sitemap hin.

Testen und Validieren der robots.txt

Nachdem Sie Ihre robots.txt erstellt und hochgeladen haben, ist es unerlässlich, deren Funktion zu testen.

1. Zugänglichkeit überprüfen: Rufen Sie Ihre robots.txt im Browser auf (https://www.ihredomain.de/robots.txt). Sie sollte sichtbar sein und den von Ihnen erstellten Inhalt anzeigen. Wenn Sie einen “404 Not Found”-Fehler erhalten, ist die Datei nicht korrekt platziert oder benannt.
2. Google Search Console (GSC) verwenden: Die GSC bietet ein Robots.txt-Tester-Tool. Dort können Sie Ihre Datei einfügen oder die auf Ihrer Website vorhandene Datei prüfen lassen. Das Tool zeigt Ihnen an, ob es Syntaxfehler gibt und wie Googlebot bestimmte URLs basierend auf Ihren Regeln behandeln würde.
3. Vorsicht bei Änderungen: Jede Änderung an der robots.txt kann weitreichende Folgen haben. Eine versehentliche Zeile wie Disallow: / kann Ihre gesamte Website aus dem Google-Index entfernen. Gehen Sie daher sorgfältig vor und testen Sie jede größere Änderung.

Praxis-Tipp: Bei der Erstellung oder Bearbeitung der robots.txt immer eine Sicherungskopie der vorherigen Version anlegen. So können Sie bei Problemen schnell zur funktionierenden Version zurückkehren.

Häufig gestellte Fragen

Kann robots.txt Seiten aus dem Google Index entfernen?

Nein, die robots.txt kann Seiten nicht aus dem Google Index entfernen. Ihr Zweck ist es lediglich, Crawlern das Besuchen bestimmter Seiten zu untersagen. Wenn eine Seite bereits indexiert wurde, bleibt sie im Index, auch wenn sie später in der robots.txt blockiert wird. Um eine Seite aus dem Index zu entfernen, müssen Sie ein noindex-Meta-Tag verwenden oder das URL-Entfernungstool in der Google Search Console nutzen.

Wo sollte die robots.txt auf meiner Website platziert werden?

Die robots.txt-Datei muss immer im Stammverzeichnis (Root-Verzeichnis) Ihrer Domain abgelegt werden. Dies bedeutet, sie ist direkt unter Ihrer Haupt-URL erreichbar, zum Beispiel https://www.ihredomain.de/robots.txt. Wenn sie in einem Unterverzeichnis wie /blog/robots.txt platziert wird, wird sie von den meisten Crawlern ignoriert.

Was passiert, wenn ich keine robots.txt-Datei habe?

Wenn Ihre Website keine robots.txt-Datei besitzt, gehen Suchmaschinen-Crawler davon aus, dass sie alle Inhalte Ihrer Website crawlen und indexieren dürfen. Dies kann dazu führen, dass unerwünschte Seiten wie interne Suchergebnisseiten, sensible Admin-Bereiche oder Duplicate Content von Suchmaschinen entdeckt und möglicherweise indexiert werden. Für die meisten Websites ist es empfehlenswert, eine robots.txt zu erstellen, auch wenn sie nur eine Sitemap-Direktive enthält.

Sind robots.txt-Anweisungen bindend für alle Suchmaschinen?

Nein, robots.txt-Anweisungen sind nicht bindend für alle Suchmaschinen oder Bots. Sie sind eine Empfehlung, der sich die meisten seriösen Suchmaschinen wie Google, Bing oder DuckDuckGo halten. Bösartige Bots oder Spam-Crawler ignorieren die robots.txt jedoch oft. Daher sollten Sie keine hochsensiblen Informationen ausschließlich durch die robots.txt schützen. Für echten Schutz sind serverseitige Authentifizierung oder noindex-Tags besser geeignet.

Wie oft sollte ich meine robots.txt überprüfen und aktualisieren?

Experten empfehlen, Ihre robots.txt-Datei bei größeren Änderungen an der Website-Struktur, beim Hinzufügen neuer Bereiche oder vor der Veröffentlichung umfangreicher neuer Inhalte zu überprüfen und anzupassen. Auch bei Änderungen Ihrer SEO-Strategie oder wenn Sie Probleme mit dem Crawling-Budget feststellen, ist eine Überprüfung sinnvoll. Eine jährliche oder halbjährliche Routineprüfung kann ebenfalls helfen, Fehler oder veraltete Regeln zu identifizieren und die Effizienz des Crawlings zu gewährleisten.

Fazit

Die robots.txt-Datei mag auf den ersten Blick unscheinbar wirken, doch ihre Bedeutung für die Suchmaschinenoptimierung ist immens. Durch das präzise Steuern von Suchmaschinen-Crawlern mit Befehlen wie User-agent, Disallow und Allow optimieren Sie nicht nur Ihr Crawling-Budget, sondern stellen auch sicher, dass Ihre wichtigsten Inhalte die Aufmerksamkeit erhalten, die sie verdienen. Eine korrekt implementierte und regelmäßig gewartete robots.txt verhindert unerwünschte Indexierungen und trägt maßgeblich zu einer gesunden Website-Architektur bei.

Denken Sie daran: Die robots.txt ist keine Sicherheitsfunktion, sondern ein Werkzeug zur Steuerung der Crawler-Aktivität. Beginnen Sie noch heute damit, Ihre Robots.txt erstellen und optimieren Sie die Kommunikation mit Suchmaschinen. Überprüfen Sie Ihre aktuelle Datei, nutzen Sie die Google Search Console für Validierungen und stellen Sie sicher, dass Ihre Website optimal für die Indexierung aufgestellt ist.