Robots.txt in 2025: Der ultimative Praxis-Guide für DACH-Websites

Kurz auf den Punkt: Die robots.txt steuert das Crawling – nicht die Indexierung. Wer sie klug nutzt, spart Crawl-Budget, schützt sensible Bereiche und sorgt für stabile Rankings. Wer sie falsch einsetzt, riskiert massive Sichtbarkeitsverluste.

Warum du das jetzt lesen solltest

• Crawl-Budget ist endlich: Besonders bei großen Shops mit Filter- und Parameter-URLs.
• Rendering zählt: Blockierte CSS/JS-Dateien zerstören Googles Seitenverständnis.
• Risikofaktor Deployments: Ein versehentliches Disallow: / kann über Nacht alles stoppen.
• DACH-Spezialfälle: Subdomains, Subdirectories und HTTPS-Redirects sorgen oft für Chaos.

Was robots.txt kann – und was nicht

Kann:

• Crawlern konkrete Pfade erlauben oder verbieten
• Auf Sitemaps verweisen
• Unnötige Crawls vermeiden

Kann nicht:

• Seiten aus dem Index entfernen (dafür noindex nutzen)
• Schutz bieten – dafür braucht es Logins oder Firewalls

3 praxiserprobte Vorlagen

1. WordPress / WooCommerce

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /feed/
Disallow: /*?*utm_*
Disallow: /*?*gclid=*
Disallow: /*?*fbclid=*
Sitemap: https://www.deinedomain.de/sitemap_index.xml

Tipp: CSS/JS-Dateien niemals blockieren – sie sind essenziell für Googles Rendering.

2. Publisher & News-Seiten

User-agent: *
Disallow: /suche/
Disallow: /?s=
Disallow: /tag/
Disallow: /*?*utm_*
Disallow: /*?*fbclid=*
Sitemap: https://www.deinezeitung.de/sitemap_index.xml

Hinweis: Archive können wertvoll sein – pauschale Sperren vermeiden, lieber gezielt kuratieren.

3. SaaS / Docs / Knowledge Base

User-agent: *
Disallow: /_next/
Disallow: /static/cache/
Disallow: /preview/
Disallow: /drafts/
Disallow: /*?*utm_*
Disallow: /*?*ref=*
Sitemap: https://www.deinesaas.com/sitemap.xml

Mehrsprachige Websites & Subdomains

• Jede Subdomain braucht ihre eigene robots.txt (z. B. shop.domain.de und www.domain.de).
• Auch HTTP und HTTPS benötigen jeweils eigene Dateien.
• Wenn du regionale Verzeichnisse nutzt (z. B. /de/, /ch/), schreibe Regeln so, dass sie nicht ganze Sprachversionen blockieren.

Staging-Umgebungen absichern

Verwende niemals Disallow: / für Staging! Nutze stattdessen einen Passwortschutz (Basic Auth) oder X-Robots-Tag: noindex in den Headern.

Automatisierte Checks vor jedem Deployment

• Prüfe, ob robots.txt auf allen Hosts vorhanden ist.
• Warnung, wenn Disallow: / im Pull Request auftaucht.
• Teste nach jedem Deploy, ob CSS/JS abrufbar sind.
• Verifiziere, dass robots.txt einen 200-Status liefert – kein Redirect, kein 404.

Parameter-Management gegen Crawl-Waste

Parameter wie UTM-Tags, Sortierungen oder Session-IDs fressen wertvolles Crawl-Budget. Blockiere nur, was keinen Mehrwert liefert – nie pauschal.

Disallow: /*?*utm_*
Disallow: /*?*fbclid=*
Disallow: /*?*sort=*
Disallow: /*?*session=*

Typische Fehler & schnelle Lösungen

• „URL ohne Snippet“ in den SERPs? – Seite ist blockiert, aber extern verlinkt. Entferne das Disallow oder nutze noindex.
• Nach Relaunch keine Rankings mehr? – Prüfe, ob CSS/JS blockiert oder die Sitemap auf Staging zeigt.
• Crawl-Overload? – Setze gezielte Parameter-Disallows und stärke Sitemaps.

Die 5 größten Missverständnisse

1. Disallow entfernt keine Seite aus Google – nur das Crawling.
2. crawl-delay funktioniert bei Google nicht.
3. Eine Datei gilt nur pro Host (nicht domainübergreifend).
4. Blockierte CSS/JS können die Sichtbarkeit ruinieren.
5. robots.txt ersetzt keine Sicherheitsmaßnahmen.

TL;DR – In 7 Schritten zu einer sauberen robots.txt

1. robots.txt pro Host anlegen.
2. Keine wichtigen Assets blockieren.
3. Parameter gezielt eindämmen.
4. Sitemaps hinzufügen.
5. Staging per Auth schützen.
6. CI/CD-Checks aktivieren.
7. Server-Logs regelmäßig prüfen.

Fazit: Kleine Datei, große Wirkung

Die robots.txt ist kein SEO-Magic-Trick – aber sie entscheidet darüber, ob Google deine Website effizient versteht oder sich in Parametern verliert. Wer sie bewusst steuert, spart Server-Ressourcen, verbessert die Indexierungsqualität und behält die Kontrolle.

Brauchst du Hilfe bei der Analyse deiner aktuellen robots.txt?
Unser Team bei OceanUp Digital prüft deine Konfiguration und zeigt dir konkrete Optimierungsmöglichkeiten.