Das Unternehmen kündigte auf seinem Webmaster-Blog an, dass es ab dem 1. September 2019 einige Anweisungen in der Robots.txt nicht mehr unterstützten wird. Als Begründung gab Google an, dass diese zu selten genutzt wurden.
Diese Anweisungen werden vom Google Bot nicht mehr beachtet
- Noindex
- Nofollow
- Crawl-delay
„Im Interesse der Aufrechterhaltung eines gesunden Ökosystems und der Vorbereitung auf potenzielle zukünftige Open-Source-Releases stellen wir am 1. September 2019 alle Codes, die mit nicht unterstützten und unveröffentlichten Regeln (z.B. noindex) umgehen, zurück. Für diejenigen unter Ihnen, die sich auf die noindex-Indexierungsanweisung in der Datei robots.txt verlassen haben, die das Crawlen steuert, gibt es eine Reihe von Alternativen Optionen“, sagte das Unternehmen.
Als Alternative hat Google folgende Liste mit weiteren Indexierungs-Optionen zusammengestellt, welche sowieso bereits hätten benutzt werden sollen:
- Noindex in Roboter-Meta-Tags: Für den Fall, dass Crawling zulässig ist, ist es der einfachste Weg die noindex-Direktive zu verwenden. Diese wird neben den http-response-Headern auch im HTML unterstützt.
- HTTP-Statuscodes 404 und 410: Da diese beiden Codes bedeuten, dass es die Seite nicht mehr gibt, werden die URLs beim nächsten Crawling von Google entfernt, beziehungsweise aus dem Index gelöscht.
- Passwortgeschützte Seiten: Um eine Seite aus dem Google-Index zu löschen, wird diese hinter einem Login versteckt. Dies ist jedoch nur der Fall, wenn kein Markup für Abonnement- oder Paywalled-Content genutzt wird.
- Search Console URL-Tool nutzen: Bei diesem Tool handelt es sich um eine Möglichkeit, eine URL auf einfache Weise eine Zeit lang bei Google in den Suchergebnissen zu löschen. Sobald Sie das Tool starten und auf „entfernen“ klicken, wird die URL umgehend entfernt
Wie muss ich nun vorgehen?
Stellen Sie zunächst sicher, dass Sie die noindex-Direktive in robots.txt nicht benutzen. Verwenden Sie diese, dann sollten Sie die von Google vorgeschlagenen Optionen als Alternative für den 1. September einrichten. Überprüfen Sie zuerst, ob Sie Befehle wie crawl-delay oder nofollow nutzen und ändern diese auf die von Google unterstützten Anweisungen.
Schreibe einen Kommentar