Googlebot
Als Googlebot wird der Crawler von Google bezeichnet, der so gut wie alle öffentlich zugänglichen Inhalte bzw. Dokumente des Word Wide Web sammelt, speichert und indexiert. Diese gesammelten Daten nutzt Google, um Suchanfragen mit den entsprechenden Ergebnissen zu beantworten. Wird der Zugriff des Googlebots durch die Webseite nicht verweigert bzw. eingeschränkt, lädt der Googlebot die entsprechende Webseite runter und lädt sie in den Google Index. Hat der Googlebot die Daten gesammelt und gespeichert, dauert es in der Regel ein paar Tage, bis der Google Index aktualisiert wurde.
Die Arbeitsweise des Googlebots
Damit der Googlebot das World Wide Web indexieren kann, greift er auf einen bestimmten Algorithmus zurück. Dieser Algorithmus hilft dem Googlebot dabei, sich innerhalb von Webseiten mit Hilfe interner Verweise zu bewegen und sich somit ein Bild über die Struktur der Webseite zu machen. Der Googlebot folgt aber nicht nur internen, sondern auch externen Verweisen (auch externe Links oder Backlinks genannt). Durch diese Struktur (Seite A verlinkt auf Seite B, Seite B verlinkt auf Seite C usw.) entsteht ein in sich geschlossenes Netz, welches das gesamte Web abbildet.
Googlebot gibt es in zwei Varianten, als Googlebot Smartphone und als Googlebot Desktop. Da Google seit dem Abschluss der Umstellung auf die Mobile-First-Indexierung im Jahr 2023 bei den meisten Websites in erster Linie die mobile Version indexiert, stammt die Mehrheit der Crawling-Anfragen vom mobilen Crawler.
In welchem Intervall der Googlebot die verschiedenen Webseiten indexiert, hängt von verschiedenen Faktoren ab. Ein Faktor ist beispielsweise die Häufigkeit der Aktualisierung einer Webseite. Crawlt der Googlebot eine Webseite und er stellt fest, dass sich im Vergleich zum letzten Crawling keine Veränderung ergeben hat, vergrößert er tendenziell sein Crawlingintervall. Stellt der Googlebot hingegen fest, dass seit dem letzten Crawlingvorgang weitere Inhalte hinzugekommen sind, ist das für den Googlebot ein positives Signal und er crawlt die Seite zukünftig in einem kürzeren Intervall.
Um eine Webseite vor unnötigen Zugriffen seitens des Googlebots zu bewahren, unterstützt die Crawling-Infrastruktur von Google HTTP-Caching: Über Angaben wie ETag oder Last-Modified kann der Server signalisieren, dass sich eine Seite seit dem letzten Abruf nicht verändert hat. Das hat den Vorteil, dass der Webseitenserver weniger belastet und Ressourcen geschont werden. Die gespeicherte Fassung einer Seite, die man früher über den Link „Im Cache“ in den Suchergebnissen aufrufen konnte, bietet Google seit 2024 nicht mehr an.
Googlebot und SEO
Die Absicht hinter der Suchmaschinenoptimierung ist in der Regel immer die Gleiche, man möchte über Suchmaschinen gefunden werden. Die Grundbedingung dafür ist, dass die entsprechende Webseite bei Google im Index gespeichert wurde. Den Grundstein dafür legt der Googlebot, der Tag für Tag das gesamte Web nach neuen bzw. aktualisierten Inhalten durchforstet.
Möchte man als Webseitenbetreiber verhindern, dass der Googlebot die Webseite crawlt, kann man den Zugriff verweigern. Aber nicht nur dem Googlebot kann der Zugriff verwährt werden, sondern auch Bots anderer Suchmaschinen. Möchte man den Googlebot oder aber auch Bots anderer Suchmaschinen den Zugang zur Webseite verwehren, kommt dazu beispielsweise die Robots.txt in Betracht. Dazu müssen in der Robots.txt zwei Dinge angegeben werden. Neben “User-agent: *” muss auch das Attribut “Disallow: /” angegeben werden. Die robots.txt verhindert allerdings nur das Crawling, nicht zwingend die Indexierung: Gesperrte Seiten können trotzdem im Index landen. Soll eine Seite nicht in der Google Suche erscheinen, empfiehlt Google stattdessen die Anweisung noindex oder einen Passwortschutz.
Möchte man den Googlebot ausdrücklich auf eine Seite aufmerksam machen, kann man in der Google Search Console über das URL-Prüftool die Indexierung beantragen. Das wäre z.B. dann sinnvoll, wenn eine Webseite erstmals online geht oder einzelne Bereiche einer Webseite erweitert oder ergänzt wurden. Dafür gilt allerdings ein Kontingent, mehrfache Anträge für dieselbe URL beschleunigen das Crawling nicht, und eine Aufnahme in den Index ist nicht garantiert. Bei vielen neuen oder geänderten URLs empfiehlt Google stattdessen, eine Sitemap einzureichen.