Was sind Robots-Meta-Tags?

Robots-Meta-Tags unterstützen und vereinfachen die Kommunikation von Webseiten mit Suchmaschinen. Sie stellen eine Art Handlungsanweisung für die sogenannten Suchmaschinencrawler dar. Vereinfacht gesagt, teilen sie den Crawlern mit, was sie dürfen und was nicht. Zu den sicherlich am häufigsten verwendeten Tags gehören das “nofollow”- und das “noindex”-Tag. Wir werden aber nicht nur auf diese beiden, sondern auch auf das “nosnippet”-Tag, den X-Robots-Tag und darauf eingehen, warum das “noarchive”-Tag für Google keine Rolle mehr spielt.

Nofollow-Tag

Aufgrund der Tatsache, dass Links von Suchmaschinenen wie Google bewertet werden, wird ihnen ein hoher Stellenwert beigemessen. Wenn ein Link auf “nofollow” gesetzt wurde, hat dies keinen negativen Einfluss auf die Bewertung einer Webseite. Mit dem “nofollow”-Attribut teilt der Webmaster Google mit, dass er für den verlinkten Inhalt nicht bürgen will und die Suchmaschine dem Link nicht folgen soll.

Möglichkeit 1: Man kennzeichnet einen einzelnen Link

Möglichkeit 2: Man kennzeichnet alle Links einer Webseite

Für den ersten Fall setzt man das “nofollow”-Attribut direkt in den betreffenden Link. Beispielsweise so:

<a href="https://www.beispiel.de/seite" rel="nofollow">Beispielseite</a>

Seit September 2019 gibt es zwei weitere Werte: rel="sponsored" für bezahlte Links und Werbung, rel="ugc" für Links aus Kommentaren und Forenbeiträgen. Bezahlte Links müssen laut Googles Spam-Richtlinien mit “sponsored” oder “nofollow” gekennzeichnet sein, sonst gelten sie als Linkspam. Und seit dem 1. März 2020 behandelt Google alle drei Werte nur noch als Hinweis, nicht mehr als strikte Anweisung — in aller Regel folgt Google solchen Links nicht, behält sich das aber vor.

Für den zweiten Fall, sprich alle Links einer Seite, verwendet man <meta name="robots" content="nofollow"> im Head-Bereich.

Tipp: Beim Setzen von Links auf einen inhaltsbezogenen Ankertext achten, da dieser das Userverhalten positiv beeinflussen kann. Nicht einfach “plump” das Keyword verwenden, mit dem du bei Google ranken möchtest.

Noindex-Tag

Durch Setzen des “noindex”-Tags können Webmaster Suchmaschinen verbieten, die Webseite zu indexieren, sprich in den Index mit aufzunehmen. Dazu muss im <head>-Bereich des Quelltextes einer Seite bzw. Unterseite, die nicht indexiert werden soll, das “noindex”-Tag gesetzt werden. Dies sieht wie folgt aus:

<meta name="robots" content="noindex">

Möchte man verhindern, dass nur der Crawler von Google, der Googlebot, eine Seite indexiert, ersetzt man den Meta-Namen “robots” durch “googlebot”. Dies sieht wie folgt aus:

<meta name="googlebot" content="noindex">

Zwei Fallstricke, die in der Praxis immer wieder vorkommen:

• “noindex” gehört nicht in die robots.txt. Google wertet diese Schreibweise seit dem 1. September 2019 nicht mehr aus. Wer eine ganze Webseite aus dem Index halten will, setzt das Tag auf jeder Seite oder nutzt den X-Robots-Tag (siehe unten).
• “noindex” und robots.txt-Sperre schließen sich aus. Ist eine Seite per robots.txt gesperrt, sieht Google das Meta-Tag nie — und kann die Seite trotzdem anzeigen, etwa wenn sie von anderen Seiten verlinkt wird. Die Seite muss also crawlbar bleiben.

Laut Google ist es möglich, dass andere Suchmaschinen das “noindex”-Tag unterschiedlich interpretieren und man weiterhin in deren Index gelistet ist und somit in den SERP’s erscheint.

Nosnippet-Tag

Snippets, zu deutsch Schnipsel, sind die Texte unterhalb des Links bei den Suchergebnissen.

Dieser Text gibt, soweit er gut verfasst ist, eine kurze Vorschau auf den Inhalt der Seite. Klickzahlen beweisen, dass Seiten mit Snippets häufiger geklickt werden als welche, die ohne Snippet angezeigt werden. Insofern sollte man grundsätzlich eine passende Meta-Descripiton zum Inhalt der Seite verfassen. Sofern eine Meta-Description angegeben ist, wird dieser auch in aller Regel als Snippet verwendet. Snippets schaffen Vertrauen, steigern die Aufmerksamkeit und beeinflussen die “Klick-Entscheidung” des Users positiv.

Wenn man als Webmaster aber verhindern möchte, dass dieses Snippet angezeigt wird, muss man im head-Bereich des Quelltextes das “nosnippet”-Tag platzieren. Dies sieht dann wie folgt aus:

<meta name="robots" content="nosnippet">

Wer das Snippet nicht komplett abschalten, sondern nur begrenzen will, hat heute feinere Werkzeuge: max-snippet:[Zeichenzahl] beschränkt die Länge des Textauszugs, max-image-preview:[none|standard|large] die Größe der Bildvorschau und max-video-preview:[Sekunden] die Länge einer Videovorschau. Die drei Anweisungen lassen sich kombinieren, zum Beispiel content="max-snippet:160, max-image-preview:large".

Noarchive-Tag — heute ohne Wirkung bei Google

Das “noarchive”-Tag verhinderte früher, dass Google eine Kopie der Seite im Cache speichert und über den Link „Im Cache“ anbietet. Diesen Cache-Link gibt es nicht mehr: Google hat ihn Anfang 2024 aus den Suchergebnissen entfernt und im September 2024 auch den cache:-Operator abgeschaltet. In der offiziellen Dokumentation führt Google “noarchive” deshalb als Anweisung, die von der Google-Suche nicht mehr verwendet wird. Vorhandene Tags schaden nicht, neu setzen muss man sie nicht.

Weitere Anweisungen und der X-Robots-Tag

Google kennt noch weitere Werte, etwa noimageindex (Bilder der Seite nicht indexieren), notranslate (keine Übersetzung anbieten) und unavailable_after: mit einem Datum, ab dem die Seite nicht mehr angezeigt wird. Alle Anweisungen funktionieren auch als HTTP-Header, zum Beispiel X-Robots-Tag: noindex — der einzige Weg, PDF-Dateien oder Bilder aus dem Index zu halten. Auch hier gilt: Die Datei muss crawlbar sein, sonst sieht Google den Header nicht.

Fazit

Robots-Meta-Tags dienen Deiner Webseite als Kommunikationsmittel mit den verschiedenen Webcrawlern. Je nach Strategie und Notwendigkeit kann man Artikel oder Links für Google zugänglich machen oder nicht. Die wichtigsten Regeln von heute: “noindex” nie in der robots.txt, bezahlte Links als “sponsored” kennzeichnen, “noarchive” kann man sich sparen. Die Robots-Meta-Tags sind somit ein wichtiges Vehicle im Umgang mit Google.