Gute Seiten, schlechte Seiten: Indexierbarkeit und Crawlability

gute seiten, schlechte seitenWelche Unterseiten gehören in den Index? Welche nicht? Und: Wie schließt man „schlechte Seiten“ aus? Das sind sehr häufige Fragen in unserer Bertungs-Praxis – deshalb habe ich auf der SEO Campixx 2015 dazu einen Vortrag gemacht. Hier die Folien und ein paar Erläuterungen.

Warum sollen manche Seiten nicht in den Index?

Grob gesagt: In den Google-Index gehören nur Seiten, die ein gutes Suchergebnis bieten. So gehören z.B. die Ergebnisse der eigenen Seiten-Suche nicht in den Index. Denn sie sind nun mal kein vernünftiges Ergebnis für eine Google-Suche. Oder auch paginierte Seiten. Allerdings sollten die einen (die Suchergebnisse) komplett gesperrt werden, während die anderen zumindest für die darauf verlinkten Seiten wichtig sind. Deshalb werden die paginierten Seiten mit „noindex,follow“ ausgezeichnet. Dann folgt Google zumindest den Links darauf. So einfach so gut.

In meiner Präsentation habe ich für jede mir bekannte Seitenart die Standard-Einstellung dargestellt:

  • Startseite
  • Kategorie-Seiten
  • Detail-Seiten
  • Tag-Seiten / Themenseiten
  • Suchergebnis
  • Facettierte Suche
  • Paginierung
  • AJAX-Zustände
  • Flash
  • Impressum & Co
  • Seitenindex / HTML-Sitemap
  • Bildergalerien
  • Agentur-Meldungen
  • abgelaufene Produkte (in Shops)

Kategorie-Seiten und Facettierte Suche: Problemfälle

Schwierig wird es, und das hat auch der Workshop ergeben, bei Shops mit einer Facettierten Suche (also meist den Produkt-Kategorie-Seiten). Wenn die User also zwischen verschiedenen Attributen (Preis, Farbe, Größe u.s.w.) auswählen können. Denn wenn alle Kombinationen in den Index gehen, können das locker mehrere Millionen sein. Das macht natürlich kein Sinn, da sich die Seiten untereinander kaum unterscheiden und der Unterschied zwischen „Schuhe, rot, Größe 38“ und „Schuhe, rot, Größe 39“ ziemlich gering sind. Hier besteht die Gefahr von „Near Duplicate Content“. „Rote Schuhe“ sind allerdings ein gutes Suchziel.

Deshalb, ganz allgemein, der Tipp: Identifiziere die wichtigen, suchrelevanten Seiten und behandle sie mit „index“. Alle anderen dann per „noindex“ ausschließen. Wichtig hierbei ist allerdings, dass die suchrelevanten Ziele aber auch wirklich per Link (und nicht nur mit einer Javascript-Auswahl) erreichbar sind. Und im Idealfall sind die anderen gar nicht wirklich erreichbar. Dann kann man dem Crawler viel Arbeit sparen.

Wer die sinnvollen Kombinationen nicht wirklch manuell erfassen kann, könnte sich ja mit einer Regel behelfen: Z.B. machen das große Portale häufig so, dass die Auswahl von EINEM Attribut in den Index kommt – eine Kombination von zwei Attributen aber ausgeschlossen wird.

Sonderfall robots.txt

Die robots.txt hat sich im Laufe der letzten Monate stark gewandelt. Um Seiten damit aus dem Index zu halten, ist sie ohnehin nicht wirlich hilfreich. Denn Google nimmt sie zwar auf – aber darf sie nicht crawlen. Das heißt, dass es zu hässlichen Suchergebnissen kommt, in denen jeweils nur zu lesen ist, dass die Seite nicht gecrawlt werden kann. Und da Google ausdrücklich den Zugriff auf Javascript und die CSS-Dateien wünscht, gibt es kaum mehr etwas, was überhaupt in der robots.txt stehen könnte.

Grundsätzlich: Weniger Seiten sind oft mehr Sichtbarkeit

Die Erfahrung in unserer Praxis zeigt immer häufiger, das ein Bereinigen des Index zu einem Sichtbarkeits-Gewinn führt. Denn dann hat der Crawler wirklich Zeit für die wichtigen Seiten und kann diese ordentlich bewerten. Aber Vorsicht: Der Einsatz des Canonical-Tags oder von Weiterleitungen in Kombination mit „noindex“ führt halt dann doch immer wieder zu sinnlosen Zuständen und knockt die eine oder andere Seite gerne mal aus.

Deshalb: Bastelt nicht einfach drauf los, sondern macht über alle Seiten hinweg einen ordentlichen Plan – damit ihr nachher nicht mehr ausschließt, als sinnvoll.

GD Star Rating
loading...
Gute Seiten, schlechte Seiten: Indexierbarkeit und Crawlability, 3.4 out of 5 based on 11 ratings

Eric Kubitz

Eric Kubitz ist einer der Chefs der CONTENTmanufaktur GmbH . Außerdem ist er Redner auf Konferenzen, Dozent bei Hochschulen, schreibt über SEO (und über andere Dinge) und ist der Chefredakteur des SEO-Book.

More Posts - Website - Twitter - Facebook - LinkedIn - Google Plus

Kommentare (8)

  1. Pingback: SEO Campixx - Unser Recap

  2. viktordite

    Meine Kategorien sind die Ranking-stärksten Seiten im Shop. Ich setze aber grundsätzlich ein canonical auf die „ursprüngliche Darstellung“ einer facettierten Suche. Also immer auf den Zustand, den Google sehen würde, wenn es über einen Link käme.

  3. viktordite

    Was mich aber in dem Zusammenhang interessieren würde ist die neue Ankündigung von Google, Themenseiten, kumulierte Facetted Search und Landing Page Seiten stärker in den Fokus nehmen zu wollen und solche penibelst auf das Phänomen „Bridge-Page“ zu untersuchen…

  4. Christian Paavo Spieker
  5. Pingback: Der SEO-Blog-Wochenrückblick KW 13 | SEO Trainee

  6. Pingback: Top 10 der Woche 13/15 - SEO-united.de Blog

  7. orkork

    Einfach spitze Eric! Danke dafür 🙂

  8. Pingback: likri.com

Schreiben Sie einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *