Crawling und Indexierung - Die Basis für SEO

Bevor eine Seite ranken kann, muss sie gefunden, verstanden und aufgenommen werden. Klingt selbstverständlich, scheitert aber überraschend oft. Wenn Inhalte trotz guter Qualität unsichtbar bleiben, liegt die Ursache meist hier. So verstehst du die drei Schritte und behebst typische Probleme.

Die drei Phasen im Überblick

Der Weg einer Seite in die Suchergebnisse besteht aus drei getrennten Schritten. Sie werden häufig vermischt, obwohl an jeder Stelle etwas anderes schiefgehen kann.

Crawling bedeutet, dass ein Bot deine URL aufruft und den Quelltext lädt. Voraussetzung ist, dass er die Adresse kennt und darauf zugreifen darf.

Rendering bedeutet, dass der Inhalt ausgeführt und dargestellt wird – inklusive JavaScript. Erst danach weiss die Suchmaschine, was tatsächlich auf der Seite steht.

Indexierung bedeutet, dass die Seite in den Datenbestand aufgenommen und für Suchanfragen berücksichtigt wird. Das ist eine Entscheidung, keine Automatik: Nicht alles, was gecrawlt wird, landet auch im Index.

Wer diese Trennung verinnerlicht, findet Fehler deutlich schneller. Eine Seite kann problemlos crawlbar und trotzdem nicht indexiert sein – und umgekehrt.

Wie Google deine Seiten überhaupt findet

Neue URLs werden auf drei Wegen entdeckt: über interne Links, über externe Links und über die XML-Sitemap.

Der stärkste Weg ist die interne Verlinkung. Eine Seite, auf die niemand verlinkt, wird selten besucht, selbst wenn sie in der Sitemap steht. Die Sitemap ist ein Hinweis, keine Garantie.

Halte deine Sitemap deshalb sauber: Nur indexierbare, funktionierende URLs im finalen Zustand gehören hinein. Weiterleitungen, Fehlerseiten und Seiten mit noindex haben dort nichts verloren – sie senden widersprüchliche Signale und kosten Vertrauen in die Datei.

Crawl-Budget: für wen es zählt

Der Begriff wird oft überbewertet. Für Websites mit einigen hundert oder tausend Seiten ist Crawl-Budget praktisch nie das Problem.

Relevant wird es bei sehr grossen Projekten – Shops mit zehntausenden Produkten, Portalen, Seiten mit vielen Parameterkombinationen. Dort entscheidet die Frage, wofür ein Bot seine begrenzte Zeit aufwendet.

Die grössten Verschwender sind fast immer dieselben: Filter- und Sortierparameter, die endlose URL-Varianten erzeugen. Interne Suchergebnisseiten. Kalender- und Paginierungsstrukturen ohne Ende. Ketten von Weiterleitungen. Und Seiten mit sehr langsamer Antwortzeit, die den Bot ausbremsen.

Wenn du an dieser Stelle aufräumst, verbessert sich meist auch das Crawling der wichtigen Seiten.

Die Steuerungsinstrumente und ihre Grenzen

Vier Werkzeuge tauchen immer wieder auf – und werden regelmässig verwechselt.

robots.txt verhindert das Crawling, nicht die Indexierung. Eine gesperrte URL kann trotzdem im Index landen, wenn sie verlinkt ist – dann allerdings ohne Inhalt. Nutze robots.txt, um Crawl-Ressourcen zu lenken, nicht um Inhalte aus dem Index zu halten.

noindex verhindert die Indexierung, setzt aber voraus, dass die Seite gecrawlt werden darf. Der häufigste Fehler überhaupt: eine Seite gleichzeitig per robots.txt sperren und mit noindex versehen. Die Anweisung wird dann nie gelesen.

Canonical ist ein Hinweis, welche von mehreren ähnlichen URLs die massgebliche ist. Es ist eine Empfehlung, keine Anweisung – Google kann sich anders entscheiden, besonders wenn die Signale widersprüchlich sind.

Weiterleitungen übertragen Nutzende und Signale auf eine andere Adresse. Vermeide Ketten über mehrere Stationen und leite immer möglichst direkt auf das endgültige Ziel.

Typische Ursachen für Indexierungsprobleme

Wenn Seiten nicht im Index landen, findest du die Erklärung meist im Bericht zur Indexierung in der Search Console. Diese Muster kommen besonders häufig vor:

• «Gecrawlt – zurzeit nicht indexiert». Google kennt die Seite, hält sie aber nicht für wertvoll genug. Meist ein Qualitäts- oder Dublettenproblem, kein technisches.

• «Gefunden – zurzeit nicht gecrawlt». Die URL ist bekannt, wurde aber noch nicht besucht. Häufig bei grossen Projekten mit schwacher interner Verlinkung.

• «Alternative Seite mit richtigem kanonischem Tag». Google hat eine andere Version bevorzugt. Prüfe, ob das gewollt ist.

• «Durch robots.txt blockiert». Selbsterklärend – und meist ein Versehen aus dem Staging-System.

Der erste Punkt ist der wichtigste. Er ist selten ein Fehler, den man technisch behebt. Er ist ein Hinweis darauf, dass die Seite in ihrer aktuellen Form keinen eigenständigen Wert bietet.

JavaScript: eine besondere Fehlerquelle

Wenn zentrale Inhalte erst nach dem Ausführen von JavaScript erscheinen, entstehen Verzögerungen und Ausfälle. Das Rendering findet nicht immer sofort statt, und was dabei nicht geladen wird, existiert für die Suchmaschine nicht.

Prüfe im Zweifel mit der URL-Prüfung in der Search Console, welchen Inhalt Google tatsächlich sieht. Sind Navigation, Haupttext oder interne Links dort nicht vorhanden, hast du eine Ursache gefunden.

Als Faustregel: Alles, was für Ranking und Verständnis zentral ist, sollte serverseitig ausgeliefert werden.

Dubletten erkennen und auflösen

Ein grosser Teil der Indexierungsprobleme geht auf nahezu identische Inhalte zurück. Google wählt dann eine Version aus – nicht zwingend die, die du bevorzugst.

Typische Quellen sind Produktvarianten mit eigener URL, Seiten über mehrere Kategoriepfade, Druckansichten und URLs mit Tracking-Parametern.

Die Lösung liegt selten in einem einzelnen Tag, sondern in Konsistenz: Verlink intern immer nur die bevorzugte Version, setz das Canonical selbstreferenzierend auf ebendiese und sorg dafür, dass Sitemap und interne Links dieselbe Adresse nennen. Widersprechen sich diese Signale, entscheidet Google eigenständig – und meist anders als gewünscht.

Eine Routine für den Alltag

Prüfe einmal im Monat drei Dinge: die Entwicklung der indexierten Seiten, neue Fehlermeldungen im Indexierungsbericht und die Anzahl der URLs in deiner Sitemap im Verhältnis zu den tatsächlich indexierten.

Grosse Abweichungen zwischen diesen Zahlen sind das nützlichste Frühwarnsignal, das du bekommen kannst – meist deutlich bevor sich der Traffic verändert.

Wenn eine wichtige Seite fehlt

Für den Einzelfall gibt es ein pragmatisches Vorgehen. Prüfe die URL zuerst mit der URL-Prüfung in der Search Console – sie sagt dir, ob die Seite bekannt ist, ob sie gecrawlt wurde und was einer Indexierung entgegensteht.

Kontrolliere danach der Reihe nach: robots.txt, Meta-Robots-Tag, Canonical, Weiterleitungen, Statuscode. Meist findest du hier die Antwort.

Erst wenn technisch alles sauber ist, geht es um Inhalt und Verlinkung. Dann lauten die Fragen: Gibt es diese Information auf deiner Seite schon anderswo? Ist die Seite intern gut angebunden? Bietet sie etwas, das andere Ergebnisse nicht bieten? Die manuelle Indexierungsanfrage hilft dabei nur kurzfristig – sie ersetzt keine Ursachenbehebung.

Fazit

Crawling und Indexierung sind keine Spezialdisziplin für Technikbegeisterte, sondern die Voraussetzung dafür, dass alle anderen Massnahmen überhaupt wirken.

Sorg für kurze Klickwege und saubere interne Verlinkung. Verwechsle nicht robots.txt mit noindex. Und wenn Seiten nicht indexiert werden, frag zuerst nach dem Wert der Seite, bevor du technische Ursachen suchst – in den meisten Fällen liegt die Antwort dort.

Quelle: Searchengineland.com