Crawler

Ein Crawler ist ein Programm, das das Internet automatisch durchsucht und Webseiten analysiert. Crawler werden häufig von Suchmaschinen eingesetzt, um neue Seiten zu finden und ihren Inhalt zu erfassen. Ein Abruf ist eine Voraussetzung dafür, dass Google den Seiteninhalt auswertet, aber keine Garantie für die Aufnahme in den Index. Eine URL kann sogar ohne gecrawlten Inhalt als blosse Adresse bekannt werden. Die praktische Steuerung erklärt Crawling steuern.

Wie funktioniert ein Crawler?

Ein Crawler folgt Links von Seite zu Seite und liest dabei die Inhalte aus. Die abgerufenen Inhalte können danach verarbeitet werden. Wann eine bekannte URL erneut abgerufen und ob sie indexiert wird, entscheidet die Suchmaschine getrennt.

Wozu dienen Crawler?

Crawler bilden die Grundlage für Suchmaschinen, indem sie Inhalte erfassen und für die Indexierung vorbereiten. Links und Sitemaps helfen Crawlern, URLs zu entdecken. Du kannst eine wichtige Seite über echte HTML-Links erreichbar machen; eine garantierte Indexierung folgt daraus nicht.

Crawler und SEO

Damit eine Seite gefunden wird, muss sie für Crawler erreichbar und verständlich sein. Eine klare Struktur und gute interne Verlinkung erleichtern das Crawling. Das unterstützt die Entdeckung, während Indexierbarkeit und Inhalt separat zu prüfen sind.

Wie steuert man Crawler?

Über bestimmte Anweisungen lässt sich festlegen, welche Bereiche ein Crawler besuchen darf. So lassen sich unwichtige Seiten ausschliessen. Eine durchdachte Steuerung hilft, das Crawling sinnvoll zu lenken. Für kooperierende Crawler können robots.txt-Regeln den Abruf bestimmter Bereiche begrenzen; sie sind kein Zugangsschutz und keine sichere noindex-Anweisung.

 

Verwandte Begriffe: Indexierung und Googlebot.