Crawler

Ein Crawler ist ein Programm, das das Internet automatisch durchsucht und Webseiten analysiert. Crawler werden häufig von Suchmaschinen eingesetzt, um neue Seiten zu finden und ihren Inhalt zu erfassen. So gelangen die Seiten in den Index und können in den Suchergebnissen erscheinen. Ohne Crawling bliebe eine Seite für die Suche unsichtbar. Erst das Erfassen macht eine Seite auffindbar. Ohne diesen Schritt bliebe sie unsichtbar.

Wie funktioniert ein Crawler?

Ein Crawler folgt Links von Seite zu Seite und liest dabei die Inhalte aus. Die gesammelten Informationen werden anschliessend verarbeitet und gespeichert. So entsteht nach und nach ein Abbild des Webs. Neue und geänderte Seiten werden dabei laufend erfasst. So bleibt der Index möglichst aktuell. Veraltete Inhalte werden mit der Zeit ersetzt.

Wozu dienen Crawler?

Crawler bilden die Grundlage für Suchmaschinen, indem sie Inhalte erfassen und für die Indexierung vorbereiten. Ohne sie wüssten Suchmaschinen nicht, welche Seiten es gibt. Sie sind damit ein zentraler Baustein der Suche. Erst nach dem Crawling kann eine Seite indexiert werden.

Crawler und SEO

Damit eine Seite gefunden wird, muss sie für Crawler erreichbar und verständlich sein. Eine klare Struktur und gute interne Verlinkung erleichtern das Crawling. So erhöht sich die Chance, indexiert zu werden. Eine gute Erreichbarkeit ist dafür entscheidend.

Wie steuert man Crawler?

Über bestimmte Anweisungen lässt sich festlegen, welche Bereiche ein Crawler besuchen darf. So lassen sich unwichtige Seiten ausschliessen. Eine durchdachte Steuerung hilft, das Crawling sinnvoll zu lenken. So liegt der Fokus auf den wichtigen Seiten. Unwichtige Bereiche lassen sich vom Crawling ausnehmen.

 

Verwandte Begriffe: Indexierung und Googlebot.