Googlebot

Googlebot ist der Webcrawler von Google, der das Internet nach neuen und aktualisierten Inhalten durchsucht, um diese für die Google-Suche zu erfassen. Googlebot analysiert die Struktur von Webseiten, folgt Links und sammelt Informationen, die später in die Bewertung einfliessen. So gelangen Inhalte in den Suchindex. Erst dadurch können sie in der Suche erscheinen. Ohne Erfassung bleibt eine Seite unsichtbar. Das Crawling ist daher die Grundlage der Sichtbarkeit.

Wie funktioniert Googlebot?

Googlebot ruft Webseiten auf, liest deren Inhalte und folgt den enthaltenen Links zu weiteren Seiten. Die gesammelten Informationen werden für die Indexierung verwendet. So entsteht nach und nach ein Abbild des Internets. Neue und geänderte Inhalte werden dabei erfasst. So bleibt der Index aktuell.

Wozu dient Googlebot?

Googlebot sorgt dafür, dass Inhalte überhaupt in die Google-Suche aufgenommen werden können. Ohne Crawling bliebe eine Seite unsichtbar. So bildet der Bot die Grundlage für die Auffindbarkeit. Ohne ihn bliebe eine Seite für die Suche unsichtbar. Das Crawling ist damit ein wichtiger erster Schritt.

Wie steuert man Googlebot?

Über Dateien wie die robots.txt und über Meta-Angaben lässt sich beeinflussen, welche Seiten Googlebot besuchen darf. So lassen sich einzelne Bereiche ausschliessen. Eine klare Struktur erleichtert dem Bot die Arbeit. So werden wichtige Seiten zuverlässig erreicht.

Worauf kommt es bei Googlebot an?

Wichtig sind eine gute Erreichbarkeit, eine klare Seitenstruktur und funktionierende Links. So kann der Bot Inhalte vollständig erfassen. Eine schnelle, saubere Seite erleichtert das Crawling. Defekte Links erschweren dagegen die Erfassung. Eine saubere Struktur unterstützt das Crawling.

 

Verwandte Begriffe: Crawler und Indexierung.