Logfile-Analyse - Was Bots wirklich auf deiner Seite tun

Tools zeigen dir, wie deine Website sein sollte. Serverlogs zeigen, was tatsächlich passiert ist. Für grössere Projekte ist das der Unterschied zwischen Vermutung und Wissen. Hier erfährst du, wie du an die Daten kommst, was du daraus lesen kannst und wann sich der Aufwand lohnt.

Was in einem Logfile steht

Dein Webserver protokolliert jeden einzelnen Aufruf. Eine Zeile enthält typischerweise die IP-Adresse, den Zeitstempel, die angeforderte URL, den Statuscode, die übertragene Datenmenge, den Verweis und die Kennung des aufrufenden Programms.

Für SEO interessieren dich vor allem die Zeilen von Suchmaschinen-Bots. Sie erzählen dir, welche URLs wie oft besucht wurden, welche Antwort der Server gab und wie schnell er reagierte.

Der entscheidende Vorteil gegenüber allen anderen Datenquellen: Hier gibt es keine Stichprobe, keine Modellierung und keine Interpretation. Es ist ein vollständiges Protokoll dessen, was geschehen ist.

Wann sich die Analyse lohnt

Ehrlicherweise nicht für jedes Projekt. Bei einer Website mit dreihundert Seiten wirst du kaum Erkenntnisse gewinnen, die du nicht auch anders bekommst.

Richtig wertvoll wird die Analyse in vier Situationen: bei sehr grossen Websites mit zehntausenden URLs, bei anhaltenden Indexierungsproblemen ohne erkennbare Ursache, nach Relaunches und Migrationen sowie bei Projekten mit vielen Parameter- oder Filter-URLs.

Ein weiterer typischer Anlass ist ein Verdacht auf verschwendete Crawl-Ressourcen – wenn also unwichtige Bereiche vermutlich mehr Aufmerksamkeit bekommen als die umsatzrelevanten.

An die Daten kommen

Die Logs liegen auf dem Server, häufig im Verzeichnis für Zugriffsprotokolle. Je nach Hosting brauchst du dafür deine IT, deinen Provider oder einen Zugang über das Hosting-Panel.

Zwei Hinweise für die Anfrage: Bitte um mindestens dreissig Tage, besser neunzig. Und kläre, ob ein CDN oder ein Reverse Proxy im Einsatz ist – dann liegen die relevanten Daten möglicherweise dort und nicht auf dem Ursprungsserver.

Beachte ausserdem den Datenschutz. Logs enthalten IP-Adressen und damit personenbezogene Daten. Kläre intern, wie lange du sie aufbewahren darfst, und arbeite wenn möglich mit anonymisierten oder gekürzten Adressen.

Echte Bots von falschen unterscheiden

Jeder kann sich als Googlebot ausgeben. Bevor du Schlüsse ziehst, solltest du die Zugriffe verifizieren.

Der offizielle Weg ist eine Rückwärtsauflösung der IP-Adresse und eine anschliessende Vorwärtsauflösung des erhaltenen Hostnamens. Nur wenn beides zusammenpasst und auf die bekannten Domains von Google oder Microsoft zeigt, handelt es sich um den echten Bot.

Alternativ veröffentlichen die Anbieter Listen ihrer IP-Bereiche, gegen die du abgleichen kannst. Ohne diesen Schritt analysierst du im Zweifel das Verhalten von Scrapern.

Die wichtigsten Auswertungen

Sobald die Daten sauber sind, liefern einige wenige Auswertungen den grössten Erkenntnisgewinn.

• Verteilung der Zugriffe nach Verzeichnis. Wo verbringt der Bot seine Zeit? Wenn zwanzig Prozent auf Filterseiten entfallen und fünf Prozent auf deine Produktkategorien, hast du ein Problem gefunden.

• Statuscodes im Zeitverlauf. Ein Anstieg von Fehlern oder Weiterleitungen deutet auf strukturelle Probleme hin.

• Häufigkeit pro URL. Wichtige Seiten sollten regelmässig besucht werden. Seiten, die seit Wochen kein Bot gesehen hat, aktualisieren sich im Index nicht.

• Antwortzeiten. Langsame Bereiche bremsen das Crawling messbar aus.

• Nie besuchte URLs. Der Abgleich zwischen Crawl-Liste und Logdaten zeigt dir, welche Seiten Bots gar nicht erreichen.

Die letzte Auswertung ist oft die aufschlussreichste. Seiten, die in der Sitemap stehen, aber nie aufgerufen wurden, haben fast immer ein Verlinkungsproblem.

Typische Erkenntnisse aus der Praxis

Drei Muster tauchen in fast jeder Analyse auf.

Erstens: Parameter-URLs fressen unverhältnismässig viele Ressourcen. Filterkombinationen erzeugen praktisch unendlich viele Adressen, die alle besucht werden wollen.

Zweitens: Alte, längst vergessene Bereiche werden weiterhin regelmässig gecrawlt – Archive, Autorenseiten, Paginierungen ohne Ende.

Drittens: Nach Migrationen bleiben Weiterleitungsketten bestehen, weil interne Links nie angepasst wurden. Der Bot läuft dann jedes Mal über zwei bis drei Stationen.

Alle drei Punkte lassen sich beheben – und alle drei sind ohne Logdaten schwer zu belegen.

Logdaten mit anderen Quellen verbinden

Der grösste Nutzen entsteht, wenn du die Logdaten nicht isoliert betrachtest, sondern mit dem verknüpfst, was du sonst weisst.

Interessant sind vor allem drei Kombinationen. Erstens Logdaten plus Crawl: Sie zeigt, welche existierenden Seiten nie besucht werden. Zweitens Logdaten plus Search Console: Sie zeigt, ob häufig gecrawlte Seiten auch Impressionen erhalten – und ob Seiten mit Impressionen ausreichend besucht werden. Drittens Logdaten plus Umsatzdaten: Sie zeigt, ob die Aufmerksamkeit der Bots dort landet, wo dein Geschäft stattfindet.

Gerade die letzte Verknüpfung führt zu unbequemen Erkenntnissen. In vielen Shops entfällt der Grossteil der Crawl-Aktivität auf Bereiche, die kaum zum Umsatz beitragen.

Werkzeuge und Vorgehen

Für kleinere Datenmengen genügen ein Tabellenkalkulationsprogramm oder ein paar Kommandozeilenbefehle. Ab einigen Millionen Zeilen brauchst du spezialisierte Werkzeuge oder eine Datenbank.

Bewährt hat sich folgender Ablauf: Logs beschaffen, auf verifizierte Bots filtern, mit deiner Crawl-Liste zusammenführen, nach Verzeichnissen gruppieren und erst dann interpretieren. Die Zusammenführung ist der entscheidende Schritt – erst der Abgleich zwischen «was existiert» und «was wird besucht» erzeugt Erkenntnisse.

Wiederhole die Analyse nicht ständig. Zwei- bis viermal im Jahr sowie nach grösseren Änderungen reicht in den allermeisten Fällen.

Vor und nach einer Migration

Der wertvollste Einsatzzeitpunkt ist ein Relaunch. Hier zeigen Logdaten Probleme, bevor sie sich im Traffic niederschlagen.

Sichere vorab mindestens dreissig Tage an Daten der alten Website. Sie dienen als Referenz für die Frage, welche URLs regelmässig besucht wurden – und damit als Prüfliste für deine Weiterleitungen.

Nach dem Umzug beobachtest du drei Werte täglich: die Zahl der Bot-Zugriffe insgesamt, den Anteil an Fehlerstatus und die Verteilung auf alte gegenüber neuen URLs. Ein anhaltend hoher Anteil an Aufrufen alter Adressen deutet darauf hin, dass interne Links oder Sitemaps noch nicht aktualisiert wurden.

Fazit

Logfile-Analyse ist kein Anfängerthema, aber auch keine Geheimwissenschaft. Sie beantwortet eine Frage, die dir keine andere Quelle beantwortet:

Was macht die Suchmaschine tatsächlich auf deiner Website?

Beschaff dir mindestens dreissig Tage an Daten, verifiziere die Bots, gruppiere nach Verzeichnissen und vergleiche mit deiner tatsächlichen Seitenstruktur. Wenn dein Projekt gross genug ist, findest du dort Probleme, die in keinem Tool auftauchen und meist genau dort, wo du sie am wenigsten vermutet hättest.

Quelle: Searchengineland.com