SEO – Alternative zu robots.txt

Google scheint sich aktuell mit einer Alternative zu robots.txt-Datei zu befassen. Diese soll aus der KI-Welt kommen. Die Aufmerksamkeit der SEO-Welt wurde definitiv geweckt.

KI für robots.txt

Es sind keine Neuigkeiten, dass sich die ganze Welt neuerdings mit künstlicher Intelligenz auseinandersetzt. So scheint sich auch Google aktuell Gedanken zu machen. So soll die fast 30 Jahre alte robots.txt allenfalls durch eine Funktion, die auf KI basiert, ersetzt werden.

Die robots.txt erklärt

Bei robots.txt handelt es sich um eine Datei, die während der letzten 30 Jahre es den Website-Betreibern ermöglicht hat, den Crawlern von Google und anderen Suchmaschinen zu zeigen, welche Seiten der Website kontrolliert werden dürfen und welche nicht.

Da sich die allgemeine Technologie aktuell rasant weiterentwickelt, stellt sic nun die Frage, ob man hier etwas anpassen sollte. Gemeinsam mit der KI-Community möchte Google nach einer Alternative für robots.txt forschen, wie dies das Unternehmen in einem Blogpost mitteilte.

Auch KI benötigt Crawler

Was natürlich nicht zu vergessen ist: Auch wenn man mit künstlicher Intelligenz arbeitet, braucht diese eine gewisse Lernzeit, um ein grosses Sprachmodell entwickeln zu können. Die robots.txt Datei kann Stand heute lediglich dem Crawler zeigen, welche Seiten auf einer Website gecrawlt werden dürfen. Sie verfügt nicht über die Möglichkeit, mitzuteilen, ob die Daten für das Training der KI genutzt werden dürfen.

Fazit

Hier scheint einiges im Hause Google zu gehen. Wir werden den Prozess weiterhin aufmerksam verfolgen und wieder berichten, sobald es Neuigkeiten gibt.

Quelle: T3n.de