SEO - Google-Extended gegen Bard 

Google hat die Einführung eines neuen "eigenständigen Produkt-Tokens" namens Google-Extended bekanntgegeben. Dieses Token ermöglicht es, die Zugriffsrechte von Bard und Vertex AI auf die Inhalte der eigenen Website zu steuern.

Diese Entwicklung scheint das Ergebnis einer "öffentlichen Diskussion" zu sein, die Google im Juli dieses Jahres gestartet hat. Das Unternehmen hatte damals versprochen, "Rückmeldungen von Web-Publishern, der Gesellschaft, der Wissenschaft und anderen Interessengruppen" einzuholen, um über Optionen und Kontrollmöglichkeiten im Zusammenhang mit Webinhalten zu diskutieren.

Bard ist ein KI-Tool von Google, während Vertex AI eine Plattform des Unternehmens für maschinelles Lernen ist, die zur Entwicklung und Bereitstellung von generativen KI-gestützten Such- und Chat-Anwendungen dient.

Google Extended erklärt

Google bezeichnet dieses Produkt als "ein selbständiges Produkt-Token", das von Web-Publishern genutzt werden kann, um zu steuern, ob ihre Websites zur Verbesserung der generativen APIs von Bard und Vertex AI beitragen, einschliesslich zukünftiger Generationen von Modellen, die diese Produkte antreiben.

Der neu entwickelte Crawler wurde in die Dokumentation von Google Search Central über Webcrawler aufgenommen.

Das Vorgehen mit Robots.txt

Du hast die Möglichkeit, robots.txt zu nutzen, um Google-Extended den Zugriff auf deine Inhalte oder bestimmte Teile davon zu verwehren. Um Google-Extended vollständig zu blockieren, füge bitte die folgenden Einträge in die robots.txt-Datei deiner Website ein:

User-Agent: Google-Extended

Disallow: /

Es ist erwähnenswert, dass bereits 242 der populärsten 1.000 Websites seit der Einführung im August beschlossen haben, den Web-Crawler GPTBot von OpenAI zu blockieren. Du kannst nun selbst entscheiden, ob deine Website dazu gehören soll und ob du Google bei der Weiterentwicklung seiner KI-Produkte unterstützen möchtest.

Google’s Statement

Das Unternehmen erklärte, dass Google-Extended den Publishern "Auswahl und Kontrolle" bietet:

"Die Bereitstellung einfacher und skalierbarer Kontrollmechanismen wie Google-Extended über die robots.txt ist ein wichtiger Schritt zur Schaffung von Transparenz und Kontrolle, die unserer Meinung nach alle Anbieter von KI-Modellen zur Verfügung stellen sollten. Mit der zunehmenden Verbreitung von KI-Anwendungen werden Web-Publisher jedoch mit der zunehmenden Komplexität der Verwaltung verschiedener Anwendungen in grossem Umfang konfrontiert."

Quelle: Searchengineland.com