Die Welt durch die Augen des Google-Bots

Der User-Agent Switcher ist eine nützliche Erweiterung für Firefox, mit der man den User Agent umschalten kann. Je nach Einstellung gibt sich Firefox dann nicht mehr als Firefox unter Windows, sondern als Safari unter Mac OS, als Edge-Browser unter Windows oder als Android-Telefon oder sonst ein Gerät bzw. eine Software aus.

Das ist nützlich, wenn man Websites testen muss, die sich auf den einzelnen Geräten unterschiedlich verhalten sollen. Ich brauche diese Erweiterung aber aus einem trivialeren Grund: Ich betreue bei Publisher.ch bekanntlich den Downloadbereich. Da dort sowohl die Windows- als auch die Mac-Versionen der Programme angeboten werden, muss ich beides herunterladen. Viele Websites nehmen dem Nutzer die Arbeit ab, die passende Variante wählen zu müssen – mit dem unerfreulichen Nebeneffekt, dass ich die Mac-Version nicht herunterladen kann, wenn ich einen Windows-Computer benutze. Damit ich dazu keinen Mac bemühen muss, schalte ich einfach den User Agent um. Das klappt in den meisten Fällen hervorragend.

181018-google-as-google-bot.png
Eine Schreckreaktion? So sieht Google aus, wenn man mit User Agent «Googlebot» surft.

Lustig ist nun, dass man die Einstellung bei User Agent nun auch auf exotische Dinge wie Google Bot einstellen kann. Und das, von Neugierde getrieben, auch sogleich tut. Es fällt auf, dass Google selbst in einer kompakteren Darstellung erscheint – wahrscheinlich eine Schreckreaktion, weil es nicht sein sollte, dass sich der Google-Bot über die Google Suchmaschine hermacht: Wenn er anfängt, die Suchresultate zu indizieren, dann könnte das zu einem Teufelskreis, einer Endlosschlaufe, zu Server-Crahses und zu einem Zusammenbruch der ganze Zivilisation führen.

181018-google-normal.png
Zum Vergleich: So sieht Google normalerweise aus.

Nein im Ernst: Ich vermute, dass es sich um ein etwas älteres, weniger interaktives Layout handelt. Die schwarze Leiste am oberen Rand weckt Erinnerungen: Ich glaube, dass die früher standardmässig verwendet wurde und dann irgendwann mal dem Fortschritt weichen musste. Laut Google Watch Blog war das im November 2011.

Ich kann mich jedenfalls gut mit dieser Darstellung anfreunden. Insbesondere die Befehle zur zeitlichen Eingrenzung am linken Rand, die man sonst aus dem Menü hervorholen muss, sind sehr praktisch. Ich finde es jedenfalls nett, einen Weg zu kennen, wie ich diese Darstellung weiterhin benutzen kann.

181018-user-agent-switcher.png
Das ist übrigens der User Agent Switcher, mit dem man derlei Unfug anstellt.

Allerdings wird man mitunter auch recht unfreundlich abgewiesen: «Sorry, you have been blocked! You are unable to access googlewatchblog.de», heisst es zum Beispiel bei ebendiesem Google Watch Blog. Vielleicht möchte der Betreiber nicht, dass Google ihm auf die Finger schaut? Könnte sein. Ich vermute allerdings, dass sich auch viele automatisierte Webscanner mit unlauteren Absichten als Googlebot tarnen und dass man deswegen abgewiesen wird. Die echten Google Bots lassen sich wahrscheinlich an ihrem Verhalten und auch an ihren IP-Adressen erkennen. Das dürfte dazu führen, dass manche Webseiten-Betreiber offensichtlich unechte Google Bots nicht durchlassen. Die Begründung beim Google Watch Blog ist jedenfalls die Folgende:

Why have I been blocked?

This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution.

Ich werde jedenfalls noch etwas weiter als Google Bot surfen – denn womöglich bringt das die Erkenntnis, dass sich manche Webseiten Google gegenüber anders präsentieren als wenn ein normaler Surfer daherkommt. Ich kann mir vorstellen, dass das Türchen öffnet, die sonst verschlossen bleiben: Vielleicht wollen manche Anbieter, dass Google auch die Inhalte indiziert, die hinter einer Paywall stecken. Vielleicht unterlassen manche das Abnicken der Cookie-Einverständniserklärung – denn wieso sollte man Google ein Cookie andrehen wollen. Vielleicht passiert auch gar nichts weiter – aber dann habe ich wenigstens meine Datenspur ein bisschen verwischt…

Hauptbild: So hübsch können Bots sein – die von Google stelle ich mir aber etwas weniger freundlich vor. (Kaboompics.com/Pexels, CC0)

Autor: Matthias

Diese Website gibt es seit 1999. Gebloggt wird hier seit 2007.

Kommentar verfassen