Ausgangslage: Wir haben eine Liste mit Suchresultaten von Google. In der möchten wir nicht, wie üblich, einen oder vielleicht mehrere Treffer anklicken. Stattdessen haben wir uns zum Ziel gesetzt, eine systematische Auswertung vorzunehmen.
Gründe dafür gibt es diverse:
- Wir wollen Einblicke über die Google-Suche gewinnen. Ich überprüfte neulich, wie sich die Suchresultate je nach Browser unterscheiden.
- Als theoretisches Exempel planen wir eine Langzeitstudie, in der wir festhalten werden, wie sich die Suchresultate über die Zeit verändern.
- Es könnte interessant sein, auszuloten, wie die Personalisierung sich bei bestimmten Sachverhalten auswirkt.
- Oder wir fassen eine bestimmte Website ins Auge und finden heraus, wie oft dort Informationen zu bestimmten Themen veröffentlicht werden.
Einige dieser Beispiele sind nicht hypothetisch, sondern haben sich bei meinen Recherchen hier im Blog und auch bei Nachforschungen für meinen Arbeitgeber ergeben. Die Erkenntnis dabei: Googles Trefferlisten sind für menschliche Nutzerinnen und Nutzer optimiert. Sie eignen sich von Haus aus nicht dazu, in einer Tabellenkalkulation oder per KI verarbeitet zu werden. Für diesen Zweck müssen sie in eine strukturierte Form überführt werden.
Kurz: Gefragt ist eine Methode, bei der Googles Suchresultate in eine verwertbare Form überführt werden. Im Szenario hier hätte ich gern eine Excel-Liste – aber auch CSV oder Json wären okay.
Und siehe da: Die Lösung ist erstaunlich einfach. Wir benötigen keine Scraping-Software, wie man befürchten könnte. Die gibt es (siehe hier und hier), aber sie sind aufwendig in der Handhabe. Doch um die Google-Suchresultate abzugreifen, reicht ein simples Browser-Plug-in.
Das sind drei Kandidaten:
Google Search Results Scraper
Bei dieser Erweiterung für Google Chrome führen wir ganz normal unsere Websuche durch und treffen wunschgemäss unsere Sucheinstellungen (wir wählen z.B. die Suchfilter nach unserem Gusto).
Haben wir die Resultate vor uns, wie wir sie einsammeln möchten, öffnen wir den Google Search Results Scraper und klicken auf Collect Search Results. Jetzt klickt sich die Erweiterung von einer Resultate-Seite zur nächsten und sammelt die Informationen ein. Über die Schaltfläche Save Results to Excel file werden sie als Xlsx-Datei gespeichert. Es gibt auch die Möglichkeit, die Resultate nur von einer Seite einzusammeln (Option Collect results from the current page only).
In der Tabelle enthalten sind die Datenfelder Source (der Name der Website), Title (der Titel der Seite), Link (die URL), Snippet (der Textauszug mit Verweis auf den Treffer) und Email (E-Mail-Adressen in einem Suchtreffer, falls vorhanden).
Diese Erweiterung liefert exakt das Gewünschte – mit einer grossen Einschränkung, an der jedoch nicht das Plug-in die Schuld trägt, sondern die Suchmaschine. Wir erhalten nicht alle passenden Treffer, sondern nur die wichtigsten. Google verrät uns nicht, was auf der letzten Seite der Liste steht.
Bei meinem Test habe ich auch in Chrome nur die 99 Top-Resultate erhalten. Das ist sehr wenig und je nach Anspruch ein echtes Problem. Wir können nur probieren, unsere Suche so ausgeklügelt zu gestalten, dass wir nur wenige, aber genau die richtigen Resultate erhalten. Ein Trick dafür wäre, die Suche in kurzen Intervallen durchzuführen; etwa einmal pro Woche mit dem Suchfilter Letzte sieben Tage.
Google SERP Extractor Tool
Diese Erweiterung existiert nicht nur für Chrome, sondern ebenso für Firefox. Sie erfüllt den Zweck, liefert unter Firefox leider oft nur die Treffer der ersten Seite. Warum, beschreibe ich im Detail hier.
Web Scraper
Diese Erweiterung für Google Chrome und für Firefox funktioniert nicht nur mit Google, sondern greift beliebige Inhalte ab: Wir könnten sie mit Bing oder Duck Duck Go benutzen. Das eröffnet eine Methode, das eben beschriebene Problem der Limitierung auf weniger Resultate zu umgehen. Nachteil: Dieser Sammler muss für diese Aufgabe konfiguriert werden, was Zeit in Anspruch nimmt.
Fazit: Praktisch, aber mit einem Pferdefuss
Suchresultate in eine maschinenlesbare Form zu überführen, ist für vielerlei Zwecke praktisch: Wir zählen und vergleichen Inhalte via Tabellenkalkulation oder lassen eine KI auf die gesammelten Links los. In einem meiner Tests funktionierte es wunderbar, eine Liste mit Links ChatGPT im Agentenmodus zu unterbreiten und die verlinkten Websites von der KI auf bestimmte Merkmale hin untersuchen zu lassen. Der Ansatz, den Agenten auch die Google-Suche durchführen zu lassen, führte hingegen nicht zum Ziel – darum ist diese hier beschriebene Methode in so einem Fall der Schlüssel zum Erfolg.
Aus Sicht von uns Nutzerinnen und Nutzern sollte Google standardmässig einen Knopf bereitstellen, über den sich die Liste mit einem Klick herunterladen lässt. Warum es den nicht gibt, ist nicht schwer zu erraten: Es würde Googles Position als allmächtiger Gatekeeper über die Datenschätze des Web schwächen. Zwar nur ein wenig, aber dennoch so stark, dass es einen solchen Knopf niemals geben wird.
Es gibt ein klares Indiz dafür, dass Google derlei Scaping nicht mag. Es ist in den Nutzungsbestimmungen untersagt, und wir laufen Gefahr, uns unbeliebt zu machen – ich habe nach wenigen Tests Warnungen bezüglich ungewöhnlichen Datenverkehrs erhalten. Für Datensammlungen im grösseren Stil müssen wir auf eine andere Methode ausweichen. Ein interessanter Kandidat wäre in diesem Fall Apify – aber den habe ich im Rahmen dieses Blogposts nicht näher angeschaut.
Beitragsbild: Von hier zu Excel in einem Klick (Cottonbro Studio, Pexels-Lizenz).