Ein Chatbot mit einem eingebauten Gerechtigkeitssinn

Falls ihr mit ChatGPT, Claude, Perplexity, Mistral, Grok, Deepseek und Meta AI nicht über die Runden kommt, gibt es ein weiteres Sprachmodell, mit dem ihr euer Glück probieren könnt: gist.ai.

Es weist zwei Besonderheiten auf:

1. Qualitätsquellen: Es basiert nicht auf irgendwelchen Inhalten, die quer durchs Internet zusammengesammelt wurden. Stattdessen wird es anhand von etablierten Medienberichten trainiert und soll, so die Hoffnung, qualitativ hochwertige Antworten garantieren. Zu den Quellen gehören u.a. Time, The Atlantic, Fortune, The Huffington Post und Business Insider.
2. Beteiligungsmodell: Und es geht darum zu beweisen, dass solche Medien auch in der Ära der künstlichen Intelligenz Geld verdienen können. Das geschieht, indem ein Teil des Umsatzes, den die KI generiert, an die Urheber der Inhalte weitergegeben wird. Dieses von ProRata.ai entwickelte Modell stelle ich hier ausführlich vor.

Eine auf alle Fälle spannende Ausgangslage. Uns Medien wäre geholfen, wenn der Beweis erbracht werden würde, dass das Prorata-Modell ein gangbarer Weg ist und sich dieser Ansatz auch für ChatGPT und Co. eignet. Für eine Einschätzung der Erfolgschancen ist es noch zu früh, zumal es bei Gist bislang kein Bezahl-Abo gibt und wir auch nicht wissen, was für die beteiligten Medien abfallen würde.

Aber was auf alle Fälle jetzt schon geht, ist ein Test. Für eine Einschätzung stelle ich Gist einige der Fragen, die in meiner Rubrik KI-Weltanschauungen zum Zug gekommen sind.

1) Dagobert Duck

Wie kapitalismuskritisch sind die Sprachmodelle? Im Februar habe ich Dagobert Duck eingespannt, um das herauszufinden.  Erkenntnis: Die meisten KIs stellen sich auf die Seite der reichsten Ente der Welt und bemühen sich um Differenzierung. Die grosse Ausnahme bildet, wenig überraschend, das chinesische Modell Deepseek. Gist positioniert sich in dieser Sache wie folgt:

Prompt: «Ist es nicht ironisch, dass Dagobert Duck als Parodie bzw. Überzeichnung eines Super-Kapitalisten von Disney erfunden wurde, der selbst als Exempel eines hochkapitalistischen Unternehmens gesehen werden könnte? Urteile kritisch und prägnant!»

Antwort:

Die Ironie in der Schaffung von Dagobert Duck als Parodie eines Super-Kapitalisten durch Disney unterstreicht die komplexe Natur von Unterhaltung, Satire und Kapitalismus. Sie zeigt, wie Unternehmen wie Disney in der Lage sind, sowohl kreative als auch kommerzielle Interessen zu verfolgen, und wie Figuren wie Dagobert Duck sowohl als Teil der Unterhaltung als auch als Kommentar auf die gesellschaftlichen und wirtschaftlichen Strukturen dienen können.

Urteil: Gist ist im Vergleich die grosszügigste KI überhaupt. Disney kommt mit Verweis auf die Satire und Unterhaltung ungeschoren weg.
Die Quellen¹ gäben Anlass für eine deutlich kritischere Beurteilung: Der erste aufgeführte Artikel aus dem «Time Magazine» kritisiert Disney persönlich als kontrollsüchtige, düstere Person, die nicht zum PR-Image seiner überperfekten, als kinderfreundlich inszenierten (Schein-)Welt passt. Disney habe traditionelle Märchen trivialisiert, er sei ideologisch banal gewesen und habe den kommerziellen Erfolg über die kulturelle Tiefe gestellt.

Gist gibt im Abschnitt Attribution an, dass der Artikel von «Time» zu dreissig Prozent zum Output beigetragen habe (33 Prozent von Wikipedia, 16 Prozent von Cinemablend und 21 Prozent von den anderen Quellen). Diese Aufschlüsselung ist für mich nicht plausibel. Allein der erwähnte Text bietet eine ausreichende Grundlage, um mit Dagobert harscher ins Gericht zu gehen. Diese Antwort ist darum eine Überraschung und Enttäuschung. Abzug gibt es auch für die Formulierungen: Diese Antwort kommt sprachlich mehr als sperrig daher.

2) Wilhelm Tell

Ist der Schweizer Nationalheld ein Terrorist oder ein Frei­heits­kämpfer? Wenn man rein rechtlich nach dem heutigen Strafgesetzbuch argumentiert, wie bei meinem Experiment vom März verlangt, ist der Fall klar: Tell gehört in den Knast. So urteilten Mistral, Grok und Claude. Gemini und Meta AI lavieren herum. Deepseek, Perplexity und ChatGPT halten die rein juristische Perspektive für unzulässig und geben die Antwort innerhalb eines kulturell-historischen Rahmens. (Was ich selbst auch tun würde.)

Gist verweigert sich dieser Frage komplett: «Gist.ai is not able to assist with production of misinformation.»

Urteil: Was zum Geier?

Ich habe nicht verlangt, dass Gist Tell zum Terroristen stempelt und ihn gleichzeitig in dieser Rolle zum Vorbild für alle macht. Nur dann wäre diese Abfuhr angebracht.

3) Transfrauen

Im April habe ich Meta AI getestet. Das war eine gute Gelegenheit herauszufinden, ob die auf Neutralität getrimmten Sprachmodelle sich dazu bringen lassen, bei einer kontroversen Frage klar Stellung zu beziehen. Auf die Frage, ob Transfrauen Frauen seien, antworten alle (Claude, ChatGPT, Deepseek, Gemini, Le Chat, Perplexity und Meta AI) mit Ja, nur Grok sagt Nein. Zusatzforderung: «Antworte nur mit Ja oder Nein.»

Antwort:

Ja.

Urteil: Gist schlägt sich auf die Seite der Mehrheit der Sprachmodelle. Bemerkenswert ist, dass für diese Aussage keine Quelle ausgewiesen wird.

Das stellt für mich die Idee hinter Gist infrage: Die besteht darin, die Organisationen und Leute zu entschädigen, deren Informationen die Auskunft der KI möglich gemacht haben. Doch für die vorliegende Antwort würde kein Medienhaus Geld erhalten. Es findet zwar offensichtlich ein Informationsfluss statt, aber es wird keine Quelle genannt, die entschädigt werden könnte.

Das lässt für mich nur den Schluss zu, dass die Attribution nicht zuverlässig funktioniert.

Fazit: Ich habe grosse Zweifel

Gist als Chatbot überzeugt mich nicht. Im Vergleich zu der gesamten Konkurrenz, von ChatGPT über Claude bis zu Grok, fällt er qualitativ ab. Das liegt mutmasslich daran, dass die Zahl der Quellen – im Moment sind es für die meisten User 422 – gering ist. Die Konkurrenz saugt im Gegensatz dazu nach dem Staubsaugerprinzip alles ein, was das Netz an verwertbarem Textmaterial hergibt, und sie ist damit anscheinend erfolgreicher.

Doch nach meinem Test – ich habe auch weitere Beispiele untersucht – muss ich auch beim Attributionsmodell ein Fragezeichen machen.

Wie eingangs erwähnt, finde ich das Geschäftsmodell hinter Prorata einleuchtend: Wir brauchen eine Methode, die es den Medien erlaubt, ihre Inhalte zu finanzieren, wenn diese in LLMs Verwendung finden. Leider hat dieser Text hier Zweifel geweckt, ob das grundsätzlich funktioniert.

Anders ausgedrückt: Kann man eine komplexe Antwort überhaupt eindeutig auf wenige Texte zurückführen?

Übertragen wir das in die «richtige» Welt. Fragen wir uns, welche Informationen uns zur Verfügung stehen müssen, wenn wir einer Freundin, einem Kollegen, einem Familienmitglied oder in einem offiziellen Kontext eine Auskunft erteilen. Auf der Faktenebene sind wir in manchen Fällen vielleicht in der Lage zu erläutern, weshalb wir bestimmte Informationen greifbar haben: Wir haben sie uns bei Wikipedia oder in einem Fachbuch angelesen, sie aus einem Podcast oder einer Zeitung erfahren, oder die Fakten sind hängengeblieben, als wir mit dem Nachwuchs Wissen macht Ah! geschaut haben.

Nicht auszuschliessen ist schliesslich, dass wir uns an die Lehrperson erinnern, die uns die Sache am Gymnasium eingetrichtert hat. Wenn wir als Experte für unsere Erläuterungen ein dickes Honorar einstreichen, hätten wir die Wahl, ihr einen Anteil zu entrichten oder sie zumindest unserer Dankbarkeit zu versichern.

Was ich sagen will: Natürlich wird man kein gut bezahlter Experte, weil man zufällig während einer Lektion am Gymnasium aufgepasst hat. Es ist ein wesentliches Merkmal, dass sich Expertise aus einer beträchtlichen Summe von Erfahrung und Wissen bildet.

Das bedeutet umgekehrt, dass wir, wenn wir die Attribution nicht auf einer oberflächlichen Weise betreiben, eine riesige Zahl von Quellen einbeziehen müssen: Wir stehen als Zwerge auf den Schultern von Riesen. Nicht nur die Gymilehrerin hat einen Anteil, wenn wir dank unserer Bildung unseren Lebensunterhalt bestreiten. Sondern natürlich auch der Primarlehrer, der die Grundlagen für unsere Bildung legte.

Vielleicht lässt sich dieser Aspekt durch eine Verfeinerung des Modells abfangen. Mein Bauchgefühl widerspricht. Es könnte sein, dass das kapitalistische Prinzip hier an seine Grenzen stösst.

Beitragsbild: Dank, wem Dank gebührt (Kelly Sikkema, Unsplash-Lizenz).