Ein Mensch hat das redigiert? Das kratzt diesen KI-Inspektor nicht

Künstlich erzeugte Bilder zu erkennen, ist schon schwierig. Bei den Texten liegen die Hürden noch einmal deutlich höher. Denn KI-Texte werden typischerweise nicht eins zu eins benutzt, sondern redigiert. Die Datenmenge ist geringer, was weniger Anhaltspunkte gibt (und es schwieriger macht, ein Wasserzeichen unterzubringen). Was können also Detektoren leisten, die von sich behaupten, KI-generierte Inhalte zu erkennen?

Meine Erfahrungen mit ZeroGPT und GPTzero neulich waren durchwachsen. Als Goldstandard gilt indes pangram.com. Zu Recht? Ein Test soll es zeigen!

1) Ein handgeschriebener Blogpost

Natürlich führe ich meine Tests mit Texten durch, bei denen die Provenienz eindeutig ist – also mit solchen, die ich eigenhändig tippte. Der erste Kandidat ist ein Blogpost, der erklärt, wie man als Mac-User mit der Windows-Tastatur zurechtkommt – und umgekehrt. Es handelt sich um eine nüchterne Anleitung. Ich versuche, auch solchen Texten, meinen Stempel aufzudrücken. Aber natürlich sind sie weniger «originell» als eine Abhandlung, in der sich meine persönliche Weltanschauung manifestieren soll.

Trotzdem ist das Verdikt von Pangram eindeutig und richtig: zu hundert Prozent von einem Menschen verfasst.

Nebenbei stellt Pangram auch eine Prüfung auf Plagiate zur Verfügung. Die schlägt an und teilt mit, dass sämtliche Sätze in meinem Blog zu finden sind.

2) Ein Menschentext mit KI-Einsprengseln

Hier im Blog schreibe nur ich: Ich verwende keine Passagen, die von künstlicher Intelligenz verfasst wurden. Mit zwei Ausnahmen: Erstens kommt es vor, dass ich KI-Auskünfte zitiere und dokumentiere. Zum Beispiel in meiner Abhandlung Sextipps von der KI? Was kann schon schiefgehen!. Hier gibt es im dritten Kapitel acht Zitate von mehreren KIs, bei denen jeweils der Urheber genannt wird.

Pangram erkennt nur eines davon, nämlich das dritte Zitat von Deepseek. Das ist einerseits ernüchternd, andererseits entschuldbar: Die Zitate sind jeweils nur um die 150 bis 200 Zeichen lang. Das ist sehr kurz für eine Einschätzung – und es kommen mehrere Sprachmodelle zum Zug.

Dieser Test zeigt klar die Grenzen solcher Detektoren auf: Kleine Einsprengsel bleiben unentdeckt.

3) Der KI-übersetzte Text

Die zweite Ausnahme besteht in den Übersetzungsdienstleistungen, die ich von den KIs in Anspruch nehme – auch wenn ich die meistens nur redigiert verwende. Für meinen Test habe ich einen ganzen Blogpost von ChatGPT übersetzen lassen. Es handelt sich um die Saga meines Cameo-Auftritts in einer philippinischen Liebesschnulze. Die habe ich themengerecht von ChatGPT auf Tagalog übertragen lassen. Redigieren konnte ich diese Fassung mangels Sprachkenntnisse nicht.

Doch auch so urteilt Pangram: Hundert Prozent menschlichen Ursprungs.

Das halte ich für das korrekte Urteil. Aber es beweist klar, dass die künstliche Intelligenz unentdeckt bleibt, wenn sie in einer Hilfsfunktion agiert.

Interessant übrigens auch der Plagiatscheck: Er schlägt nicht an, obwohl der Text in einer Übersetzung im Netz zu finden ist. Den Tipp, Plagiate anhand von fremdsprachigen Texten anzufertigen, wenn Stefan Weber sie nicht auffinden soll, habt ihr aber nicht von mir!

4) und 5) Ein KI-Text, von der KI vermenschlicht

Wie reagiert der Detektor bei einem komplett künstlichen Text? Ich habe mit dazu einen leicht dadaistisches Nonsens-Geplapper verfassen lassen). Es ist keine Herausforderung für Pangram: Das Urteil, hundert Prozent KI-generiert, fällt schnell und hart.

Damit gebe ich mich nicht zufrieden: Ich jage diesen Text durch den (hier erwähnten) «AI Humanizer» von ZeroGPT. Er verspricht, KI-Texte zu «vermenschlichen» und ihre Herkunft auch vor Erkennungsalgorithmen zu verschleiern.

Das Resultat bleibt dasselbe: Er wird als KI erkannt; das Täuschungsmanöver schlägt fehl. Es gäbe die Möglichkeit, den Adavanced Humanizer auszuprobieren, aber der kostet – und daher lasse ich es bleiben.

6) KI-generiert, aber in handgeschriebenem Züritütsch

Ich wage einen letzten Versuch: Ich verlange vom Schweizer Sprachmodell Apertus eine Fassung in Zürtütsch meines künstlichen Testtexts¹. Die fällt so durchwachsen aus, dass ich mir die Mühe mache, sie von Hand zu korrigieren. Ich ändere mindestens jedes zweite Wort, damit der Text verständlich bleibt, weil Apertus’ einen Dialekt-Mischmasch anrichtet, in dem von Sanktgallerdeutsch über Bündnerisch bis Walliserisch alles vertreten ist.

Und es gibt einzelne Sätze, die in der Apertus-Variante unverständlich sind. Sie schreibe ich komplett neu, wobei ich die vorhandenen Worte als Rohmaterial verwende. Nichtsdestotrotz sind diese Sätze meine intellektuelle Leistung. (Deren niedriges Niveau können wir ausser Acht lassen.)

Das heisst: Der Text ist KI-geniert, aber menschlich umfassend umformuliert. Da ungefähr ein Zehntel der Sätze neu geschrieben wurden, wäre der KI-Anteil 90 Prozent.

Pangram hingegen setzt ihn bei 100 Prozent KI an.

Fazit: Schwierige Abgrenzungsfragen , gutes Resultat

Ist das richtig oder falsch? Kann man da überhaupt noch ein klares Urteil fällen und die «Natürlichkeit» in einer Prozentzahl ausdrücken, wenn sich künstliches Original und menschliche Bearbeitung nicht mehr auseinanderdividieren lassen?

Entscheidend sollte der Ursprung sein: Darum ist es richtig, wenn der KI-Text auch in der Bearbeitung als KI-Text ausgewiesen wird und eine von der KI ausgeführte Übersetzung einen Text nicht «entmenschlicht».

Die Prozentangabe liefert eine Scheingenauigkeit. Trotzdem: Unter dem Strich finde ich die Resultate erstaunlich gut – so gut, wie sie sein können, wenn es selbst für einen menschlichen Richter schlicht eine Ermessensfrage wäre, wie man welchen Anteil gewichten will.

Und wir gelangen zur bemerkenswerten Feststellung, dass auch der Mensch, wenn er als blosses Hilfsmittel der künstlichen Intelligenz agiert, unbemerkt bleibt.