Die beste KI für Punker in Paris

GPT4All eröffnet eine Möglichkeit, grosse Sprachmodelle auf dem eigenen Rechner zu betreiben. Es gibt die Software für Windows, Mac und Ubuntu. Sie hat eine simple und gut zu überblickende Benutzeroberfläche. Und es gibt einen weiteren Vorteil: Wir können Sammlungen lokaler Dateien anlegen, mit denen wir anschliessend mit den KI-Modellen arbeiten können.

Das weckt natürlich Hoffnungen: Ich habe zwei Google-Lösungen vorgestellt, mit denen sich grössere Datenbestände per KI erschliessen, analysieren und zusammenfassen lassen: Pinpoint und Notebook LM. Vor allem letzteres gefällt mir gut. Aber es gibt den grossen Pferdefuss, dass potenziell sensibles Material in die Cloud hochgeladen werden muss. Das ist etwas, das bei investigativen Recherchen um jeden Preis zu vermeiden ist.

Auswahlhilfen bei der Suche nach dem besten Modell

GPT4All funktioniert wie andere lokal betriebene KIs: Bevor die Anwendung nach dem Download benutzt werden kann, müssen wir ein lokales Modell installieren. Die stehen in der Rubrik Models zur Auswahl. Wir haben Mistral Instruct, Llama-3-8B-Instruct, von Meta, Orca 2 von Microsoft und diverse weniger bekannte LLMs zur Auswahl; zum Beispiel GPT4All Falcon des Herstellers selbst. Die Beschreibung gibt Dateigrösse und Speicherbedarf im RAM, Parameter und Typ an, und eine kurze Beschreibung gibt Hinweise auf den Hersteller und charakteristische Merkmale. Das ist nützlich bei der Auswahl.

Um eine Anfrage zu stellen, wechseln wir zur Rubrik Chats. Dort wählen wir bei Choose a model aus den installierten LLMs das gewünschte Sprachmodell aus und tippen unsere Frage.

Die Qualität der Antworten ist durchwachsen

Der Nutzen einer lokalen KI steht und fällt mit der Qualität der Antworten. Mein Eindruck ist, dass die Open-Source-Modelle im Vergleich zur kommerziellen Konkurrenz wie ChatGPT unterlegen sind, und zwar zum Teil dramatisch. Allerdings hängt das extrem von der Frage ab. Ich habe es geschafft, von sämtlichen Kandidaten falsche Antworten zu bekommen¹.

Es gibt jedenfalls auch ein Beispiel, bei dem ChatGPT nicht obenaus geschwungen ist. Ich habe folgende Frage gestellt: Welche drei Dinge sollte sich ein Ehepaar, das gern Punk hört und eine dreijährige Tochter hat, in Paris ansehen?

Das waren die Antworten:

1. Llama: The Musée des Égouts de Paris, The Musée en Herbe, The Canal Saint-Martin
2. Mistral: La Maison de la Musique, Le Marais, La Grande Halle de la Villette
3. ChatGPT: La Villette und Cité des Sciences et de l’Industrie, Canal Saint-Martin und Disneyland Paris
4. Orca Full: Das Konzert der Band The Clash im Jahr 1982 im Bataclan Theatre, die Ausstellung «Punk London: Wrangler, Dandy & Rebel» im Musée de la Mode et du Textile, «The Simpsons Movie» oder «Family Guy» im Cinéma Gaumont Saint-Lazare
5. GPT4All Falcon: Seine Frau, seine Tochter und seine Frau und seine Tochter

Ich habe die Resultate absteigend nach Brauchbarkeit sortiert. Über die Wertung kann man im Einzelnen geteilter Meinung sein, aber vermutlich herrscht Einigkeit darüber, dass

• wir GPT4All wir in die Wüste schicken müssen, weil dieses Modell die Frage nicht verstanden hat,
• und gegen Orca Full spricht, dass Zeitreisen bislang nicht erfunden wurden.

Den Ratschlag zur «Punk London»-Ausstellung finde ich gut, nur scheint es die leider nicht zu geben. Aber demnächst eröffnet Outlaws: Fashion Renegades of 80s London, und die wäre auf alle Fälle sehenswert für unsere Familie (für die Tochter womöglich nicht sosehr).

Llamas Antwort mit dem Abwasserkanal-Museum könnte man als Punker als Beleidigung auffassen – ich finde die Antwort aber originell, und das Kindermuseum ergibt auch Sinn.

ChatGPT disqualifiziert sich mit dem Hinweis aufs Disneyland Paris. Einer Familie, die mutmasslich nicht auf den ausgetrampelten Touristenpfaden wandeln will, sollte man nicht ins Disneyland schicken².

Eine Frage, viele Antworten?

Ein allgemeingültiges Urteil über Llama, Mistral, Orca und die anderen lokalen LLMs kann ich bedauerlicherweise nicht abgeben. Wer solche KIs gern lokal einsetzen würde, kommt nicht darum herum, sie selbst für seine konkreten Anwendungsfälle auszutesten. Dafür hätte ich auch eine Idee für ein zukünftiges Feature: Wäre es nicht toll, die gleiche Anfrage nacheinander allen hinterlegten Modellen stellen zu können?

Wichtig zu wissen ist in diesem Zusammenhang, dass in der GPT4All-Anwendung auch kommerzielle Modelle eingebunden werden können, z.B. GPT-3.5-Turbo von OpenAI, GPT-4 von OpenAI, die mit einem API-Schlüssel benutzt werden – dann aber natürlich nicht lokal.

Ein gutes Hilfsmittel für lokale Datensammlungen

Die Auswertung der lokalen Informationssammlungen (Rubrik Local Docs) ist bei meinen ersten Tests vielversprechend: Zwar sind die Möglichkeiten im Vergleich gerade zu Notebook LM von Google bescheiden. Doch um Auskünfte zu den Dateien zu erhalten, sie zu durchsuchen und bestimmte Stellen schnell aufzufinden, taugt die Kombination von Local Docs und Llama ausgezeichnet.

Fazit: GPT4All ist auf alle Fälle einen Blick wert. Mir gefällt diese Anwendung deutlich besser als das (hier getesteten) LM Studio. Jene Software erfüllt den Zweck ebenfalls. Aber das Programmfenster hinterlässt einen chaotischen Eindruck. LM Studio erlaubt die Steuerung der Abfragen z.B. über Dinge wie Prepromts. Allerdings hat auch GPT4All in den Einstellungen (Settings > Models > Model Settings) die Möglichkeit, sogenannte System Prompts, Prompt Templates oder Follow-up-Prompts zu definieren. Auskunft dazu gibt die Hilfe.