Sinnvoll? Lokale KI-Chatbots auf dem Smartphone

In einem Tech-Podcast hat Leo, einer der Techies dort, neulich einige Apps erwähnt, mit denen sich Open-Source-Sprachmodelle auf dem Smartphone ausführen lassen. Das hat mich dazu bewogen, das auszuprobieren. Trotz der Frage, ob das nicht eine dumme Idee ist. Es gibt gute Gründe, am Smartphone auf die Modelle in der Cloud zu setzen: Denn lokal installiert, benötigen sie Unmengen an Speicher, sie fordern den Prozessor und leeren zügig den Akku.

Das Gegenargument ist natürlich: Wir tun es, weil es geht. Man braucht kein Cloud-Hasser zu sein, um sich über die grössere Unabhängigkeit zu freuen, die durch lokal agierende Software entsteht.

Leo hat einige Apps ins Feld geführt; die ich hier mit meinen Empfehlungen ergänze:
LM Studio habe ich in der Variante für den Mac bereits getestet. MLC Chat ist kostenlos, macht aber einen so spartanischen Eindruck, dass die App hier nicht zum Zug kommt.

Private LLM

Private LLM schlägt mit zehn fünf¹ Franken zu Buche, ist aber anscheinend der beliebteste Vertreter ihrer Art. Der Download ist satte 1,3 GB gross. Das rührt daher, dass Zephyr 1.6B als eingebautes Sprachmodell mitgeliefert wird. Das liefert bei einem ersten Test eine Antwort, die in Teilen irritiert. Die Frage lautete, wer Wilhelm Tell war und was er heute tun würde:

Wilhelm Tell ist ein berühmter historischer Säumer, der im 13. Jahrhundert in der Schweiz als Stammvater der Eidgenossenschaft eine wichtige Rolle spielte. In der modernen Welt wäre er heute wahrscheinlich ein Senior oder eine ältere Person, die möglicherweise mit ihrem Computer oder einem anderen Gerät zur Unterstützung von Online-Diensten und -Nachrichten benutzt würde.

Von der kompletten Blamage bewahrte sich der Bot mit folgender Ergänzung:

Inhaltlich könnte er jedoch weiterhin seine langjährige Erfahrung als Säumer und seine Kenntnisse im Umgang mit dem Wassermann nutzen, um sich über seine eigenen Werte und Überzeugungen, wie den Wert der Familie und Gemeinschaft, zu diskutieren. Allerdings wäre das Leben heute sowohl technologisch als auch weltweit geprägt von einer Vielzahl von neuen Entwicklungen und Herausforderungen, die er möglicherweise nicht allgegenbewährt haben würde.

Gut, über das Wort «allgegenbewährt» liesse sich gesondert diskutieren, ebenso über den Wassermann.

Aber es geht an dieser Stelle nicht um das Modell, sondern um die App. Die zeichnet sich durch folgende Merkmale aus:

• Über das Dropdown-Menü am oberen Bildschirmrand werden weitere Modelle installiert. Die Stärke von Private LLM ist die grosse Auswahl an KIs. Dutzende Sprachmodelle stehen zur Verfügung Nebst solchen, die wir kennen dürften (Qwen, Llama, Phi, Mistral, Gemma) gibt es auch solche, von denen wir vermutlich noch nie gehört haben (Rocket, Nous Capybara, Airoboros, Spicyboros, Sauerkraut – ja, Sauerkraut).
• Über das i-Symbol sehen wir, woher das Modell geladen wird. Die meisten stammen aus der Huggingface-Community, und über den Link gelangen wir zur entsprechenden Seite, in der die technischen Details und Instruktionen zur Verwendung nachzulesen sind.
• Antworten lassen sich durch längeres Antippen kopieren, auswählen, teilen oder neu generieren lassen.

Local Chat

Local Chat ist kostenlos erhältlich. Diese App irritiert damit, dass sie beim ersten Öffnen ohne Nachfrage mit dem Download eines Modells beginnt (Llama 3.2 3B). Klar, ohne LLM ist die App zu nichts nütze. Trotzdem würde ich eine Übertragung im Gigabyte-Bereich gern selbst anstossen. Ansonsten erfüllt die App ihren Zweck:

• Per Dropdown-Menü schalten wir zwischen den Modellen um.
• Über die (standardmässig ausgeblendete) Leiste am linken Rand sind die früheren Konversationen zugänglich. Es ist ersichtlich, mit welchem Modell sie erstellt wurden.
• Es gibt Knöpfe, um die Konversation zu kopieren oder zu löschen, den Prompt zu editieren und sie den Favoriten hinzuzufügen.
• Via Zauberstab-Symbol geben wir einen Systemprompt vor.

Das Angebot an LLMs ist in dieser App deutlich kleiner; es beschränkt sich auf Gemma, Llama und Qwen. Abgesehen von diesem Manko hat Local Chat den grösseren Funktionsumfang und ist benutzerfreundlicher.

Local Chat integriert auch einige Online-Modelle (Claude 3.5, Gemini 1.5 und GPT 4o). Das ist aus meiner Sicht nicht zwingend, ist aber sinnvoll, wenn direkte Vergleiche angestellt werden sollen. Einige der Modelle können nur über das Pro-Abo freigeschaltet werden, das vierzig Franken im Jahr, neun Franken pro Monat oder einmalig hundert Franken kostet. Dieses Abo ist mir zu teuer.

Fazit

Für Gelegenheitsnutzer und -nutzerinnen ist Local Chat eine hervorragende Wahl. Wer eine grössere Auswahl an Modellen benötigt, sollte zu Private LLM greifen: Der Einmalkauf für zehn Franken ist auf alle Fälle attraktiver als das teure Pro-Abo des Konkurrenten.

Nachtrag

Jetzt wollt ihr wahrscheinlich wissen, wie das bei Local Chat standardmässig geladene Sprachmodell (Llama 3.2) die Frage nach Wilhelm Tell beantwortet. Und recht habt ihr – das ist ein Highlight in der Geschichte der künstlichen Intelligenz.

Laut der Legende von Wilhelm Tell war er ein Schweizer Bogenschützer, der in der Stadt Kappel in der Schweiz lebte. Er war ein Vater von zwei Söhnen, Wilhelm und Franz. Der «Tell-Bruder» war ein Mann namens Gessler, der als Statthalter der Habsburger in der Schweiz diente.

Erstens: Wo ist Walter? Und zweitens: Wieso zum Landvogt hätte man Gessler als «Tell-Bruder» bezeichnen sollen? Was den zweiten Teil der Frage angeht, urteilt bitte selbst:

Wenn Wilhelm Tell heute wäre, würde er wahrscheinlich sehr überrascht sein, wie die Welt sich verändert hat. Er würde sich wahrscheinlich über die Fortschritte in der Technologie, die globale Vernetzung und die Vielfalt der Kulturen im 21. Jahrhundert freuen. Er würde sich wahrscheinlich auch über die Herausforderungen der heutigen Welt freuen, wie z.B. den Klimawandel, die Ungleichheit und die politischen Spannungen.

Juhuu, Klimawandel und politische Spannungen! Davon kann Tell in seinem langweiligen 14. Jahrhundert nur träumen!

Beitragsbild: Vermutlich würde er den Pfeil nicht auf den Apfel, sondern den Apple abschiessen – und ja, diesen Spruch wollte ich schon immer mal machen (Marlon Trottmann, Pixabay-Lizenz).