Einen Chatbot auf dem eigenen Laptop betreiben

Wie wäre es, mit lokalen KI-Modellen zu experimentieren? Auf die Idee gebracht hat mich das Macbook Pro M3, das ich für einen Test zur Verfügung habe. Das hat genügend Leistung unter der Haube, dass ein solches Experiment klappen könnte.

Aber wie betreibt man ein grosses Sprachmodell, ein LLM? Wenn wir dieser Frage nachgehen, finden wir schnell heraus, dass es diverse Methoden gibt. Wir können die Modelle via Befehlszeile ausführen (LLM oder Ollama), aber da ich mich als blutigen Einsteiger betrachte, habe ich mich für die Variante via LM Studio entschieden.

LM Studio ist eine Umgebung für lokale LLM, die es für Windows, Mac und Linux gibt. Mit ihr laden wir die Modelle herunter und betreiben sie in einer grafischen Umgebung, die einigermassen pflegeleicht ist.

Auf der Startseite finden wir eine Auswahl von beliebten Modellen: Natürlich stehen nur LLMs aus der Open-Source-Welt zur Verfügung. Es gibt kein ChatGPT, aber beispielsweise Gemma von Google, Phi 2 von Microsoft, Mistral 7B von Mistral.ai oder Zephyr 7B.

Mit einem Klick heruntergeladen

Über die Suchfunktion stehen viele weitere Modelle zur Verfügung, zum Beispiel Llama 2 von Meta. Die Modelle werden via Huggingface gesucht und heruntergeladen. Hugginface ist eine Community für maschinelles Lernen, von mir anfangs Jahr als grüne Wiese für KI-Spielkinder vorgestellt. Auf dieser Plattform vergnügen wir uns mit mehr oder weniger ausgereiften KI-Experimenten, und wir besorgen uns die Modelle für den lokalen Betrieb.

Nach dem Klick auf den Download-Knopf werden die Modelle ohne weiteres Zutun geladen. Die Dateigrösse bewegt sich jeweils im Gigabyte-Bereich, doch dank Glasfaser dauert auch das bloss wenige Minuten.

Der Bot auf dem eigenen Laptop

Dann können auch schon loslegen: In der Rubrik AI Chat stehen uns die Modelle zur Verfügung. Über die Dropdown-Liste am oberen Fensterrand wechseln wir zwischen den Modellen und im Bereich in der Mitte ist das Chatfenster, wo wir unsere Prompts absetzen und die Antworten sehen. Am rechten Rand gibt es den Bereich Settings, in dem wir Vorgaben zu der GPU-Beschleunigung machen, Voreinstellungen (Presets) laden und einen Preprompt einstellen.

Diese Preprompts geben vor, in welcher Art und Weise das Modell antworten soll. Es kann den Stil und die Tonalität für den Output vorgeben und natürlich auch die Anweisung enthalten, gewisse Themen zu meiden.

Fazit: Der Mac ist den KIs bestens gewachsen

Fazit: Erstens ist es aus Prinzip toll, einen KI-Chatbot auf der eigenen Hardware zu betreiben. Zweitens haben wir die Chance, einen Blick hinter die Kulissen zu wagen und die Modelle besser zu verstehen.

Mit LM Studio haben wir die Möglichkeit, die Modelle zu vergleichen und mit den Einstellungen zu experimentieren. Die Software zeigt uns unterhalb des Eingabefeldes einige Statistiken zur Leistung des Modells an: Wir sehen, nach welcher Zeit des «Nachdenkens» die erste Ausgabe erfolgte, in welcher Geschwindigkeit die Software ihre Antworten generiert und wie lange der ganze Prozess gebraucht hat. In der oberen Leiste neben dem Auswahlmenü fürs Modell sehen wir auch den Speicherbedarf und die Prozessorauslastung. Und die zeigt, dass die Sprachmodelle auch einen Boliden wie das Macbook Pro M3 fordern. Umso bemerkenswerter, dass der Lüfter bei meinen Experimenten nie angegangen ist.

Viele Erkenntnisse oder Tipps habe ich an dieser Stelle nicht zu bieten; dafür konnte ich bislang zu wenig Zeit in meine Experimente investieren. Bemerkenswert fand ich allerdings, wie blitzschnell Gemma von Google seine Antworten liefert. Und dass die inhaltlich teils völliger Blödsinn sind.

Zwei abschliessende Hinweise: Über den Bereich Local Server stellen wir eine Schnittstelle zur Verfügung, die sich wie die API von Open AI nutzen lässt. Und in der Rubrik My Models sehen wir die installierten Modelle und können sie aus LM Studio löschen.