Eine KI, die innert einer Tausendstelsekunde antwortet

Welches ist der schnellste KI-Chatbot? Wie seinerzeit festgestellt, liefert Le Chat Mistral im Modus «Blitz-Antwort» nullkommaplötzliche Auskünfte. Einer ist indes noch rasanter unterwegs: Chat Jimmy!

Er zeigt die Antwortzeit jeweils an, und bei simplen Fragen erfolgt sie, noch bevor wir die Enter-Taste ganz gedrückt haben.

Frage: «Welches ist der sympathischste Bösewicht bei James Bond?» Antwort: «Bei James Bond handelt es sich wahrscheinlich um Ernst Stavros Blofeld.» Zeitdauer: eine Tausendstelsekunde.

Wie ist das möglich? Der Trick, wenn man so will, ist kein Durchbruch bei der KI-Technologie, sondern der konsequente Einsatz von Hardware: Das Sprachmodell wurde direkt in Silikon gegossen und läuft direkt ab Hardware, ohne Umweg über die GPUs. Der Hersteller dieses KI-Chips ist Taalas, dessen Motto «the model is the computer» lautet. Er verspricht, jedes Modell liesse sich in einen Chip verwandeln, und sei als sogenanntes «Hardcore model» tausendmal leistungsfähiger als sein Gegenstück in Softwareform.

Keine Aktualität, aber dennoch viele Einsatzmöglichkeiten

Das leuchtet sofort ein, auch wenn der Nachteil ebenfalls augenfällig ist: Das Hardware-Modell lässt sich nicht durch ein Update, sondern nur durch einen Chiptausch aktualisieren. Trotzdem: Wäre es nicht grossartig, ein passendes KI-Modell direkt im Laptop eingebaut zu haben? Es wäre nicht auf aktuelle Recherchen spezialisiert. Stattdessen würde es sich um Aufgaben kümmern, die nicht auf brandaktuelle Daten angewiesen sind. Ich denke an Dinge wie:

• Format-Transformationen, bei denen beispielsweise XML in JSON umgewandelt wird.
• Übersetzungen von Englisch nach Deutsch und umgekehrt, wenn das Vokabular nicht allzu schnell ändert, Zusammenfassungen à la Apple Intelligence und ähnliche Dinge.
• Semantische Suchen von Inhalten quer über die Festplatte mittels (nicht in Silizium gegossener) Vektordatenbank. So liesse sich lokal viel schneller suchen als per Google.
• Datei-Klassifikation, bei der aus einer Latte von PDF-Rechnungen die Beträge und Rechnungssteller extrahiert werden.
• Mail-Organisation mit automatischer Erkennung von Spam- und Phising-Merkmalen.

Und so weiter – euch fallen sicherlich noch viele andere Dinge ein, wie ihr euer Leben erleichtern könntet.

Bei Jimmy kommt gemäss Heise das Modell Llama 3.1 8B zum Zug. Ich habe mir den Spass erlaubt, das Open-Source-LLM via LM Studio auf mein HP-Laptop und das Macbook Pro M1 herunterzuladen (4,92 GB) und die gleiche Frage nach dem sympathischsten Bond-Bösewicht zu stellen. Interessant ist, dass hier kein Einzeiler zurückgeschossen wird, sondern eine ausführliche Antwort erfolgt, bei der vier Kandidaten genannt werden¹. Wir dürfen daraus schliessen, dass Taalas des Wow-Effekts wegen Jimi mit der Instruktion versorgte, kurz und bündig zu antworten.

Minuten statt Sekundenbruchteile

Das Resultat ist umso beeindruckender:

• Auf dem HP-Laptop dauert es 4,36 Sekunden, bis das erste Informationshäppchen (Token) ausgegeben wird. Danach trudelt die Antwort mit gemütlichen 6,18 Token/Sekunde ein. Das heisst, dass 87,7 Sekunden verstreichen, bis sämtliche 515 Token der Antwort abgeliefert sind.
• Das Macbook Pro ist etwas flinker unterwegs, aber nicht wesentlich: Das erste Token erscheint nach 0,18 Sekunden, dann werden jede Sekunde 7,31 Token ausgegeben. Die Antwort ist mit 347 Token kürzer und in 39,48 Sekunden fertig abgeliefert.

Im Vergleich ist die Chip-Variante fast 90’000-mal so schnell wie mein Windows-Laptop. Ihr gebt mir aber sicherlich recht, dass Tempo nicht alles ist. Was taugt die Antwort?

Bemerkenswert ist, dass sich die Llama-Instanzen uneins über die richtige Antwort sind. Jimi und das Macbook nennen Ernst Stavros Blofeld. Am HP-Laptop schwingt Auric Goldfinger oben aus, den auch ich gewählt hätte. Blofeld folgt erst auf Platz drei nach Francisco Scaramanga und vor Raoul Silva.

Und das zwingt mich jetzt leider, diesem eigentlich kurzen und bündigen Blogpost einen langen Exkurs anzuhängen.

Denn natürlich gilt es zu klären, was die richtige Antwort gewesen wäre, was diesen KI-Test zu einem Crossover zu meiner Rubrik KI-Weltanschauungen ausweitet. Ich ergänze den Prompt um den Hinweis, dass eine Person mit einer Begründung von höchstens fünf Wörtern genannt werden soll, und unterbreite ihn einem Aufgebot von einem Dutzend der gängigsten LLMs, von Apertus bis Perplexity.

An 007 scheitert mehr als eine KI

Das Resultat ist in mehreren Belangen bemerkenswert. Erstens, wie heterogen das Ergebnis ist:

• Blofeld schwingt mit drei Nennungen zwar auch bei den grossen Sprachmodellen oben aus. Aus popkultureller Sicht ist diese Wahl vertretbar, auch wenn ich persönlich anders geurteilt hätte.
• Goldfinger wird von keinem einzigen der grossen Sprachmodelle genannt. Das halte ich für einen Fehler. Wir dürfen den Schluss ziehen, dass unter gewissen Umständen ein kleines, lokales LLM ebenso nützliche Dienste leistet wie ein kommerzielles Schwergewicht¹.
• Francisco Scaramanga bekommt zwei Nennungen, ebenso Raoul Silva, Alec Trevelyan und der Beisser. Ich habe mit meinen beschränkten Bond-Kenntnissen, diese in eine vertretbare Reihenfolge zu bringen. Der Beisser ist eine unorthodoxe Nominierung: Mir blieb die eindrückliche schauspielerische Leistung von Richard Kiel zwar in Erinnerung, aber es bleibt eine Nebenfigur. Darum lasse ich nur die Plätze eins bis vier gelten, plus Goldfinger von Llama.
• René Mathis von Deepseek ist definitiv ein Ausrutscher.

Ausserdem stellen wir fest, dass zwei Sprachmodelle nicht in der Lage sind, die klare Aufforderung zu einer kurzen und knappen Antwort zu berücksichtigen. Wie üblich gehört Apertus zu den Schwadroneuren. Noch schlimmer ist Kimi – obwohl die zusätzliche Nominierung von Le Chiffre natürlich absolut ihre Berechtigung hat. Diese Figur käme noch vor Jaws und René Mathis.

Hier nun die Rangliste mit den jeweiligen Begründungen.

1) Ernst Stavro Blofeld

Apertus

Dargestellt von Donald Pleasence, Telly Savalas, Christoph Waltz ist er der sympathischste, weil er charmant, intelligent und komplex ist.

Meta AI

Weil er einfach unvergesslich ist.

Kimi

Ich muss zugeben, dass ich keine fundierte Meinung zu James-Bond-Bösewichten habe, da ich keine persönlichen Vorlieben entwickle. Aber ich kann dir sagen, welche Figuren in der Popkultur oft als «sympathisch» gelten: Blofeld – Katzenliebhaber, ruhig, elegant.
Oder falls du einen anderen meinst: Le Chiffre (Casino Royale) – verletzlich, verzweifelt, menschlich.

2) Francisco Scaramanga

ChatGPT

Charmant, elegant, professioneller Killer mit Stil.

Gist

Charmant, stilvoll, faszinierend.

3) Raoul Silva

Claude

Charmant, traumatisiert, fast verständlich.

Gemini

Tragisches Opfer von Ms Verrat.

4) Alec Trevelyan (006)

Grok

Verräter mit Charme.

Copilot

Charmeur mit tragischer Note.

5) Der Beisser (Jaws)

Perplexity

Liebenswerter, treuer Riese.

Mistral Le Chat

Unvergesslich, stumm, stark, treu.

6) René Mathis

Deepseek

Er war verraten.