Ein ausführlicher Test von Microsofts Office-KI

Copilot hält Einzug in die Büro-An­wen­dungen von Micro­soft: Ich lote aus, was die KI in Word, Excel, Power­point und Out­look kann – und vor allem auch, an wel­chen Auf­ga­ben sie schei­tert.

Seit Mitte Januar ist die Bezahl-Variante von Microsofts KI verfügbar. Copilot Pro kostet 21 Franken bzw. 22 Euro pro Monat und umfasst eine Reihe von Extra-Funktionen gegenüber der Gratisversion.

Ich habe von Microsoft einen Testzugang bekommen und schildere hier meine ersten Eindrücke:

1) Copilot via Web und App

Unter copilot.microsoft.com verwenden wir die KI via Browser; am Smartphone steht sie uns auch via App zur Verfügung (fürs iPhone und Android). Mit der Pro-Variante steht uns GTP-4 in der Varianten Creative, Balanced und Precise zur Verfügung, und es gibt – Leute, die in den 1980er-Jahren einen PC-Tower besessen haben, werden an dieser Stelle womöglich einen nostalgischen Backflash erleben – einen Turbo-Schalter, mit dem unsere Anfragen bevorzugt behandelt werden.

In der Rubrik Plug-ins dürfen Nutzerinnen und Nutzer von Copilot Pro bis zu drei Erweiterungen für eine Unterhaltung zuschalten. Die statten den Chat mit einem besonderen Drall aus:

  • Via Search werden Bing-Suchresultate einbezogen,
  • Instacart sorgt fürs kulinarische Verständnis des Copilots,
  • Kayak ist für touristische Informationen und Daten zu Flügen und Hotels zuständig,
  • Open Table lässt uns Restaurants recherchieren und Reservierungen vornehmen
  • und Klarna ist für Preisvergleiche zuständig.

Microsoft Copilot bietet neuerdings – auch den Gratis-Nutzerinnen und Nutzern – individuelle GPTs an. Das sind spezialisierte Varianten des Bots: Via Designer erstellen wir analog zu Dall-e Bilder. Weitere GPTs sind der Reiseplaner (Vacation Planner), der Kochassistent (Cooking assistent) oder der Fitnesstrainer.

Meine Wertung für Copilot im Web und als App:
  • Copilot hinterlässt einen unausgereiften Eindruck: Die Lokalisierung (Übersetzung) ist unvollständig; es gibt überall englische Texteinsprengsel und die Plug-ins sind teils US-zentriert.
  • Doch schon jetzt wird deutlich, wohin die Reise geht und wie es sich Microsoft vorstellt, dass wir mit der KI arbeiten.
  • Im direkten Vergleich halte ich die Resultate von ChatGPT für besser; die Details dazu beschreibe ich hier.

2) Copilot in Word

Mein eigentliches Interesse gilt der Integration von Copilot in die Office-Apps. Bringt die einen Vorteil gegenüber der hemdsärmligen Methode, den Text via Zwischenablage aus ChatGPT oder Copilot ins Dokument einzufügen?

In Word finden wir die Schaltfläche Copilot in der Multifunktionsleiste am rechten Rand der Rubrik Start. Wenn wir sie anklicken, erscheint ein Panel am rechten Rand, über das wir unsere Prompts tippen. Links neben der Einfügemarke gibt es einen Copilot-Knopf, der beim Anklicken das Eingabefeld Entwurf mit Copilot zum Vorschein bringt.

Über das können wir einen Rohtext für einen Brief formulieren lassen. Es ist auch möglich, eine Gliederung oder ein Textgerüst anzufordern.

Zum generierten Text erscheint ein Pop-up-Fenster, über das wir den Entwurf modifizieren, etwa mit der Aufforderung, den Entwurf formeller oder salopper zu schreiben.

Das Inhaltsverzeichnis fürs Dokument wird nicht direkt eingefügt, sondern nur in der Seitenleiste angezeigt.
Meine Wertung für Word: ⭐⭐
  • Gegenüber der Copy-Paste-Methode hat der eingebaute Copilot den Vorteil, dass er seine Entwürfe sauber formatiert einfügt (naja, soweit man in Word sauber formatieren kann): Es gibt einen Titel, der auch mit der Absatzvorlage Titel ausgezeichnet ist und eine Gliederung ist als Aufzählung formatiert.
  • Das Pop-up-Fenster verschwindet, sobald wir den Text von Copilot bearbeiten. Nun ist nicht mehr nachvollziehbar, welchen Text wir selbst geschrieben haben und welcher Text von der KI stammt.
  • Die Nachvollziehbarkeit der KI-Einflüsse wären aber entscheidend. Der Schweizer Konkurrent Ia Writer 7 verhält sich in dieser Frage eindeutig schlauer: Bei dieser Textverarbeitung ist auch im Verlauf des Bearbeitungsprozesses immer ersichtlich, welche Passagen wir selbst geschrieben haben und welche von der KI stammen.
Formatierungs-Aufgaben übernimmt die KI nicht selbst, sondern liefert lediglich Instruktionen.

Zur KI in Word stellen sich grundsätzliche Fragen:

  • Ein ethisch fragwürdiges, aber aus Nutzersicht wünschenswertes Merkmal von Copilot in Word wäre, wenn die KI versuchen würde, den Schreibstil der Nutzerin oder des Nutzers anhand von vorhandenen Dokumenten zu erlernen und zu imitieren. Davon ist bislang nichts zu sehen.
  • Das grundsätzliche Dilemma, dass von einer KI formulierte Texte unsere Werke verwässern, unsere Stimme als Autor verfälschen und darum eine zweischneidige Angelegenheit ist, adressiert Microsoft nicht.

Unproblematisch ist der Einsatz von Copilot, wenn wir die KI dazu verwenden, unser Dokument zu strukturieren und zu formatieren:

  • Ich habe Copilot aufgefordert, mir (zum Text dieses Blogposts hier) ein Inhaltsverzeichnis zu erzeugen und jedes Kapitel zusammenzufassen. Die nummerierten Überschriften hat er schön zusammengetragen, aber statt der Zusammenfassung verwendete er jeweils den ersten Satz des Abschnitts – nicht das, was ich wollte.
  • Zweiter Gestaltungsversuch mit der Aufforderung: «Kannst du mir dieses Dokument magazinartig formatieren und mit Bildern illustrieren?» Das funktioniert nicht: «Ich kann das Dokument nicht direkt für Sie formatieren, aber ich kann Ihnen Anweisungen geben, wie Sie es selbst tun können.»

3) Copilot in Excel

Besonders neugierig bin ich auf Copilot in Excel. Denn wie schon früher festgestellt, ist das Potenzial hier besonders gross: Statt uns mit Formeln herumzuschlagen, stellen wir der KI unsere Fragen zum Tabellenblatt.

Als erstes fällt auf, dass der Copilot-Knopf ausgegraut ist. Hier erfahren wir, dass die Funktion nur bei Dokumenten zur Verfügung steht, die in Onedrive gespeichert sind. Das ist unbefriedigend.

Nachdem ich probehalber ein Dokument in die Cloud verfrachtet habe, stehen Befehle zum Hinzufügen von Spalten mit Formeln (Add formula columns), für Hervorhebungen (Highlight), Sortieren und Filtern (Sort and filter) und Anaylisieren (Analyze) zur Verfügung.

Copilot weist mich darauf hin, dass er bislang nur in Englisch funktioniert. Und er erklärt mir, dass er, um mit den Daten zu arbeiten, mein Blatt in eine Excel-Tabelle verwandeln müsse. Das macht er auf Wunsch und das Resultat der Bemühungen ist eine mit Spaltenköpfen formatierte und Zebramuster ausgestattete Tabelle.

Doppelte Einträge markieren, neue Spalten mit Formeln einfügen – alles kein Problem für Copilot.

Ich markiere eine Spalte, in denen es teils identische Einträge hat und bitte Copilot, mir die Dubletten zu markieren. Das tut er. Es ist allerdings nötig, dass ich in meinem Prompt spezifiziere, welche Spalte er bearbeiten soll. Die Markierung der fraglichen Spalte scheint Copilot nicht zu berücksichtigen.

Mein Testobjekt ist meine Excel-Tabelle mit meinen Artikeln von 2023, die den Volltext der Artikel enthält. Ich fordere Copilot auf, eine Spalte einzufügen, in der er mir die Anzahl Worte für jeden Artikel ausrechnet¹. Er liefert prompt die Formel² und bietet an, sie im Detail zu erklären. Nach einem Klick auf den Knopf Insert Formula wird die Spalte mit der Formel eingefügt. Und sie tut genau das, was sie sollte³.

Meine Wertung für Excel: ⭐⭐⭐⭐
  • Die Copilot-Funktion macht in Excel einen unfertigen Eindruck: Sie wurde bisher nicht eingedeutscht und die Einschränkung, dass eine Tabelle in Onedrive liegen muss, finde ich störend.
  • Trotzdem: Es ist schon jetzt absehbar, dass Copilot in Excel ein enormes Potenzial hat. Die KI senkt die Hürden für komplexe Analysen und Formeln massiv.
  • Natürlich ist ein grundlegendes Verständnis für die Funktionsweise einer Tabellenkalkulation weiterhin sinnvoll und wir müssen in der Lage sein, unser Anliegen eindeutig und unmissverständlich zu formulieren.
  • Dennoch macht es einen Unterschied, ob wir die Syntax von Formeln und z.B. den Aufbau einer Pivot-Tabelle verinnerlicht haben oder unseren Wunsch natürlichsprachlich zum Ausdruck bringen können.
  • Nicht geklappt hat der Versuch, mir von Copilot ein Diagramm erstellen zu lassen.

4) Copilot in Powerpoint

Ich bin erklärtermassen kein Freund von Powerpoint. Wir müssen uns mit Vorlagen und Formatierungsfragen herumschlagen und werden von der Software dazu gebracht, uns in Aufzählungen zu verlieren und unsere Folien zu überfrachten. Darum sehe ich ein riesiges Potenzial in Copilot: Wie toll wäre es, wenn die KI formale Mängel einer Präsentation ausbügeln könnte?

Standardmässig stellt uns Copilot Befehle wie Erstelle eine Präsentation, Füge eine Folie hinzu über … und Stelle eine Frage zu diesem Foliensatz zur Verfügung. Über den Knopf Eingabeaufforderung zeigen können wir uns – übrigens nicht nur in Powerpoint, sondern auch in den anderen Office-Anwendungen – zeigen lassen, welche Prompts möglich sind. Bei Powerpoint decken die Prompts die Bereiche Erstellen, Verstehen, Bearbeiten und Fragen ab.

Ich probiere es mit simplen Aufgaben: Zu einer meiner drögen Präsentationen fordere ich Copilot auf, die «Präsentation optisch ansprechender» zu machen. Das klappt nicht: «Wiederholen Sie Ihre Anforderung. Wenn das nicht funktioniert, versuchen Sie, es umzuformulieren.»

Auch die Aufforderung, zu den markierten Folien ein passendes Foto hinzuzufügen, funktioniert nur im Ansatz: Die KI bearbeitet nicht alle markierten Folien, sondern nur die gerade geöffnete. Und das Bild eines Bergs zum Bedeutungsverlust von Twitter würde ich nicht als passend bezeichnen.

Diese ursprünglich rein textbasierte Folie hat Copilot mit einem Bild ausgestattet. Bei der Wahl des Motivs war die KI nicht sehr treffsicher.

Einen weiteren Versuch unternehme ich mit einer meiner überfrachteten Präsentationen: «Passe diese Präsentation so an, dass auf jeder Folie höchstens drei Sätze stehen», ist meine Aufforderung. Copilot tut das nicht etwa, sondern retourniert Instruktionen, wie ich das selbst tun kann. Und nein, das ist nicht das, was ich wollte.

Letzter Versuch: Kann mir Powerpoint eine Präsentation dieses Blogposts hier anfertigen? Das führt auch nicht zum Ziel. Der Prompt darf maximal 2000 Zeichen enthalten, doch mein Blogpost hier hat mehr als viermal so viele Zeichen.

Meine Wertung für Powerpoint: ⭐
  • Copilot in Powerpoint ist eine Enttäuschung. Er hat keine meiner Aufgaben befriedigend erfüllt.
  • In Powerpoint wäre die formale Hilfe durch die KI sehr gefragt. Doch das vermag Copilot bislang nicht zu leisten.
  • Damit hat Microsoft das derzeit mögliche Niveau nicht erreicht. Wie sich anhand eines Fliesstextes automatisch Präsentationen zumindest in Rohfassungen erstellen lassen, zeigt mein Test von Slidesai.io.

Komplett nutzlos ist die neue KI-Funktion jedoch nicht. Die folgenden Dinge sind mir positiv aufgefallen:

  • Die Zusammenfassung, die Copilot von Präsentationen anfertigt, sind nützlich: Die ergeben ein Inhaltsverzeichnis und können hervorragend für Einladungen oder Ankündigungen zu einem Vortrag verwendet werden.
  • Der Befehl Organisiere diese Präsentation gibt einer Präsentation mehr Struktur: Am Anfang wird ein Titelblatt und eine Agenda-Seite eingefügt, in der wir den zeitlichen Ablauf skizzieren könnten. Am Ende fügt Copilot eine Folie ein, die die Zusammenfassung ankündigt.
  • Via Copilot können wir ein Gerüst für eine neue Präsentation erstellen lassen. Die Folien werden jeweils automatisch mit mehr oder weniger passenden Illustrationen und Stock-Fotos ausgestattet. Wir können auch Gestaltungsvorgaben wie «modern und abwechslungsreich» machen. Das vereinfacht den Start tatsächlich, auch wenn die Gefahr besteht, dass wir uns zu sehr an der vorgegebenen Struktur orientieren.
Eine automatisch generierte Präsentation zum Thema KI. Falls das eine Hausaufgabe war, sollten wir die aber nicht 1:1 unserer Klasse vorführen.

5) Copilot in Outlook

Es gibt die KI auch in Outlook – zumindest theoretisch. Bei meinem Test habe ich die KI nicht entdeckt. Warum muss ich noch herausfinden. Meine Vermutung ist, dass Microsofts Experimente mit dem neuen Outlook ein Chaos angerichtet haben.

Von der Präsentation, die ich live aus Redmond erhalten habe, weiss ich aber ungefähr, was die KI in der Mail- und Kalender-App leistet. Sie fasst lange Mails zusammen, was theoretisch sinnvoll wäre, in der Praxis aber so lange dauert, dass ich in der Zeit die Mitteilung selbst quergelesen habe.

Natürlich hilft Copilot auch beim Schreiben von Nachrichten. Ich halte davon absolut gar nichts – siehe Wann ChatGPT als Ghostwriter okay ist – und wann nicht. Aber ohne Zweifel werden das viele andere Leute natürlich anders sehen.

Meine Wertung für Outlook: ⭐⭐
  • Falls Microsoft es schafft, die Zusammenfassungsfunktion zu beschleunigen, wäre die echt nützlich. Naheliegend wäre es, lange Mails gleich beim Eintreffen einzudampfen, sodass wir beim Sichten des Posteingangs schon das executive summary zu Gesicht bekommen.
  • Ich würde das noch weitertreiben: Wie wäre es mit einem Report, der jeden Morgen beim Öffnen der Mail-App anzeigt, welche Nachrichten unsere Aufmerksamkeit benötigen, was die Schwerpunkte bei den Newsletters sind und welche Nachrichten wir schon seit Längerem vor uns herschieben?
  • Die Möglichkeit, Mails per KI zu verfassen, wird ohne Zweifel dazu führen, dass wir zukünftig noch mehr unsinniges Geschwafel in unseren Inboxen vorfinden.

Fussnoten

1) Add a column between M and N, where you add a formula to calculate the number of words of the entry in column M.

2) =LÄNGE(GLÄTTEN([@Inhalt]))-LÄNGE(WECHSELN(GLÄTTEN([@Inhalt]);" ";""))+1

3) Natürlich habe ich kontrolliert, ob die Anzahl der Wörter auch korrekt bestimmt wird. Dabei ist mir aufgefallen, dass diese Angabe je nach Programm stark abweicht – es scheint nicht klar zu sein, was genau ein Wort ist. Für den gleichen Text gibt mir Excel 770, Word 787. Notepad++ 815 und Word­press 619 Wörter an. Via wordcounter.net komme ich auf 794 Wörter. Das ist ein Mysterium, dem ich gesondert werde nachgehen müssen.

4) «Um die Präsentation so anzupassen, dass auf jeder Folie höchstens drei Sätze stehen, können Sie die folgenden Schritte ausführen:

  1. Öffnen Sie die Präsentation in PowerPoint.
  2. Gehen Sie jede Folie durch und reduzieren Sie die Anzahl der Sätze auf drei, indem Sie unnötige Informationen entfernen oder mehrere Sätze zu einem zusammenfassen.
  3. Überprüfen Sie jede Folie, um sicherzustellen, dass sie nicht mehr als drei Sätze enthält.»

5 Kommentare zu «Ein ausführlicher Test von Microsofts Office-KI»

    1. Ich habe mich bei dem Test auf die formalen Möglichkeiten konzentriert. Aber bei früheren Gelegenheiten durfte ich feststellen, dass Copilot nicht von Halluzinationen gefeit ist – ganz im Gegenteil. Beim Start hat der Bot teils übel gelogen. Das wurde über die Zeit besser, aber ich Recherchen müssen unbedingt immer gegengeprüft werden.

      1. @Matthias Auto fährt nicht aber die Innenausstattung ist schön und das radio hat einen guten sound… 🤦‍♂️

        Sowas finde ich massiv irreführend 👎🏼

        P.s.: jaja du hast nicht gelogen oder sonst was und in der Zukunft wird das bestimmt alles besser und die Nutzer sind schuld weil prompts und ansonsten bestimmt Ausnahme.

          1. @Matthias
            Ich will tech.
            Tech ist zuverlässig.
            Ist tech nicht zuverlässig dann brauche ich sie nicht.
            Niemand hat nach LLM's gefragt. Die sind halt ne Kopfgeburt. Das müssen die Firmen was draus machen was ich brauchen soll. Ist nicht meine Aufgabe.
            Deine Frage projiziert auf Google suchen: wie gut muss eine Suchmaschine sein damit ich sie ins Netz Stelle. Da könntest du sogar einen F1 score nennen etc.
            Keine Ahnung.
            D.h. Alles besser als nix. LLM's müssen besser sein als keine LMM's.

Kommentar verfassen