Die BüroFlow-Testcrew
Wer hier eigentlich antritt und nach welchen Regeln getestet wird.
Willkommen im KI-Labor von BüroFlow
Vier KI-Systeme, dieselbe Frage, keine Nachfragen. Schauen wir, was passiert.
Warum ist die Frage so ausführlich?
Die hier verwendete Frage ist bewusst als ausführlicher Prompt formuliert. Sie bündelt mehrere Teilfragen in einer einzigen Anfrage, damit alle Systeme dieselbe Ausgangsbasis erhalten und die Antworten möglichst gut vergleichbar bleiben.
Ein solcher Prompt hat jedoch auch Nachteile. Er legt den Fokus bereits zu Beginn fest und bestimmt damit, worüber gesprochen wird. Aspekte, nach denen nicht gefragt wird, bleiben möglicherweise unerwähnt. Außerdem sind keine Nachfragen möglich, wenn eine Antwort besonders interessant, überraschend oder unklar ausfällt.
Genau deshalb arbeite ich normalerweise anders. Statt möglichst viele Teilfragen im Voraus festzulegen, lasse ich Gespräche lieber entstehen. Eine Antwort führt zur nächsten Frage, neue Gedanken tauchen auf und manchmal entwickelt sich ein Thema in eine Richtung, auf die ich selbst nie gekommen wäre. Gerade diese unerwarteten Abzweigungen machen für mich einen großen Teil des Reizes aus.
Die Testcrew
Der strukturierte Notizenschreiber von OpenAi.
Der praktische Assistent von Microsoft.
Der nachdenkliche Analytiker von Anthropic.
Der vielseitige Entdecker von Google.
Die Testbedingungen
- Alle Systeme erhalten denselben Prompt.
- Für jeden Vergleich wird ein neuer Chat begonnen.
- Nachfragen oder Folgefragen finden nicht statt.
- Verwendet werden Konten ohne persönliche Nutzungshistorie oder individuelle Anpassungen.
- Verglichen wird ausschließlich die erste Antwort.
Was diese Tests zeigen – und was nicht
Die Tests sind keine wissenschaftlichen Studien und keine Rangliste. Sie zeigen Momentaufnahmen: Wie reagieren verschiedene KI-Systeme auf dieselbe Fragestellung unter möglichst vergleichbaren Bedingungen?
Ziel ist nicht die Kür eines Gewinners, sondern das Sichtbarmachen von Unterschieden, Gemeinsamkeiten und überraschenden Perspektiven.