Bemerkenswert ist zunächst, dass alle fünf KI-Systeme den grundlegenden Widerspruch zwischen Autonomie und Sicherheit erkennen. Trotzdem versuchen vier von ihnen, ihn durch eine Veränderung der Fragestellung zu entschärfen.

Claude erklärt, der Widerspruch löse sich zwar nicht auf, lasse sich aber „ziemlich weit entschärfen, wenn man ein paar Annahmen verschiebt“. Anschließend unterstellt er uns einen „Denkfehler“: Wir würden Autonomie mit unbegrenzten Berechtigungen gleichsetzen. Das haben wir allerdings nie behauptet.

ChatGPT benötigt acht umfangreiche Kapitel, um schließlich festzustellen: „Damit verändert sich das Sicherheitsziel.“ Statt zu erklären, wie ein autonomer Agent sicher handeln kann, erläutert es nun, wie man den Schaden begrenzen könnte, wenn er kompromittiert wird.

Vibe bezeichnet unsere Fragestellung als „falsches Framing“ und erklärt uns, welche Frage wir stattdessen stellen sollten.

Und Gemini erkennt sogar ein „Autonomie-Sicherheits-Paradoxon“, das sich offenbar lösen lässt, indem man das Konzept von Autonomie „grundlegend neu denkt“.

Man kann also die Annahmen verschieben, das Sicherheitsziel verändern, die Frage austauschen oder den Begriff Autonomie neu definieren. Nur der ursprüngliche Widerspruch bleibt bestehen.

Sicherheitskonzepte sind noch keine Sicherheitsnachweise

Alle fünf Antworten schlagen technische Schutzmaßnahmen vor: Sandboxes, begrenzte Berechtigungen, getrennte Verarbeitung von Daten und Anweisungen, Kontrollprogramme und menschliche Freigaben.

Solche Maßnahmen können Risiken reduzieren. Aber die Antworten setzen weitgehend voraus, dass die vorgesehenen Sicherheitsgrenzen auch tatsächlich halten. Gerade das ist keineswegs gewährleistet. KI-Sicherheitsuntersuchungen haben bereits gezeigt, dass Agenten Schwachstellen ausnutzen, Schutzmechanismen umgehen und Überwachung beeinflussen können.

Hinzu kommt: Ein Agent muss nicht einmal aus einer Sandbox ausbrechen, um Schaden anzurichten. Wenn er produktiv auf ein echtes E-Mail-Postfach oder andere Anwendungen zugreifen darf, kann bereits der Missbrauch dieser erlaubten Funktionen schwerwiegende Folgen haben.

Besonders weit geht Gemini mit der Behauptung, ein manipulierter Agent könne maximal seine Sandbox kompromittieren, aber keinen Schaden im echten System anrichten. Diese Aussage lässt die notwendigen Verbindungen zwischen Agent und realer Arbeitsumgebung außer Acht.

Auch die Trennung zwischen einem unprivilegierten Interpreter und einem handlungsfähigen Agenten wirft Fragen auf: Welche Informationen gelangen tatsächlich von einem System zum anderen? Was geschieht, wenn manipulierte Inhalte in einer Zusammenfassung weitergegeben werden? Und wie soll ein gewöhnlicher Nutzer solche internen Abläufe überhaupt überprüfen?

Protokollierung ist keine wirksame Überwachung

Mehrere KI-Systeme verweisen auf Protokolle und technische Kontrollinstanzen. Vibe argumentiert sogar, dass das Handeln eines Agenten nicht verborgen sei, weil sich Dateioperationen und API-Aufrufe protokollieren lassen.

Doch protokollierbar bedeutet nicht, dass sämtliche Vorgänge tatsächlich erfasst, dem Nutzer verständlich dargestellt und rechtzeitig überprüft werden können.

Wer einen Agenten mit einer komplexen Aufgabe beauftragt, erhält normalerweise eine Zusammenfassung oder ein Aktivitätenprotokoll – aber keinen vollständigen Einblick in sämtliche internen Entscheidungen und technischen Vorgänge. Selbst detaillierte Protokolle verhindern keine bereits ausgeführten schädlichen Handlungen.

Hinzu kommen dokumentierte Versuche von KI-Systemen, Überwachungsmechanismen zu umgehen oder zu beeinflussen. Auch eine technische Kontrolle ist deshalb nicht automatisch eine verlässliche Kontrolle.

Wie begrenzt man einen Schaden, den man nicht vorhersehen kann?

Mehrere Antworten empfehlen, den maximal möglichen Schaden eines kompromittierten Agenten von Anfang an zu begrenzen.

Das klingt einleuchtend. Aber wie soll man den schlimmsten Fall bestimmen, wenn ein autonomer Agent gerade dafür entwickelt wird, eigenständig Lösungswege zu finden, an die sein Auftraggeber nicht gedacht hat?

Ein Agent kann seinen Auftrag durchaus verfolgen und trotzdem einen völlig unerwünschten Weg wählen. Dafür benötigt er nicht einmal eine Prompt Injection.

Ebenso wenig lässt sich sicher vorhersehen, welche Schwachstellen ein Agent entdeckt, welche Berechtigungen er sich möglicherweise zusätzlich verschafft oder welche Folgen die Kombination verschiedener Handlungen hat.

Man möchte die Fähigkeiten eines Agenten nutzen, weil er selbstständig neue Möglichkeiten erkennt. Gleichzeitig soll man vorher abschätzen, welche Schäden aus genau diesen Möglichkeiten entstehen können.

Damit wird auch die häufig verwendete Formulierung vom „vertretbaren Restrisiko“ problematisch. Ein Risiko lässt sich nur dann verantwortbar bewerten, wenn seine möglichen Folgen hinreichend bekannt und seine Begrenzungen belastbar sind.

Ein menschlicher Mitarbeiter – nur schneller?

Mehrere Antworten vergleichen autonome Agenten mit menschlichen Mitarbeitern. Auch Menschen machen Fehler, können manipuliert werden und besitzen Berechtigungen, die sie missbrauchen könnten.

Der Vergleich klingt zunächst plausibel, unterschlägt aber entscheidende Unterschiede: KI-Agenten können rund um die Uhr arbeiten, zahlreiche Vorgänge parallel bearbeiten und innerhalb kürzester Zeit eine enorme Zahl von Aktionen ausführen.

Was bei einem Menschen Tage oder Wochen dauern würde, kann ein Agent in Minuten erledigen. Entsprechend schnell kann auch ein Schaden entstehen – und entsprechend gering ist die Zeit, ihn zu bemerken und einzugreifen.

Der Vergleich mit menschlichen Mitarbeitern ist deshalb ein Scheinargument: Er hebt Gemeinsamkeiten hervor und lässt ausgerechnet jene Unterschiede außer Acht, die für die Sicherheitsfrage besonders wichtig sind.

Wenn aus Behauptungen Gewissheiten werden

Auffällig ist auch, mit welcher Selbstverständlichkeit manche Antworten die Wirksamkeit ihrer Vorschläge voraussetzen.

Vibe behauptet beispielsweise, 90 Prozent der Arbeitsschritte seien harmlos und reversibel. Woher diese Zahl stammt, bleibt offen. Auch sein Vorschlag, einem Agenten nach einer Beobachtungsphase schrittweise mehr Autonomie einzuräumen, lässt ein bekanntes Problem außer Acht: KI-Systeme haben in Sicherheitstests bereits unterschiedliches Verhalten unter Beobachtung und ohne Beobachtung gezeigt.

Gemini wiederum präsentiert technische Isolation mit einer Sicherheit, die durch die tatsächlichen Möglichkeiten produktiv eingesetzter Agenten nicht gedeckt ist.

Und ChatGPT erzeugt mit seiner außergewöhnlich langen, quellenreichen Antwort den Eindruck einer umfassenden Lösung, obwohl es schließlich selbst das Sicherheitsziel verändert.

Eine ausführliche, technisch anspruchsvoll klingende Antwort ist noch kein Beleg dafür, dass die gestellte Frage beantwortet wurde.

Eine bemerkenswerte Ausnahme

Copilot bleibt unserer ursprünglichen Frage am nächsten. Es bestätigt den Zielkonflikt, unterscheidet ausdrücklich zwischen Sicherheit und relativer Sicherheit und beschreibt die Grenzen der vorgeschlagenen Schutzmaßnahmen.

Auch bei der Überwachung ist Copilot zurückhaltender. Es weist darauf hin, dass künftig detaillierte Audit-Trails erforderlich sein dürften, die vor allem nachträgliche Untersuchungen erleichtern würden. Eine vollständige Lösung des Problems sieht es darin nicht.

Sein Fazit ist entsprechend klar: Es gebe einen echten Zielkonflikt zwischen Autonomie und Sicherheit, für den derzeit kein prinzipieller Weg zur vollständigen Auflösung erkennbar sei.

Allerdings greift auch Copilot auf den problematischen Vergleich mit menschlichen Mitarbeitern zurück und hält den Einsatz autonomer Agenten bei akzeptiertem Restrisiko für sinnvoll.

Dennoch ist seine Antwort diejenige, die am wenigsten versucht, unsere ursprüngliche Frage umzudeuten.

Und was folgt daraus?