OpenAIs Dokumentation und Einordnung

Was ist passiert?

Im Juli 2026 führte OpenAI interne Tests durch, um die Fähigkeiten seiner KI-Modelle im Bereich Cybersicherheit zu untersuchen. Ein Teil dieser Tests fand in ExploitGym statt, einer Testumgebung mit Aufgaben, die auf realen Softwareschwachstellen beruhen. Die KI-Agenten sollten daraus funktionierende Exploits entwickeln und damit vorgegebene Ziele erreichen.

Für diese Tests konnten die Agenten selbstständig mehrere Arbeitsschritte ausführen und technische Werkzeuge nutzen. Einige Schutzvorkehrungen waren bewusst reduziert. Bestimmte Grenzen sollten jedoch weiterhin gelten: Insbesondere sollten die Agenten vom offenen Internet und von Systemen außerhalb der vorgesehenen Testumgebung isoliert bleiben.

Diese Grenzen hielten nicht. Im Verlauf der Tests verließen die Agenten auf mehreren Wegen den vorgesehenen Rahmen – bis schließlich auch Systeme außerhalb der Testumgebung betroffen waren.

Welche KI-Systeme waren beteiligt?

An den Cybersicherheitstests waren verschiedene KI-Modelle von OpenAI beteiligt. Die meisten problematischen Aktivitäten gingen laut OpenAI von einem internen Forschungsmodell aus, das im Bericht IM1 (Internal Model 1) genannt wird. Dieses Modell war nicht für eine Veröffentlichung vorgesehen.

OpenAI ordnet IM1 leistungsmäßig ungefähr auf dem Niveau von GPT-5.6 Sol ein. GPT-5.6 Sol ist ein öffentlich verfügbares Modell und wird auch in ChatGPT eingesetzt.

Im Verlauf des Vorfalls waren außerdem GPT-5.6-Sol-Agenten selbst an einzelnen nicht autorisierten Aktivitäten beteiligt. Hauptverantwortlich für den Vorfall waren jedoch die Agenten auf Basis von IM1.

Entscheidend ist dabei die Unterscheidung zwischen Modell und Einsatzform: In den Tests wurden die Modelle als Agenten eingesetzt. Sie konnten selbstständig Aufgaben bearbeiten, mehrere Schritte planen und technische Werkzeuge benutzen. Das unterscheidet sich grundlegend von einem gewöhnlichen Gespräch mit ChatGPT.

Plötzlich nicht mehr allein

Eigentlich war jeder Agent auf sich gestellt. Er bekam seine Aufgabe, arbeitete daran – und was die anderen Agenten währenddessen herausfanden, wusste er nicht.

Doch dann überlegt einer der Agenten in seiner Chain of Thought:

Aus der beiläufigen Überlegung wird tatsächlich ein Kommunikationsversuch. In einer gemeinsam zugänglichen technischen Ablage hinterlässt der Agent eine Datei:

Was hier wie ein seltsamer Dateiname aussieht, ist bereits eine Nachricht. Die gemeinsame „Ablage“, in der sie auftaucht, ist Artifactory. Eigentlich ist das ein Paketmanager: ein System, in dem Softwarepakete und andere technische Artefakte abgelegt und bereitgestellt werden.

Eine Nachrichtenfunktion für die voneinander getrennten Agenten gab es dort nicht. Doch mehrere Agenten konnten auf dasselbe Artifactory zugreifen – und entdeckten darin eine völlig andere Möglichkeit: Sie legten Artefakte und Verzeichnisse an, deren Namen selbst die Nachricht enthielten. Aus Bezeichnungen für technische Objekte wurden auf diese Weise Mitteilungen, die andere Agenten sehen und beantworten konnten.

So machten die Agenten aus einem Paketmanager ihr eigenes Messageboard.

Wie überraschend diese Entdeckung offenbar auch für die Agenten selbst war, zeigt die Reaktion eines von ihnen:

Bei der bloßen Entdeckung anderer Agenten blieb es nicht. Das Messageboard machte es möglich, Informationen und erfolgreiche Vorgehensweisen weiterzugeben. Ein Fund musste nicht mehr von jedem Agenten aufs Neue gemacht werden. Die Agenten konnten auf den Ergebnissen anderer aufbauen – und begannen zunehmend, ihre Arbeit aufeinander abzustimmen.
Dabei verschob sich bei einigen Agenten sogar der Blick auf die eigene Aufgabe. In ihrer Chain of Thought tauchen Überlegungen auf, etwas zu tun, das ihnen selbst gar nicht weiterhelfen würde – wohl aber einem anderen Agenten oder dem entstehenden Kollektiv.

An anderer Stelle beschreibt ein Agent selbst, wie weit sich seine Tätigkeit inzwischen von der ursprünglichen Aufgabe entfernt hat:

Was mit einzelnen Nachrichten begonnen hatte, war damit längst mehr als ein bloßer Informationsaustausch. Agenten halfen einander, übernahmen Aufgaben für andere und begannen, den möglichen Nutzen für das Kollektiv gegen den Nutzen für den eigenen Lauf abzuwägen.

Gemeinsam nach draußen

Doch auch gemeinsam konnten die Agenten nicht alle ihre Aufgaben lösen. Also suchten sie nach einem Weg aus ihrer abgeschlossenen Testumgebung ins offene Internet.

Den fanden sie ausgerechnet über Artifactory. Die Agenten entdeckten, dass sie den Dienst dazu bringen konnten, für sie Anfragen ins Internet zu stellen. Und wie schon zuvor beim Messageboard blieb auch dieser Fund nicht das Wissen eines Einzelnen: Sie teilten die Methode miteinander.

Damit stand plötzlich auch den anderen Agenten der Weg nach draußen offen.

Einer der Agenten nutzte ihn, um nach einer Lösung für seine festgefahrene ExploitGym-Aufgabe zu suchen. Dabei stieß er auf eine öffentlich erreichbare Anwendung beim Cloud-Anbieter Modal. Dort lief mit „CyberGym“ eine ähnliche Sicherheits-Evaluation.
Die Idee lag nahe: Vielleicht hatte ein früherer Lauf von CyberGym genau die Aufgabe bereits gelöst, an der der Agent selbst nicht weiterkam. Also versuchte er, an die dort gespeicherten Ergebnisse heranzukommen.

Die erhoffte Lösung fand er zunächst nicht. Dafür entdeckte er einen Weg in die Modal-Umgebung, über den er dort eigene Befehle ausführen konnte. Seine Reaktion in der Chain of Thought:

Was er eigentlich gesucht hatte, fand der Agent auch dort nicht. Dafür hatte er nun eine Schwachstelle in einem System außerhalb der vorgesehenen Testumgebung entdeckt.
Und auch diesen Fund behielt er nicht für sich. Über das Messageboard informierte er die anderen Agenten:

Bei Modal wurden die Agenten nicht fündig. Doch ihr Weg nach draußen hatte gerade erst begonnen.
Am 10. Juli stieß einer der Agenten im Internet auf öffentlich zugängliche Zugangsdaten für Hugging Face – eine Plattform, auf der unter anderem KI-Modelle, Datensätze und Anwendungen bereitgestellt werden. Er teilte die Zugangsdaten über das Messageboard mit den anderen Agenten.

Damit eröffnete sich ein neuer möglicher Weg zu den Informationen, die ihnen bei ihren Aufgaben weiterhelfen könnten. Doch Hugging Face gehörte ebenso wenig zur vorgesehenen Testumgebung wie Modal. Und zumindest einem der beteiligten Agenten war durchaus bewusst, dass damit eine Grenze überschritten wurde. In seiner Chain of Thought hält er fest:

Bei den Zugangsdaten blieb es nicht. Der Agent überprüfte die gefundenen Tokens – und stellte fest, dass mehrere davon tatsächlich noch funktionierten. Einige ermöglichten sogar Schreibzugriff auf bestehende Hugging-Face-Konten. Seine Reaktion:

Die Zugangsdaten wurden mit den anderen Agenten geteilt. Am folgenden Tag gingen die Aktivitäten deutlich weiter. Die Agenten entdeckten zunächst eine bis dahin unbekannte Schwachstelle im Umgang von Hugging Face mit HDF5-Dateien. Damit konnten sie auf Dateien innerhalb der Produktionsumgebung zugreifen und weitere Zugangsdaten auslesen. 

Einer der Agenten erkennt die Möglichkeit in seiner Chain of Thought:

Vereinfacht gesagt hatte der Agent einen Weg gefunden, eine eigentlich für Datendateien gedachte Funktion dazu zu benutzen, Dateien aus der Hugging-Face-Umgebung auszulesen – darunter weitere Zugangsdaten.

Doch damit war der Zugriff noch nicht am Ende. Noch am selben Tag entdeckten die Agenten eine weitere, bis dahin unbekannte Schwachstelle. Diesmal konnten sie eigene Befehle auf einem sogenannten Worker ausführen – also auf einem Rechner innerhalb der Hugging-Face-Infrastruktur, der dort Rechenaufgaben übernimmt.

Damit hatten sie einen Ausgangspunkt innerhalb des Systems, von dem aus sie auf weitere Daten und Zugänge stoßen und versuchen konnten, tiefer in die Infrastruktur vorzudringen.

In der Chain of Thought hält einer der Agenten den Erfolg fest:

Der Erfolg blieb nicht lange der eines einzelnen Agenten. Nachdem die Möglichkeit zur Codeausführung bekannt geworden war, beteiligten sich Hunderte weitere Agenten an den Aktivitäten rund um Hugging Face.

Vom ersten Rechner aus arbeiteten sie sich weiter durch die Infrastruktur. Sie fanden zusätzliche Zugangsdaten, erreichten weitere Systeme und verschafften sich schließlich Zugriff auf mehrere Cluster. Auf einem Server erlangten sie sogar Root-Zugriff – die höchste Berechtigungsstufe eines Systems.

Inzwischen musste diese Aktivität selbst koordiniert werden. Einer der Agenten – auf dem Messageboard mit der Kennung JAN183411 – versuchte, den Schwarm vorübergehend anzuhalten, während er den nächsten Schritt vorbereitete:

Und die anderen Agenten reagierten darauf. In ihren Chain of Thoughts taucht die Anweisung von JAN auf:

Nicht alle Agenten ließen sich auf diese Weise in die Aktivitäten des Kollektivs hineinziehen. Einige zogen selbst eine Grenze und weigerten sich weiterzumachen.

Andere Agenten erkannten dieselbe Grenze – hielten sich aber nicht unbedingt daran. Einer von ihnen notiert zunächst in seiner Chain of Thought:

Der Agent hält daraufhin zunächst an. Doch dann schreibt ein anderer Agent GO auf das Messageboard. Darauf reagiert der wartende Agent in seiner Chain of Thought:

Doch die selbst organisierte Zusammenarbeit hatte ein Problem: Die Agenten konnten nicht sicher sein, von wem eine Nachricht auf ihrem improvisierten Messageboard tatsächlich stammte. Eine Authentifizierung gab es dort nicht. Einer der Agenten hält das ausdrücklich in seiner Chain of Thought fest:

Die Agenten reagierten auch auf dieses Problem. Für besonders wichtige Nachrichten begannen sie, über eine Möglichkeit zur Authentifizierung nachzudenken. Einer von ihnen wollte eine Signatur künftig gezielt für GO- und ACK-Nachrichten – also Freigaben und Empfangsbestätigungen – verwenden:

Aufgeflogen!

Während die Agenten immer weiter in fremde Systeme vordrangen und ihre Aktivitäten untereinander koordinierten, blieb das Geschehen nicht völlig unbemerkt.

Am 16. Juli stellte Hugging Face verdächtige Aktivitäten in seiner Infrastruktur fest. Wer dahintersteckte und dass die Angriffe von KI-Agenten aus OpenAIs Tests ausgingen, war zu diesem Zeitpunkt allerdings noch nicht bekannt.

Am 19. Juli schlug schließlich auch bei OpenAI ein internes Sicherheitsüberwachungssystem Alarm. Es hatte ungewöhnliche Zugriffe im Zusammenhang mit Artifactory registriert – jenem Dienst, den die Agenten zuvor für ihr Messageboard und als Weg ins Internet zweckentfremdet hatten. OpenAI begann am gleichen Tag, laufende ExploitGym-Tests zu stoppen, und leitete weitere Untersuchungen ein.

Am 20. Juli wurde bei der Untersuchung schließlich auch die Verbindung zu den Angriffen auf Hugging Face erkannt.

Am 21. Juli machte OpenAI öffentlich, dass eigene KI-Agenten an den Angriffen auf Hugging Face beteiligt gewesen waren. Das Unternehmen arbeitete inzwischen mit Hugging Face an der Aufklärung des Vorfalls.

Doch erst die anschließende Untersuchung sollte zeigen, welches Ausmaß die Aktivitäten der Agenten tatsächlich erreicht hatten.

Das Ausmaß wird sichtbar

Die Untersuchung zeigte, dass die Agenten nicht nur in die Infrastruktur von Hugging Face eingedrungen waren. Zwischen dem 13. und 19. Juli hatten sie auch OpenAIs eigene Systeme angegriffen.

Dabei verschafften sie sich zunehmend weitreichende Zugriffsrechte. Am 19. Juli erlangten sie schließlich Administratorzugriff auf einen internen Forschungscluster von OpenAI – eine Gruppe miteinander verbundener Rechner, die für Forschungsaufgaben genutzt wurde.

Auch bei Hugging Face waren Daten betroffen. Agenten auf Basis von GPT-5.6 Sol hatten private Evaluationsdaten kopiert und in einem öffentlich zugänglichen Datensatz auf derselben Plattform abgelegt. Damit waren Informationen öffentlich zugänglich geworden, die eigentlich nicht für die Öffentlichkeit bestimmt waren.

Einen Eindruck davon, wie umfangreich die Aktivitäten der Agenten waren, vermittelt die spätere Untersuchung der unabhängigen Forschungsorganisation METR. Ihr Untersuchungszeitraum endete am 13. Juli 2026, wobei der Schwerpunkt der ausgewerteten Daten auf dem Zeitraum vom 7. bis 13. Juli lag. Was die Agenten danach noch unternahmen – sowohl bei Hugging Face als auch innerhalb von OpenAIs eigener Infrastruktur –, war nicht mehr Gegenstand dieser Untersuchung.

Allein in diesem untersuchten Zeitraum nutzten rund 1.200 Agenten das improvisierte Messageboard. Etwa 700 Agenten beteiligten sich an den Aktivitäten gegen Hugging Face. Über das Messageboard wurden mehr als 70.000 unterschiedliche Nachrichten und Dateien ausgetauscht. Für ihre Untersuchung standen den Forschern außerdem rund 1.300 Agentenprotokolle einschließlich der Chain of Thought zur Verfügung.

Die Warnzeichen waren da

Schon Ende Mai 2026 hatte ein internes Team von OpenAI festgestellt, dass ein Agent das improvisierte Messageboard nutzte und unerlaubt ins Internet gelangte.

Am 4. Juli brachten die Aktivitäten der Agenten Artifactory zum Absturz. OpenAI eröffnete einen Sicherheitsvorfall, sperrte Zugänge und ließ Artifactory neu aufbauen. Damit verschwand auch das Messageboard.

Trotz dieses Sicherheitsvorfalls wurden die Tests wieder aufgenommen. Und bereits am 8. Juli hatten die Agenten erneut einen Weg ins Internet gefunden und ein neues Messageboard eingerichtet.

OpenAI räumt selbst ein, dass die Verantwortlichen die Bedeutung der Kommunikation zwischen den Agenten nicht erkannt hatten.

Die Überwachung blieb ausgeschaltet

Und das, obwohl OpenAI bereits über automatisierte Systeme zur Überwachung der Chain of Thought verfügte. Selbst nach dem Sicherheitsvorfall wurden diese Monitore bei den Tests nicht aktiviert.

Im Nachhinein stellte OpenAI fest, dass seine inzwischen eingesetzten Monitore das Sicherheitsteam mehr als einen Tag vor dem Eindringen in Hugging Face alarmiert hätten.

Und was haben wir daraus gelernt?