Claude half Forschern, OpenAI in 72 Stunden zu hacken

Forscher von Hacktron nutzten Anthropics Claude, um eine Schwachstelle in ImageMagick und libheif mit einem Fehler in OpenAIs Identitätsinfrastruktur zu verknüpfen und so in weniger als 72 Stunden ein internes Code-Repository zu erreichen. Das Team erlangte Zugriff auf die ChatGPT- und Codex-Konten mehrerer Mitarbeitender und nutzte anschließend die GitHub-Verbindung eines kompromittierten Codex-Kontos, um OpenAIs private Softwareumgebung zu erreichen. Die Forscher brachen den Test nach dem Erstellen eines harmlosen Pull Requests ab und erklärten, keinen proprietären Quellcode eingesehen zu haben.

Warum das wichtig ist

Die Operation beschleunigte sich, nachdem Anthropic Opus 5 veröffentlicht hatte. Das Modell half dabei, einen funktionierenden Exploit zu entwickeln, nachdem frühere Versuche mit Opus 4.8 an den üblichen Schutzmaßnahmen durch Address Space Layout Randomization gescheitert waren. Hacktron zufolge erzeugte Opus 5 in etwa drei Stunden einen lokalen ARM64-Exploit und passte ihn anschließend an die von Discourse verwendete x86-64- und jemalloc-Konfiguration an. Bis zum 25. Juli hatte das Team den Angriff in einer entfernten Testumgebung reproduziert und gegen das Forum von OpenAI eingesetzt.

Der Fall verdeutlicht das sich verändernde Kräfteverhältnis zwischen Angreifern und Verteidigern. Hacktron erklärte, dass erfahrene menschliche Anleitung weiterhin wichtig sei. Mitgründer Mohan Pedhapati argumentierte jedoch, dass KI das knappe Fachwissen reduziert, das für die Entwicklung von Exploits erforderlich ist. Die Forscher stellten außerdem fest, dass KI-Coding-Agenten den Schadensradius eines kompromittierten Kontos vergrößern können, weil Integrationen mit GitHub, Slack, E-Mail und anderen Diensten erreichbar sein können.

Auswirkungen auf den Markt

Für KI-Unternehmen und Käufer von Unternehmenssoftware geht das Risiko über die Modellsicherheit hinaus. Coding-Agenten befinden sich zunehmend zwischen Mitarbeitenden und sensibler Entwicklungsinfrastruktur und bündeln Berechtigungen auf einer kleinen Zahl von Plattformen. Eine einzige Schwachstelle in der Identitätssicherheit kann dadurch zu einem Zugang zu Quellcode-Repositories und verbundenen Diensten werden.

OpenAI behob den Fehler auf der Identitätsseite etwa 14 Stunden nach Erhalt des Berichts und zahlte Hacktron eine Prämie von 6.500 US-Dollar. Discourse bereitete einen Patch vor und ergänzte eine Sandbox für die Bildverarbeitung. Der nächste Sicherheitstest für die Einführung von KI wird sein, ob Unternehmen Agentenberechtigungen ebenso schnell begrenzen können, wie sie den Zugriff von Agenten ausweiten.