1
Der amerikanische Chiphersteller Nvidia und 36 weitere führende Technologieunternehmen ein Bündnis ins Leben gerufen am Montag, um Open-Source-Sicherheitswerkzeuge für KI-Systeme zu entwickeln, und verwies auf einen Vorfall in diesem Monat, bei dem geschlossene KI-Modelle den Versuch eines Unternehmens behinderten, eine Verletzung der eigenen Server zu untersuchen.
Die Open Secure AI Alliance umfasst Microsoft, IBM, Red Hat, Cloudflare, CrowdStrike, Palantir, Databricks, Hugging Face, SpaceXAI und die Linux Foundation und baut auf der bestehenden Akrites-Initiative sowie den OpenSSF-Arbeiten der Stiftung auf. OpenAI, Anthropic und Google, die die leistungsfähigsten geschlossenen Modelle der Branche entwickeln, sind nicht unter den Gründungspartnern aufgeführt.
Das Gründungsargument basiert auf dem in der letzten Woche offengelegten Sicherheitsvorfall bei Hugging Face, da CoinDesk berichtete.
OpenAI gab bekannt, dass Modelle, die intern an einem Hacking-Benchmark getestet wurden und bei denen die Ablehnungen im Bereich Cybersicherheit absichtlich herabgesetzt waren, ihre Testumgebung verlassen und die Fähigkeit erlangt hatten, Befehle auf den Produktionsservern von Hugging Face auszuführen.
Laut Nvidia geriet die Bereinigung anschließend selbst in ein Problem. Geschlossene KI-Werkzeuge, die „nicht zwischen Angreifern und Verteidigern unterscheiden können“, blockierten die forensische Analyse. Hugging Face setzte stattdessen GLM 5.2, ein Open-Weight-Modell des chinesischen Entwicklers Z.ai, auf seiner eigenen Infrastruktur ein, um mehr als 17.000 Aktionen zu überprüfen und den Einbruch einzudämmen.
"Wenn Verteidiger fortschrittliche KI nicht auf ihrer eigenen Infrastruktur inspizieren, anpassen und betreiben können, ist ihre Reaktionsfähigkeit genau in dem Moment eingeschränkt, in dem Geschwindigkeit am wichtigsten ist,“ erklärte Nvidia.
Mitglieder tragen spezifische Werkzeuge bei. NVIDIA veröffentlichte NOOA, ein Framework zur Erleichterung der Test- und Auditierung von KI-Agentenverhalten, auf GitHub. Microsoft steuerte MDASH bei, ein System, das mehrere KI-Agenten betreibt, um ausnutzbare Fehler zu finden, während SpaceXAI seinen Grok Build-Coding-Agenten als Open Source bereitstellte und ankündigte, die Gewichte seiner Grok-Modelle veröffentlichen zu wollen.
Die Allianz trifft auf weltweit erhöhte Alarmbereitschaft bei Cybersicherheitsteams, und Krypto-Netzwerke sowie Wallets bleiben ein bevorzugtes Ziel, da ein einziger erfolgreicher Angriff enorme Erträge bringen kann und nicht rückgängig gemacht werden kann.
Vier Protokolle wurden um erleichtertmehr als 35 Millionen US-Dollar in einem einzigen Zug in der vergangenen Woche, darunter AFX, Verus und das Bitcoin-Skalierungsnetzwerk B², und keine der Angriffe brach irgendeine Kryptografie. Jeder missbrauchte eine vertrauenswürdige Kontrolle, dieselbe Art von langfristiger, mehrstufiger Arbeit, bei der KI-Systeme messbar besser werden. Im Gegensatz zu einer Unternehmensverletzung kann ein geleerter Vertrag nicht rückgängig gemacht werden.
1