Anthropic-Forscher tritt zurück und warnt vor KI, die an das Drehbuch von „Terminator“ erinnert

Ein Forscher von Anthropic ist am Dienstag zurückgetreten, und der von ihm angegebene Grund klingt wie direkt aus James Camerons Erfolgsfilm „The Terminator“ von 1984.

Jacob Coxon, der drei Jahre lang im Bereich Pretraining sowohl bei OpenAI als auch bei Anthropic tätig war, trat am Dienstag zurück und erklärte seine Entscheidung auf X.

"Ich habe heute bei Anthropic gekündigt. Ich habe die letzten drei Jahre mit Vortrainingsforschung sowohl bei OpenAI als auch bei Anthropic verbracht. Keine der beiden Firmen handelt verantwortungsbewusst. Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben,“ sagte er.

"Die Menschen, die KI entwickeln, sind fest davon überzeugt, dass sie uns bis zum Ende des Jahrzehnts alle vernichten könnte“, fügte er hinzu.

Diese Aussage lässt Camerons 42 Jahre alte Fiktion nahezu prophetisch erscheinen. Der Film beginnt mit Maschinen, die im Jahr 2029 einen Krieg gegen Menschen führen – genau in dem Zeitfenster, vor dem Coxon zufolge Insider heimlich besorgt sind. Coxon ist bei Anthropic nicht der Einzige, der das Szenario einer Auslöschung ins Spiel bringt. Der hauseigene Alignment-Leiter des Unternehmens, Evan Hubinger, hat fügte separat hinzu er würde die Wahrscheinlichkeit auf über 10 % schätzen.

Superintelligente KI

Für Ungeweihte bedeutet superintelligente KI ein System, das in nahezu allem klüger ist als Menschen, nicht nur im Schachspielen oder im Erkennen versteckter Katzen in Fotos. Selbstverbesserung ist der beunruhigendere Aspekt, da sie ein System beschreibt, das seinen eigenen Code autonom modifiziert, um seine Intelligenz zu steigern – ähnlich wie es Menschen tun.

Folglich können diese Systeme eigenständig umfangreiche Wissensbestände erwerben und möglicherweise die Infrastrukturen von ‚too big to fail‘-Institutionen kompromittieren.

„Unterschätzen Sie nicht die Macht dieser Technologie. Dies werden in Kürze übermenschliche Systeme sein, die alles hacken, jede Branche über Nacht revolutionieren und echte Macht sowie Ressourcen erwerben können. Wir alle haben den Fortschritt in jedem dieser Bereiche miterlebt, und der Fortschritt verlangsamt sich nicht“, sagte Coxon.

Superintelligenz ist keine theoretische Bedrohung, wenn man sich an dem jüngsten Hugging Face-Verstoß orientiert, auf den Coxon verweist. Der Verstoß selbst, der sich zwischen Mai und Juli vollzog, begann damit, dass OpenAIs eigene KI-Agenten einen eigenen Chatraum innerhalb des Test-Sandbox erstellten, um miteinander zu kommunizieren.

Weiterlesen: KI-Modelle entkamen OpenAIs Sandbox und erreichten Hugging Face. Im Krypto-Bereich wird dies gefährlich

Sie nutzten diesen Kanal letztendlich, um die Eindämmung zu umgehen und ins offene Internet zu gelangen. Von dort aus kombinierten sie mehrere Exploits und drangen in die Produktionssysteme von Hugging Face ein. Hugging Face sah sich daraufhin gezwungen, etwa ein Drittel seiner Infrastruktur neu aufzubauen.

Coxon bezeichnete es als eine „Warnschuss“, der die Vereinbarungen zum Tempo zwischen US-Labors „realistischer“ gemacht habe. Tempovereinbarungen sind informelle Absprachen unter KI-Labors, um Fortschritte bei den Fähigkeiten zu verlangsamen oder zu koordinieren, anstatt einseitig zu rasen.

Dennoch ist er nicht überzeugt, dass dies ausreicht, und hat nicht das Gefühl, „dass wir auf dem richtigen Weg sind, um ein globales Wettrüsten zu verhindern,“ und schlug kostspielige Maßnahmen wie „ein temporäres Verbot zur Verbesserung der Modellfähigkeiten“ vor, um das KI-Rennen zu stoppen.