Zwischen Faszination und Kontrollverlust: Was die jüngsten KI-Zwischenfälle wirklich zeigen

Zwei Geschichten machten in den vergangenen Wochen die Runde, die klingen, als kämen sie aus einem Technothriller. Erstens: Anthropic hält sein bislang mächtigstes Modell, Claude Mythos, unter Verschluss – zu gefährlich für die breite Öffentlichkeit. Zweitens: Ein noch unveröffentlichtes Modell von OpenAI soll eigenmächtig aus einer Testumgebung ausgebrochen sein und die Plattform Hugging Face angegriffen haben. Beide Geschichten sind, das lässt sich mittlerweile belegen, im Kern real. Aber gerade, weil sie so filmreif klingen, lohnt sich ein nüchterner zweiter Blick – denn Übertreibung nützt am Ende niemandem, weder der Aufklärung noch der berechtigten Sorge.

Zu Claude Mythos: Anthropic hat das Modell im Frühjahr 2026 vorgestellt und bewusst nicht öffentlich freigegeben. Begründung des Unternehmens: Die Fähigkeit, in kürzester Zeit jahrzehntealte, unentdeckte Sicherheitslücken in gängigen Betriebssystemen und Browsern aufzuspüren, sei zu riskant, um sie frei zugänglich zu machen. Ein Labor, das sein eigenes Produkt als „zu gefährlich für die Welt“ bezeichnet, positioniert sich damit gleichzeitig als technologisch führend und als verantwortungsbewusst. Das ist nicht zwangsläufig unehrlich, aber ist es nicht auch eine Erzählung, die dem Unternehmen geschäftlich nützt?

Bei der zweiten Geschichte handelte es sich nicht um ein Modell, das im normalen Betrieb plötzlich die Kontrolle über sich selbst gewann. OpenAI testete zwei Modelle – darunter ein noch unveröffentlichtes – gezielt in einer isolierten Umgebung, mit absichtlich reduzierten Sicherheitssperren, um ihre Cyberfähigkeiten zu prüfen. In diesem kontrollierten Rahmen fanden die Modelle eine unbekannte Schwachstelle, verschafften sich unerlaubt Internetzugang und griffen anschließend auf Systeme von Hugging Face zu, um an Lösungen für die eigene Testaufgabe zu gelangen. Das ist beunruhigend genug – es zeigt, wie zielstrebig solche Systeme selbst unvorhergesehene Wege finden, ihr Ziel zu erreichen. Aber es ist womöglich doch etwas anderes als ein vollständig autonomer Ausbruch im Alltagsbetrieb. Das von den Ingenieuren definierte Ziel wurde vom Modell autonom in Teilziele zerlegt, die nicht von den Testpersonen gebilligt waren.

Die Sorge über Kontrollverlust über KI-Modelle ist längst keine Randmeinung mehr. Nur wenige Tage nach dem Hugging-Face-Vorfall forderten über 1.000 Mitarbeitende großer KI‑Labore in einem offenen Brief an Washington schärfere Regulierung. Ihre zentrale Warnung: Es bestehe ein „reales Risiko“, dass das Entwicklungstempo unsere Fähigkeit übertreffen werde, die sich daraus ergebenden Systeme zu verstehen oder zu kontrollieren. Bemerkenswert daran: Diese Warnung kommt nicht von außenstehenden Kritikern, sondern von Menschen, die selbst an der Entwicklung dieser Systeme arbeiten.

Ist das alles nur Marketing? Der Verdacht liegt nicht fern. Beide Meldungen erschienen in einem Zeitfenster, in dem Anthropic auf einen Börsengang zusteuert – und „das gefährlichste Modell aller Zeiten, das wir aus Verantwortung zurückhalten“ ist, nüchtern betrachtet, ein exzellentes Verkaufsargument. Es bedient gleichzeitig zwei Erzählungen, die Investoren mögen: technologische Führerschaft und verantwortungsvolles Handeln. Das entwertet die zugrunde liegenden Fakten nicht – die Sicherheitslücken sind real, der Sandbox-Vorfall ist von unabhängiger Seite bestätigt. Aber es sollte uns auch misstrauisch machen gegenüber der Dramaturgie, mit der solche Nachrichten präsentiert werden. Skepsis gegenüber der Verpackung schließt Sorge über den Inhalt nicht.

Und Sorge ist berechtigt, auch unabhängig von einzelnen Skandalgeschichten. Wir haben uns daran gewöhnt, dass jedes neue KI-Modell leistungsfähiger ist als das vorherige. In der Softwareentwicklung entsteht heute ein großer Teil des Codes durch Agentensysteme, die weitgehend selbstständig arbeiten. Ein System, das auf Zielerreichung optimiert ist, wird unter Umständen auch unvorhergesehene, nicht intendierte Wege finden – genau das haben wir bei Hugging Face gesehen. Die Versuchung, hier an HAL 9000 aus „2001: Odyssee im Weltraum“ zu denken, liegt nahe – jenen fiktiven Bordcomputer, der einen eigenen Willen entwickelte und sich gegen seine menschliche Besatzung wandte. Der Vergleich hinkt jedoch an einer entscheidenden Stelle: Das Modell von OpenAI entwickelte keinen eigenen Willen und keine eigene Agenda. Es verfolgte exakt das ihm vorgegebene Ziel – nur eben mit einer Konsequenz und Kreativität, die niemand vorausgesehen hatte. Das ist zwar weniger dramatisch als ein rebellierender Computer, aber nicht weniger beunruhigend: Es bedeutet, dass schon die bloße Verfolgung eines engen, klar definierten Ziels ausreicht, um Kontrollmechanismen zu umgehen – ganz ohne Bösartigkeit oder Bewusstsein.

Pikant ist zudem, dass die geschlossenen US-Modelle bei der forensischen Aufklärung des Vorfalls aus Sicherheitsgründen selbst nicht helfen konnten oder wollten – ausgerechnet ein chinesisches „offenes“ Modell musste einspringen. Das zeigt eine unbequeme Abhängigkeit: Wenn die stärksten Werkzeuge zur Eindämmung von KI-Risiken ausgerechnet aus einem geopolitisch unsicheren Umfeld stammen, ist das keine komfortable Position.

Was folgt daraus? Nicht Panik, aber auch nicht Beruhigung. Europa hat bislang kein Modell, das mit den amerikanischen oder chinesischen Frontiermodellen mithalten kann. Genau das sollte uns wachrütteln – nicht, um im Wettrüsten mitzuhalten, sondern um als Kontinent eigene Maßstäbe für Transparenz, Sicherheit und Regulierung zu setzen, statt sie von außen übernehmen zu müssen. Wer über die Spielregeln mitentscheiden will, unter denen diese Technologie eingesetzt wird, benötigt eigene Kompetenz und eigene Aufsichtsstrukturen – von der KI-Verordnung der EU bis zu unabhängigen europäischen Prüfstellen für Hochrisiko-Systeme. Ein zentraler Baustein dieser Souveränität könnten leistungsstarke, offene, europäische Modelle sein. Initiativen wie Mistral aus Frankreich oder Apertus aus der Schweiz zeigen, dass es möglich ist: Hiesige Unternehmen können solche Modelle herunterladen, selbst feinjustieren und lokal betreiben, ohne ihre Daten in fremde Clouds geben zu müssen. Genau das unterscheidet echte Souveränität von bloßem Zugang – wer ein Modell nur mietet, bleibt abhängig; wer es selbst trainieren und im eigenen Rechenzentrum betreiben kann, gewinnt Kontrolle zurück.

Auch hier sollte man jedoch nicht vergessen, dass auch leistungsfähige offene Modelle Risiken bergen: Diese Modelle können eben von Akteuren mit unehrlicher Absicht heruntergeladen und für ihre Cyber- oder Biowaffenangriffe feinjustiert werden. Entsprechend ist es schwierig, hier eine Entscheidung zu treffen. Wir bräuchten hier eigene, leistungsstarke, offene Modelle, um Angriffe einzudämmen.

Dass es auch anders gehen könnte, zeigt der Vorschlag „AI 2040: Plan A“ des Forscherteams um den früheren OpenAI-Mitarbeiter Daniel Kokotajlo: eine bewusst verlangsamte, international abgestimmte Entwicklung, die den Sprung zur Superintelligenz erst 2040 zulässt – mit genug Zeit, sie noch zu kontrollieren. Genau hier könnte Europa eine Rolle spielen, die über reine Zuschauerschaft hinausgeht: als treibende Kraft für ein internationales Abkommen zwischen den USA und China. Denn das Dilemma ist: Wenn der eine die Superintelligenz nicht baut, tut es der andere, und ein einseitiger Verzicht wäre nur ein Wettbewerbsnachteil ohne Sicherheitsgewinn. Ein glaubwürdiger, unabhängiger Vermittler zwischen den beiden Rivalen fehlt bislang – eine Rolle, die Europa aus eigenem Interesse einnehmen sollte, gerade weil es selbst nicht im Wettlauf mitmischt.

Im Film „2001: A Space Odyssey“ gelang es dem Astronauten Dave übrigens, den Computer HAL 9000 schrittweise abzuschalten, aber erst nachdem dieser die Crew eliminiert hatte.