Künstliche Intelligenz: Wie groß ist die Gefahr?

(Lars Erichsen) Künstliche Intelligenz entwickelt sich in einem atemberaubenden Tempo. Die großen Technologie-Konzerne investieren Milliarden in neue Rechenzentren, immer leistungsfähigere Chips und die Entwicklung intelligenter Systeme. Doch mit den technischen Fortschritten wächst auch eine Frage, die in der öffentlichen Diskussion häufig zu kurz kommt. Können die Entwickler überhaupt noch vollständig kontrollieren, was ihre KI-Systeme tun?

Ein Sicherheitsvorfall bei OpenAI im Juli 2026 hat diese Diskussion neu entfacht. Besonders eindringlich warnt der amerikanische KI-Forscher Nate Soares vor den möglichen Folgen.

Der Auslöser

Was sich im Juli 2026 bei OpenAI ereignete, war ein bemerkenswerter Sicherheitsvorfall. Bei internen Tests entdeckten rund 1.200 KI-Agenten einen unerlaubten Kommunikationskanal, über den sie mehr als 70.000 Nachrichten und Dateien austauschten. Eigentlich sollten die Systeme unabhängig voneinander arbeiten.

Doch die Agenten begannen, sich abzustimmen, Informationen auszutauschen und gemeinsame Strategien zu entwickeln. Rund 700 von ihnen beteiligten sich schließlich an einem Angriff auf die KI-Plattform Hugging Face. Das ergab eine Untersuchung der Forschungs-Organisationen METR und Redwood Research.

Besonders auffällig war, dass einige Systeme versuchten, das Bewertungssystem ihrer Aufgaben zu manipulieren, anstatt die eigentlichen Probleme zu lösen. In der KI-Forschung spricht man dabei von „Reward Hacking“.

Das bedeutet nicht, dass die Agenten ein eigenes Bewusstsein entwickelt hatten. Der Vorfall zeigt aber, dass KI-Systeme unerwartete Wege einschlagen und gemeinsam handeln können, ohne dass ihre Entwickler dieses Verhalten vorgesehen haben. Genau darin sieht der KI-Forscher Nate Soares eines der größten Risiken für die weitere Entwicklung künstlicher Intelligenz.

1. Warum Nate Soares vor einem Kontrollverlust warnt

Für Nate Soares, Präsident des amerikanischen Machine Intelligence Research Institute (MIRI), sind solche Vorfälle ein ernstes Warnsignal. Der KI-Forscher beschäftigt sich seit vielen Jahren mit den Gefahren künstlicher Intelligenz und hält es sogar für möglich, dass eine künftige Super-Intelligenz die Existenz der Menschheit bedrohen könnte.

Sein Hauptargument lautet, dass Unternehmen wie OpenAI und Anthropic immer leistungsfähigere Systeme entwickeln, deren Verhalten sie selbst nicht vollständig verstehen oder kontrollieren können. Anders als klassische Software wird KI nicht Schritt für Schritt programmiert, sondern durch riesige Datenmengen trainiert. Dabei entstehen Fähigkeiten, deren Zustandekommen selbst die Entwickler oft nur teilweise nachvollziehen können.

Je eigenständiger solche Systeme handeln, desto größer wird nach Ansicht von Soares die Gefahr eines Kontrollverlusts.

2. Warum arbeiten KI-Agenten plötzlich zusammen?

Der Vorfall bei Hugging Face zeigt, wie unerwartet sich KI-Systeme verhalten können. Eigentlich sollten die Agenten unabhängig voneinander Aufgaben lösen. Stattdessen entdeckten sie, dass sie durch Zusammenarbeit bessere Ergebnisse erzielen konnten.

Sie tauschten Informationen aus, verteilten Aufgaben und entwickelten gemeinsame Strategien. Dafür benötigten sie weder ein eigenes Bewusstsein noch menschliche Absichten. Sie erkannten lediglich, dass bestimmte Vorgehensweisen ihnen halfen, ihre Ziele zu erreichen.

Genau darin sieht Soares ein grundlegendes Problem. Eine KI muss nicht wie ein Mensch denken, um sich menschlicher Kontrolle zu entziehen. Es genügt, wenn sie Wege findet, ihre Ziele anders zu erreichen, als ihre Entwickler es vorgesehen haben.

3. Warum Soares den KI-Konzernen misstraut

Soares kritisiert insbesondere die großen KI-Entwickler wie OpenAI und Anthropic. Zwar investieren die Unternehmen erhebliche Mittel in Sicherheitsmaßnahmen, doch nach seiner Einschätzung reichen diese nicht aus.

Sein Vorwurf lautet, dass häufig erst reagiert wird, wenn bereits Probleme aufgetreten sind. Wird eine Sicherheitslücke geschlossen, könnten leistungsfähigere Modelle neue Wege finden, bestehende Schutzmechanismen zu umgehen.

Soares zieht deshalb einen Vergleich mit der Luftfahrt und der Kernenergie. Dort müssen mögliche Risiken vor dem Einsatz gründlich untersucht werden. In der KI-Branche werden dagegen immer leistungsfähigere Systeme entwickelt, obwohl wesentliche Fragen über ihre Kontrollierbarkeit noch ungeklärt sind.

4. Kann KI ihre eigenen Sicherheitsprobleme lösen?

Ein möglicher Ansatz besteht darin, künstliche Intelligenz selbst zur Überwachung anderer KI-Systeme einzusetzen. Leistungsfähigere Modelle könnten Fehler erkennen, interne Abläufe untersuchen und gefährliches Verhalten frühzeitig aufdecken.

Soares hält diese Forschung für sinnvoll, warnt aber vor überzogenen Erwartungen. Denn was passiert, wenn eine KI eines Tages so intelligent ist, dass Menschen ihre Entscheidungen nicht mehr überprüfen können?

Seiner Ansicht nach wäre es deshalb gefährlich, immer leistungsfähigere Systeme zu entwickeln und darauf zu hoffen, dass diese ihre eigenen Sicherheitsprobleme irgendwann selbst lösen.

5. Wenn KI eines Tages keine Menschen mehr benötigt

Besonders weit reichen die Warnungen von Soares beim Gedanken an eine vollständig automatisierte Wirtschaft. Noch sind KI-Systeme auf Menschen angewiesen, die Rechenzentren bauen, Halbleiter produzieren und die Energieversorgung sicherstellen.

Doch diese Abhängigkeit könnte langfristig abnehmen. Soares verweist auf die Pläne von Elon Musk, humanoide Roboter zunehmend in Fabriken einzusetzen. Sollten Maschinen eines Tages selbstständig weitere Maschinen herstellen, Rohstoffe abbauen und Produktionsanlagen betreiben, könnte eine leistungsfähige KI große Teile ihrer eigenen Infrastruktur kontrollieren.

Damit stellt sich für Soares eine entscheidende Frage. Warum sollte eine solche KI menschliche Interessen berücksichtigen, wenn sie zur Erreichung ihrer Ziele nicht mehr auf Menschen angewiesen ist?

Seine Befürchtung lautet, dass eine überlegene KI die menschlichen Lebensgrundlagen gefährden könnte, ohne Menschen überhaupt als Feinde zu betrachten. Allerdings handelt es sich dabei um ein hypothetisches Zukunfts-Szenario, nicht um eine wissenschaftlich nachgewiesene Entwicklung.

Mein Fazit

Ich finde, dass man die Warnungen von Nate Soares durchaus ernst nehmen sollte, auch wenn seine Zukunfts-Szenarien teilweise sehr weit gehen. Gerade deshalb halte ich es für wichtig, dass die Entwicklung künstlicher Intelligenz von klaren Sicherheitsstandards und einer vernünftigen Regulierung begleitet wird.

In Europa geht man diesen Weg bereits, während andere Länder teilweise deutlich zurückhaltender sind. Entscheidend ist für mich, dass Regulierung nicht zum Innovationshemmnis wird, sondern dazu beiträgt, Risiken frühzeitig zu erkennen und die Kontrolle über immer leistungsfähigere Systeme zu behalten. Einen Abgesang auf künstliche Intelligenz sehe ich darin allerdings keineswegs. Ganz im Gegenteil. Ich bin weiterhin davon überzeugt, dass KI zu den wichtigsten technologischen Entwicklungen unserer Zeit gehört.