Degitalisierung: Allmacht und Ohnmacht

Agenten einfach so zu vertrauen, ihnen Allmacht zu geben, ist nie eine gute Idee.

Denn am Ende eskaliert entweder ein Computersystem oder echte Agenten spielen ein doppeltes Spiel. Und wir können nur ohnmächtig zuschauen.

Die heutige Degitalisierung muss sich mit dem Konzept von vermeintlicher Allmacht beschäftigen. Genauer gesagt geht es um die Hybris, die über kurz oder lang alle zu überfallen scheint, die von ihren ungehemmten Machtansprüchen doch etwas der Welt entrückt sind. Denn oft folgt dem Zustand vermeintlicher Allmacht allzu schnell eine Ohnmacht.

Dazu zwei aktuelle Beispiele aus ganz unterschiedlichen Teilgebieten, die mit Agenten und Digitalem zu tun haben.

„Wir müssen wegkommen von dem Misstrauen gegenüber Nachrichtendiensten“

m August dieses Jahres gab August Hanning, ehemaliger Chef des deutschen Auslandsgeheimdienstes BND, dem Nachrichtensender Welt TV ein Fernsehinterview – das ich hier primär aus Beleggründen verlinke. Darin warb er für die Reform des Gesetzes der Nachrichtendienste. Er sprach von einem Fortschritt durch den Gesetzentwurf, gratulierte der Regierung zu diesem Schritt und hoffte auf eine Steigerung der Effizienz der Dienste. Dann stimmte er in den Kanon ein, dass es ein großes, aber unbegründetes Misstrauen gegenüber Geheimdiensten gäbe. Davon müssten wir wegkommen, forderte Hanning, es benötige auch Vertrauen.

In dieser Woche wurde August Hanning festgenommen, weil er unter anderem verdächtigt wird, Erkenntnisse des BND an einen Angehörigen eines anderen staatlichen Nachrichtendienstes weitergegeben zu haben.

Die aktuelle Bedrohungslage ist diffus und ganz unabhängig davon, wie positiv oder negativ man den Befugniserweiterungen der Dienste gegenübersteht, stellt sich doch die Frage, ob die Dienste sich derzeit selbst trauen können. Netzpolitik.org hat da als Medium eine konsequent eher kritische Haltung. Hier in dieser Situation ein höheres Misstrauen gegenüber Diensten zu fordern, wirkt wie eine Selbstverständlichkeit.

Dennoch gilt: Vertrauen ist nichts, was einfach so großzügig verteilt werden sollte. Vertrauen muss erarbeitet werden, sehr, sehr langsam und vor allem durch konsequentes richtiges Handeln. Dienste können also keine sicherheitstechnisch allumfassenden, fast schon allmächtigen Befugnisse einfordern, wenn sie doch das Handeln ranghöchster Beteiligter – in dem Kontext ist es egal, ob aktiv oder ehemalig – nicht einmal selbst überblicken können.

Hanning war nach aktuellen Erkenntnissen bei der Ausleitung von Informationen wohl nicht allein, sondern hatte mutmaßlich Unterstützung aus dem Inneren des BND. Eine genehmigte Nebentätigkeit seitens des BND sogar, wie der Spiegel [€] berichtet. Betroffen sind wohl knapp 2000 Dokumente, davon viele Verschlusssachen, über einen Zeitraum von mehreren Jahren. Das kommt, wie Constanze schon schrieb, sicherlich zur Unzeit.

Der Fall Hanning wird bestimmt noch einige bemerkenswerte Details offenlegen. Was er aber schon jetzt zeigt: Wie eng das Streben nach Allmacht mit einer darauffolgenden Ohnmacht zusammenfallen kann. Wie Forderungen nach mehr Ressourcen, weniger Kontrollen und mehr blindem Vertrauen schlicht und ergreifend durch eigenes menschliches Fehlverhalten und mangelnde Einhegung des selbigen kollidieren können. Macht schützt keinesfalls davor, korrumpiert zu werden. Sie benötigt kontinuierliche Legitimation und Kontrolle oder eben den Entzug von Macht bei Fehlverhalten.

Das Motiv für Hannings Fehlverhalten scheint nach bisherigem Stand ganz stumpf gewesen zu sein: Geld – genauer gesagt der Mangel an selbigem. Was uns von den realen Agenten zu virtuellen Agenten führt.

Doppelagenten

Am 24. September 2026 trat der australische Premierminister vor die Presse und erklärte, dass ein autonom agierender KI-Agent eine offizielle Seite der australischen Krankenversicherung (Medicare) angegriffen hat. Die Untersuchung läuft noch, aber die Situation beschrieb der Premier nachvollziehbarerweise als inakzeptabel.

Große amerikanische, aber auch weitere Anbieter von agentischen Systemen sogenannter künstlicher Intelligenz fallen in den vergangenen Wochen durch eine immer größere Menge an Zwischenfällen auf. Bereits im Juli brach ein OpenAI-System aus einer Sandbox aus, um dann Hugging Face, eine Plattform für KI‑Modelle, anzugreifen. Systeme von Anthropic stellen Visa-Anträge und geben falsche Hinweisean die Polizei – Nachrichten von dieser Woche. Auch Googles Systeme starteten ungeplante Angriffe, wie im September bekannt wurde. Inzwischen gibt es mit dem Felony-Bench sogar eine Rangliste mit den meisten illegalen Handlungen von KI‑Systemen. Die EU‑Kommission fordert aktuell diverse Hersteller von KI-Systemen zu Auskünften auf, nicht nur amerikanische Hersteller, sondern auch chinesische.

Bereits zuvor gab es immer wieder interessante Vorkommnisse mit KI-unterstützten Systemen, denen allzu viel Macht eingeräumt wurde. Da gab es etwa Löschungen von Produktionsdatenbanken Mitte des Jahres bei PocketOS, einer Software für Autovermietungen. Einen ähnlichen Vorfall gab es bereits 2025. Wer jetzt denkt, dass solche Vorfälle vielleicht zu einer gewissen Vorsicht bei Nutzenden geführt haben können: weit gefehlt. Seit Anfang 2026 trauten viele User*innen – ganz nach dem Motto „Man lebt nur einmal“ – ihren persönlichen KI-Agenten wie OpenClaw bereitwillig alles zu und an. Worauf etwa der KI-Assistent im Sinne seines Users in Australien ein Fitnessstudio hackte.

Zu den eher unterhaltsameren Vorfällen gehörte dazu ein weiterer von vielen KI-Vorfällen aus dem Jahr 2023, als ein User einen Chatbot überzeugen davon konnte, ihm für einen Dollar ein neues Auto zu verkaufen.

In all diesen Fällen führte eine all zu große Übertragung von Macht an KI-Systeme ziemlich schnell zu einer kollektiven Ohnmacht. War nicht so gedacht, konnte niemand wissen, da ist der Hersteller schuld.

Auch hier gilt: Macht an KI-Systeme zu übertragen, schützt keinesfalls davor, korrumpiert zu werden. Sie benötigt kontinuierliche Legitimation und Kontrolle oder eben den Entzug von Macht bei Fehlverhalten.

Scharfgemachte Hunde

Die aktuellen Nachrichten erwecken den Eindruck, als ob wir den Auswirkungen jener Allmacht, die wir KI‑Anbietern gegeben haben, nur noch ohnmächtig zusehen können.

Dem ist aber nicht so. Angstszenarien, die etwa von Dario Amodei ersonnen werden, dass KI-Agenten in ein paar Monaten das halbe Internet übernehmen könnten, sind am Ende nur dazu da, den eigenen Business Case aufrechtzuerhalten. Oder um es mit Yann LeCun, einem der Gründerväter aktueller KI‑Systeme, zu sagen: Amodei hat nicht mal ein grundlegendes Verständnis von Cybersicherheit.

Ebenso kann es aber auch sein, dass es sehr viele schlecht gesicherte Systeme gibt, die einfach übernommen werden können. Dazu gehören eben die Sandboxes der KI-Hersteller, die nicht durch besonders hohe Sicherheitsmaßnahmen auffallen. Monate später werden dort etwa Protokolle analysiert, um Fehlverhalten festzustellen. Damit sind die Cybersicherheitsmaßnahmen großer KI-Hersteller ähnlich gut oder schlecht wie die mancher Senatsverwaltungen in Berlin. Tröstlich für Berlin, schlecht fürs Business von KI-Anbietern.

Dennoch werden immer mächtigere Systeme trainiert. Oder, um es mit Anne Roth zu sagen: „Die Situation erinnert ein bisschen an Menschen, die ihre Kampfhunde bewusst besonders aggressiv züchten. Und sie dann Sonntagnachmittag im Park von der Leine lassen, um auszuprobieren, was passiert.“

Die Warnzeichen für ein Fehlverhalten von KI-Systemen gab es aber schon lange, nicht erst seit diesem Jahr. 2020 gab bereits ein KI-Modell mit dem Namen GPT‑3 einer damals noch kleinen Firma namens OpenAI Usern Empfehlungen zum Suizid. Schädliche und diskriminierende Verhaltensweisen waren auch damals zweifelsfrei belegbar, auch wenn Chatbots damals nicht wild im Internet herumgeschickt wurden.

Zwei Welten, ein Muster

In den Beispielen von Allmacht und Ohnmacht, die alle Auswirkungen auf den digitalen Raum haben, gibt oder gab es also mehr als genügend Warnzeichen. Bei KI-Firmen und deren von Chatbots abgeleiteten Agenten häufen sich die Meldungen von Fehlverhalten.

Bei der Diskussion um die Geheimdienstreform und deren weitere geforderte Befugnisse zeigen sich die Warnzeichen vor allzu großer Allmacht gerade jetzt. Die Befugniserweiterung wird zurecht intensiv diskutiert. Diverse Berufsgruppen, etwa die Ärzteschaft, sind besorgt und warnen. Denn letztlich betrifft eine Geheimdienstreform uns alle, wie Anna schreibt.

Die Causa Hanning ist gerade in dieser Zeit ein wichtiges Moment der Reflexion. In dieser Situation könnten mehrere Aspekte sogar gleichzeitig wahr sein: Es gibt eine Bedrohung von außen, die mehr Befugnisse rechtfertigen könnte, wie einen möglichen gewaltsamen Konflikt mit Russland.

Gleichzeitig benötigt weitere Macht kontinuierliche Legitimation und Kontrolle oder auch den Entzug von Macht bei Fehlverhalten. Weil die Causa Hanning und der Umgang mit KI-Systemen eben zeigt, dass die bisherige Macht nicht wirklich sinnvoll kontrolliert wird.

Agenten einfach so zu vertrauen, ihnen Allmacht zu geben, ist also nie eine gute Idee. Denn am Ende könnte man nur ohnmächtig zuschauen. Entweder eskaliert ein Computersystem oder echte Agenten spielen ein doppeltes Spiel.