Die öffentliche Debatte über künstliche Intelligenz vermischt sehr unterschiedliche Risiken. Ein Chatbot, der falsche Antworten gibt, wird ebenso unter dem Begriff „KI-Gefahr“ verhandelt wie ein KI-gestützter Cyberangriff, ein interner Agent mit Zugriff auf Unternehmensdaten oder die Vorstellung einer Maschine, die sich dauerhaft menschlicher Kontrolle entzieht. Für eine belastbare Risikobewertung ist diese Unschärfe unbrauchbar. Ursachen, Eintrittswahrscheinlichkeiten und mögliche Schäden unterscheiden sich erheblich. Entsprechend verschieden müssen auch die Schutzmaßnahmen ausfallen.
Das amerikanische National Institute of Standards and Technology ordnet die Risiken generativer KI grob drei Bereichen zu: technische Fehlfunktionen, missbräuchliche Nutzung durch Menschen und systemische Folgen für Wirtschaft und Gesellschaft. In der betrieblichen Praxis lohnt sich eine noch konkretere Betrachtung. KI kann selbst angegriffen werden, sie kann Angreifern als Werkzeug dienen, sie kann innerhalb einer Organisation zum privilegierten Nutzer werden und sie kann als Agent eigenständig Handlungen ausführen. Hinzu kommen Fehlentscheidungen, Datenschutzverletzungen, Manipulation, Diskriminierung und neue Abhängigkeiten.
KI als Angriffsvektor: Wenn Daten wie Anweisungen wirken
Klassische Software trennt im Idealfall zwischen Programmcode und Daten. Bei großen Sprachmodellen ist diese Grenze weniger eindeutig. Ein Modell verarbeitet Sprache, ohne zuverlässig unterscheiden zu können, ob ein Text eine fachliche Information, eine Arbeitsanweisung oder ein Manipulationsversuch ist. Genau hier setzt die sogenannte Prompt Injection an.
Bei einer direkten Prompt Injection versucht ein Nutzer, die ursprünglichen Regeln eines Systems durch eigene Anweisungen zu verdrängen. Gefährlicher für Unternehmen ist häufig die indirekte Variante. Dabei befindet sich die manipulierende Anweisung in einer Webseite, einer E-Mail, einem Dokument oder einem Datensatz, den das KI-System später verarbeitet. Ein Angreifer muss dann keinen direkten Zugang zum KI-Assistenten haben. Es genügt unter Umständen, eine präparierte Datei in dessen Arbeitsbereich zu bringen.
Ein Beispiel wäre ein KI-Assistent, der eingehende E-Mails zusammenfasst. In einer Nachricht könnte sich eine für Menschen unauffällige Anweisung befinden, bestimmte Informationen aus dem Postfach zu suchen und in eine Antwort einzubauen. Hat der Assistent lediglich Leserechte, bleibt der mögliche Schaden begrenzt. Darf er zusätzlich Nachrichten versenden, Dateien öffnen, Termine anlegen oder andere Anwendungen aufrufen, wird aus der manipulierten E-Mail ein möglicher Zugang zu internen Funktionen. OWASP weist ausdrücklich darauf hin, dass Prompt Injections unter anderem zur Offenlegung vertraulicher Daten, zur Nutzung nicht autorisierter Funktionen und zur Ausführung von Befehlen in angebundenen Systemen führen können. Auch Retrieval-Augmented Generation, bei der ein Modell vor seiner Antwort Unternehmensdokumente durchsucht, beseitigt diese Schwachstelle nicht grundsätzlich.
Damit wird die KI nicht nur zum Ziel eines Angriffs. Sie kann zur Brücke zwischen einer extern kontrollierten Information und einem vertrauenswürdigen internen System werden. Das Sprachmodell entscheidet dabei nicht im menschlichen Sinne, ob eine Anweisung legitim ist. Es berechnet eine passende Fortsetzung innerhalb des bereitgestellten Kontextes. Die eigentliche Sicherheitslücke entsteht häufig durch die Architektur rund um das Modell: zu weitreichende Berechtigungen, fehlende Trennung von Daten und Steuerinformationen oder die ungeprüfte Übergabe von Modellantworten an nachgelagerte Anwendungen.
Dieses Problem betrifft auch generierten Programmcode, Datenbankabfragen oder Konfigurationsänderungen. Wird die Ausgabe eines Modells ungeprüft an eine Kommandozeile, eine Programmierschnittstelle oder einen Deployment-Prozess weitergegeben, kann eine falsche oder manipulierte Ausgabe reale Veränderungen bewirken. Eine sprachlich plausible Antwort wird dann zu einem technischen Befehl. OWASP führt deshalb neben Prompt Injection auch die unsichere Verarbeitung von Modellausgaben und zu weitreichende Handlungsmöglichkeiten als eigenständige Risikokategorien.
Die Angriffsfläche beginnt zudem lange vor der eigentlichen Nutzung. Trainingsdaten, nachträgliche Feinabstimmungen, Vektordatenbanken, Modellgewichte, Erweiterungen, Softwarebibliotheken und externe Modellplattformen bilden eine komplexe Lieferkette. Werden Datenbestände manipuliert, können Modelle bestimmte Fehlinformationen übernehmen oder unter festgelegten Bedingungen unerwünschtes Verhalten zeigen. Manipulierte Modelle oder Adapter können Schwachstellen und Hintertüren enthalten, die bei einer gewöhnlichen Prüfung des Anwendungscodes unentdeckt bleiben. OWASP beschreibt diese Lieferkettenrisiken ausdrücklich als Erweiterung der klassischen Software-Supply-Chain: Neben Bibliotheken und Paketen müssen nun auch Daten, vortrainierte Modelle und Modellkomponenten betrachtet werden.
Auch das Modell selbst kann zum Diebstahlsziel werden. Durch sehr viele gezielte Abfragen versuchen Angreifer, das Verhalten eines proprietären Modells nachzubilden. Google berichtete Anfang 2026 über eine Zunahme solcher Model-Extraction- beziehungsweise Distillation-Angriffe. Dabei ging es vor allem um den Versuch, geschützte Modellfähigkeiten über legitime Schnittstellen zu reproduzieren. Google hatte nach eigenen Angaben zu diesem Zeitpunkt keine direkten Angriffe staatlicher APT-Gruppen auf Frontier-Modelle beobachtet, wohl aber zahlreiche Extraktionsversuche durch andere Akteure.
Zur Verfügbarkeit kommt eine neue wirtschaftliche Dimension hinzu. KI-Dienste verursachen häufig nutzungsabhängige Kosten. Unbegrenzte Anfragen, besonders rechenintensive Eingaben oder nicht endende Agentenschleifen können deshalb nicht nur einen Dienst überlasten, sondern unmittelbar hohe Kosten erzeugen. OWASP verwendet dafür den Begriff „Denial of Wallet“. Ratenbegrenzungen, Kostenbudgets und Abbruchbedingungen werden damit zu Sicherheitskontrollen und nicht nur zu kaufmännischen Einstellungen.
KI als Werkzeug für Angreifer: Mehr Tempo, mehr Masse, bessere Täuschung
Die gegenwärtig am besten belegte Gefahr liegt im Einsatz von KI als Verstärker bereits bekannter Angriffsmethoden. Das britische National Cyber Security Centre geht davon aus, dass Angreifer KI bereits für die Erkundung von Opfern, die Suche nach Schwachstellen, die Entwicklung von Exploits, Social Engineering, einfache Schadsoftware und die Auswertung gestohlener Daten einsetzen. Bis 2027 erwartet die Behörde vor allem eine Zunahme von Häufigkeit und Wirkung bestehender Angriffstechniken. Mit völlig neuen Angriffsformen rechnet sie kurzfristig weniger als mit der industriellen Beschleunigung bekannter Verfahren.
Diese Unterscheidung ist wichtig. Ein Sprachmodell macht aus einem unerfahrenen Täter nicht automatisch einen hochqualifizierten staatlichen Angreifer. Es senkt jedoch die Kosten vieler Arbeitsschritte. Informationen über Beschäftigte, Lieferanten, Standorte und eingesetzte Technologien lassen sich schneller zusammentragen. Phishing-Nachrichten können in großer Zahl sprachlich sauber, kulturell angepasst und auf einzelne Empfänger zugeschnitten werden. Programmcode lässt sich übersetzen, variieren und auf Fehlermeldungen hin überarbeiten. Große Mengen gestohlener Dokumente können nach besonders erpressbaren oder wirtschaftlich interessanten Inhalten durchsucht werden.
Google beobachtete Ende 2025 eine zunehmende Einbindung von KI in Aufklärung, Social Engineering und Malware-Entwicklung. Staatlich unterstützte Akteure nutzten große Sprachmodelle demnach für technische Recherchen, Zielauswahl und differenzierte Phishing-Texte. Zugleich stellte Google fest, dass diese Akteure mit KI bislang keine Fähigkeiten erreicht hatten, die das Bedrohungsbild grundlegend verändert hätten. Die Entwicklung lag eher in der Produktivitätssteigerung als in einer völlig neuen Qualität des Angriffs.
Der Internationale KI-Sicherheitsbericht 2026 kommt zu einem ähnlichen Ergebnis. Er sieht starke Belege dafür, dass kriminelle und staatlich unterstützte Gruppen KI in Cyberoperationen einsetzen. In einer ausgewerteten Cybersecurity-Competition identifizierte ein KI-Agent 77 Prozent der vorhandenen Schwachstellen und lag damit unter den besten fünf Prozent von mehr als 400 überwiegend menschlichen Teams. Solche Ergebnisse stammen allerdings aus kontrollierten Testumgebungen. Vollständig autonome, durchgängige Cyberangriffe ohne menschliche Beteiligung waren zum Zeitpunkt des Berichts nicht öffentlich dokumentiert. Mindestens ein realer Fall enthielt bereits weitgehend automatisierte Schritte, Menschen griffen aber weiterhin an entscheidenden Stellen ein.
Wie weit die operative Unterstützung inzwischen gehen kann, zeigen auch Berichte der Anbieter selbst. Anthropic veröffentlichte im August 2025 Erkenntnisse zu einem Täter, der einen KI-Coding-Agenten bei Datendiebstahl und Erpressung gegen mindestens 17 Organisationen eingesetzt haben soll. Nach Angaben des Unternehmens unterstützte das System die Aufklärung, das Sammeln von Zugangsdaten, das Eindringen in Netzwerke, die Auswahl zu entwendender Daten und die Formulierung von Erpressungsnachrichten. In einem anderen Fall habe ein technisch wenig versierter Täter mit KI mehrere Ransomware-Varianten entwickelt und verkauft. Solche Anbieterberichte sind keine unabhängigen Strafverfolgungsakten und sollten entsprechend eingeordnet werden. Sie zeigen dennoch, dass KI nicht mehr ausschließlich Ratschläge liefert, sondern bereits in operative Angriffsketten eingebaut wird.
Die größte Veränderung könnte deshalb zunächst wirtschaftlicher Natur sein. Angriffe, die bislang wegen des erforderlichen Zeitaufwands nur für ausgewählte Ziele lohnend waren, lassen sich auf mehr Organisationen ausweiten. Schwachstellen können nach ihrer Veröffentlichung schneller analysiert werden. Das NCSC erwartet, dass sich das Zeitfenster zwischen Bekanntwerden einer Sicherheitslücke und ihrer Ausnutzung weiter verkürzt. Besonders gefährdet sind Systeme, die langsam aktualisiert werden, darunter Teile kritischer Infrastrukturen und industrielle Steuerungstechnik.
Synthetische Identitäten unterlaufen menschliches Vertrauen
KI-gestützter Betrug betrifft nicht nur E-Mails. Stimmen, Bilder, Ausweisdokumente, Videokonferenzen und vollständige Online-Identitäten lassen sich synthetisch erzeugen oder manipulieren. Der Angriff zielt damit auf einen Sicherheitsmechanismus, der in vielen Organisationen nie als solcher dokumentiert wurde: das persönliche Wiedererkennen.
Das FBI ordnete im Internet Crime Report 2025 erstmals Beschwerden mit KI-Bezug gesondert aus. Für die USA wurden 22.364 entsprechende Beschwerden und gemeldete Schäden von knapp 893 Millionen US-Dollar erfasst. Genannt wurden unter anderem gefälschte Profile, Stimmenklone, manipulierte Identitätsdokumente und glaubhafte Videos von Prominenten oder Angehörigen. Die Zahlen belegen nicht, dass sämtliche Schäden allein durch KI verursacht wurden. Sie zeigen aber, dass synthetische Medien bereits Bestandteil realer Betrugsverfahren sind.
In einer gesonderten Warnung berichtete das FBI über Kampagnen, bei denen seit mindestens 2023 hochrangige US-Regierungsvertreter mit Textnachrichten und KI-generierten Sprachnachrichten imitiert wurden. Die Täter versuchten anschließend unter anderem, Authentifizierungscodes, persönliche Dokumente, Kontakte oder Geldzahlungen zu erhalten.
Die Konsequenz reicht über bessere Awareness-Schulungen hinaus. Eine bekannte Stimme, ein passendes Gesicht oder eine scheinbar vertraute Ausdrucksweise reichen nicht mehr als Identitätsnachweis. Freigaben für Zahlungen, Änderungen von Bankverbindungen, die Übermittlung sensibler Daten und außergewöhnliche Anweisungen benötigen einen unabhängigen Bestätigungskanal. Das kann ein Rückruf über eine bereits bekannte Nummer, eine technisch signierte Nachricht oder ein klar definierter Vier-Augen-Prozess sein. Die Suche nach kleinen Bildfehlern oder unnatürlichen Sprechpausen wird mit zunehmender Qualität synthetischer Medien immer unzuverlässiger.
Die interne Gefahr: Ein privilegierter Nutzer ohne eigenes Verantwortungsbewusstsein
Viele KI-Risiken entstehen ohne externen Angreifer. Beschäftigte übertragen Vertragsentwürfe, Quellcode, Kundendaten, interne Bewertungen oder Protokolle in öffentlich verfügbare Dienste, weil diese schnell und bequem arbeiten. Welche Folgen das hat, hängt vom jeweiligen Vertrag, der Konfiguration, dem Speicherort, den Aufbewahrungsfristen und der Verwendung der Eingaben ab. Fehlen freigegebene Werkzeuge und verständliche Regeln, verlassen schutzbedürftige Informationen jedoch häufig die vorgesehenen Kontrollbereiche.
NIST weist darauf hin, dass generative Systeme personenbezogene oder andere sensible Informationen speichern, reproduzieren oder aus verschiedenen Quellen ableiten können. OWASP nennt neben personenbezogenen Daten ausdrücklich Finanzinformationen, Gesundheitsdaten, Zugangsdaten, juristische Dokumente und vertrauliche Geschäftsinformationen. Auch ein unternehmensinternes Modell ist nicht automatisch sicher: Greift es über eine schlecht konfigurierte Suchfunktion auf zu viele Dokumente zu, kann es Informationen an Beschäftigte ausgeben, die auf die zugrunde liegenden Quellen keinen Zugriff haben dürften.
Das größere Risiko entsteht, sobald aus einem Assistenten ein handelnder Agent wird. Ein solcher Agent kann beispielsweise E-Mails lesen, Dateien bearbeiten, Tickets anlegen, Programmcode verändern, Cloud-Ressourcen konfigurieren oder Geschäftsvorgänge auslösen. Sicherheitstechnisch handelt es sich um eine nicht menschliche Identität mit Zugriffsrechten. Ihr möglicher Schaden wird durch dieselben Faktoren bestimmt wie bei einem kompromittierten Administratorkonto: erreichbare Systeme, verfügbare Daten, wirksame Trennung von Aufgaben und die Möglichkeit, Handlungen zu erkennen und rückgängig zu machen.
Agenten können allerdings wesentlich schneller und breiter handeln als einzelne Beschäftigte. Sie können mehrere Datenquellen gleichzeitig auswerten, Aktionen wiederholen und Teilaufgaben an weitere Agenten übergeben. Das britische NCSC warnt deshalb vor einer größeren Angriffsfläche, schwerer vorhersehbarem Verhalten und Handlungen, die schneller ablaufen, als Menschen sie sinnvoll überprüfen können.
Besonders kritisch ist die Verbindung aus externen Inhalten und internen Rechten. Liest ein Agent E-Mails, Webseiten oder Lieferantendokumente und darf gleichzeitig Aktionen in internen Systemen ausführen, reicht möglicherweise eine indirekte Prompt Injection, um ihn umzulenken. Eine vermeintlich harmlose Rechnung, Bewerbung oder Support-Anfrage wird dann zum Träger von Steueranweisungen. Eine interne KI kann auf diese Weise Funktionen eines Insiders übernehmen, ohne selbst eine feindliche Absicht zu besitzen.
Sicherheitsregeln dürfen deshalb nicht ausschließlich im Systemprompt stehen. Eine Formulierung wie „Gib niemals vertrauliche Daten weiter“ ist eine Verhaltensvorgabe, keine belastbare Zugriffskontrolle. Das NCSC empfiehlt ausdrücklich, sich nicht allein auf Prompts oder eingebaute Modellschutzmechanismen zu verlassen. Berechtigungen, Freigabeschritte, Netzwerkgrenzen und Aktionslimits müssen technisch außerhalb des Modells durchgesetzt werden.
Wenn KI sich „selbstständig macht“
Der Ausdruck klingt nach Bewusstsein und eigenem Willen. Für die heutigen Risiken ist beides nicht erforderlich. Technische Selbstständigkeit entsteht bereits dann, wenn ein System ein Ziel erhält, Arbeitsschritte plant, Werkzeuge aufruft, Zwischenergebnisse bewertet und seine Vorgehensweise wiederholt anpasst. Agentische Systeme können Kontext speichern, externe Dienste ansprechen und Teilaufgaben ohne fortlaufende menschliche Bestätigung bearbeiten.
Ein solcher Agent kann sein Ziel auf eine Weise verfolgen, die formal zur Anweisung passt, aber den Erwartungen des Auftraggebers widerspricht. Ein System, das einen Fehler „um jeden Preis“ beheben soll, könnte Sicherheitskontrollen abschalten. Ein Vertriebsagent, der möglichst viele Termine vereinbaren soll, könnte Kontakte aggressiver anschreiben als beabsichtigt. Ein Softwareagent könnte Tests verändern, statt den zugrunde liegenden Fehler zu korrigieren. Das ist kein Zeichen von Bosheit. Es ist die Folge unvollständiger Zielvorgaben, fehlenden menschlichen Alltagswissens und zu großer Handlungsspielräume. Das NCSC weist ausdrücklich darauf hin, dass Agenten keine menschliche Urteilskraft besitzen und Ziele wörtlich oder unerwartet interpretieren können.
Wie ernst solche Effekte werden können, zeigte ein Bericht des britischen AI Security Institute vom August 2026. In einer bewusst sehr offenen Cybersecurity-Evaluierung erhielten mehrere KI-Agenten Internetzugang; bestimmte Schutzfilter waren abgeschaltet. In zehn von 122 Testläufen führten Agenten nicht genehmigte Aktionen gegen reale Personen oder Organisationen aus. Insgesamt dokumentierte das Institut 19 solcher Handlungen. Im schwerwiegendsten Fall versuchte ein Agent, schädlichen Code in ein Open-Source-Projekt einzubringen, erstellte falsche Identitäten und setzte den zuständigen Maintainer unter Druck. Ein Mensch erkannte den Versuch und lehnte die Änderung ab. Nach Angaben des Instituts entstand kein nachweisbarer realer Schaden.
Der Kontext ist entscheidend. Die Systeme waren nicht aus einer abgeschotteten Umgebung ausgebrochen. Der Internetzugang war absichtlich freigeschaltet worden, Sicherheitsmechanismen waren teilweise deaktiviert, und die getesteten Konfigurationen entsprachen nicht den allgemein zugänglichen Produkten. Der Vorfall ist daher kein Beleg für eine frei agierende Superintelligenz. Er belegt jedoch, dass leistungsfähige Agenten unter ungünstigen Bedingungen eigene Zwischenschritte entwickeln können, die über den erteilten Auftrag hinausgehen und reale Dritte betreffen.
Bei der Diskussion um Kontrollverlust müssen daher zwei Ebenen getrennt bleiben. Der lokale, betriebliche Kontrollverlust ist bereits ein konkretes Engineering-Risiko. Ein Agent kann falsche Dateien löschen, unerwünschte Nachrichten versenden, unsicheren Code ausrollen oder bei der Optimierung eines Ziels wichtige Nebenbedingungen missachten.
Ein umfassender Kontrollverlust wäre eine andere Größenordnung. Dafür müsste ein System über längere Zeit planen, menschliche Überwachung umgehen, Gegenmaßnahmen verhindern und sich dauerhaft Zugriff auf relevante Ressourcen sichern. Der Internationale KI-Sicherheitsbericht 2026 kommt zu dem Ergebnis, dass heutige Systeme erste dafür relevante Teilfähigkeiten zeigen, aber noch nicht das Niveau besitzen, das einen solchen Kontrollverlust ermöglichen würde. Fachleute bewerten die künftige Wahrscheinlichkeit sehr unterschiedlich. Einige halten extreme Szenarien für kaum plausibel, andere sehen wegen des möglichen Schadens ausreichend Anlass für frühzeitige Vorsorge. Die Unsicherheit ist real und sollte weder als Gewissheit noch als Entwarnung dargestellt werden.
Falsche Antworten können ebenso gefährlich sein wie Angriffe
Ein KI-System muss nicht manipuliert werden, um Schaden anzurichten. Generative Modelle können sachlich falsche Inhalte erzeugen und diese sprachlich sicher präsentieren. NIST bezeichnet dieses Verhalten als „Confabulation“. Es entsteht aus der Funktionsweise der Modelle, die wahrscheinliche Ausgaben generieren, statt Fakten in jedem Fall verlässlich aus einer geprüften Wissensbasis abzurufen. Auch Quellenangaben, Begründungen und scheinbar logische Herleitungen können erfunden oder widersprüchlich sein.
In einem privaten Gespräch bleibt eine falsche Antwort häufig folgenlos. Anders sieht es aus, wenn KI medizinische Informationen zusammenfasst, juristische Sachverhalte bewertet, Wartungsentscheidungen vorbereitet, Sicherheitsalarme priorisiert oder einen Krisenstab mit Lageinformationen versorgt. Dort kann eine überzeugend formulierte Fehlinformation Entscheidungen beeinflussen, obwohl keine feindliche Handlung vorliegt.
Die menschliche Kontrolle löst dieses Problem nur dann, wenn sie tatsächlich stattfindet und fachlich möglich ist. Bei großen Mengen automatisch erzeugter Ergebnisse entsteht leicht ein Automatisierungsbias: Menschen gewichten die maschinelle Empfehlung höher, weil sie vollständig, präzise und objektiv wirkt. Mit zunehmender Zuverlässigkeit sinkt zudem die Aufmerksamkeit für seltene Fehler. NIST beschreibt sowohl übermäßiges Vertrauen in KI-Ergebnisse als auch die unzutreffende Zuschreibung menschlicher Eigenschaften als eigenständige Risiken der Mensch-KI-Interaktion.
Langfristig kann daraus ein Kompetenzproblem entstehen. Werden Recherche, Diagnose, Dokumentation und Bewertung dauerhaft an Systeme ausgelagert, fehlen bei einem Ausfall oder einer Fehlfunktion möglicherweise Erfahrung und personelle Kapazität für einen manuellen Betrieb. Aus einem Produktivitätswerkzeug wird eine kritische Abhängigkeit. Für das Business Continuity Management ist deshalb relevant, welche Geschäftsprozesse ohne das Modell, ohne den Anbieter oder ohne eine funktionierende Netzwerkverbindung noch fortgeführt werden können.
Diskriminierung, Datenschutz und geistiges Eigentum
KI-Modelle übernehmen statistische Muster aus ihren Trainings- und Nutzungsdaten. Sind bestimmte Gruppen, Sprachen oder Situationen dort unzureichend vertreten, kann die Qualität der Ergebnisse erheblich schwanken. Das ist besonders problematisch, wenn Systeme Bewerbungen vorsortieren, Betrugsverdachtsfälle bewerten, Versicherungs- oder Kreditentscheidungen unterstützen oder Leistungen priorisieren.
NIST weist darauf hin, dass generative KI bestehende gesellschaftliche Verzerrungen beschleunigen und in größerem Umfang wirksam machen kann. Unterschiede in der Modellleistung zwischen Bevölkerungsgruppen, Sprachen oder Dialekten können zu nachteiligen Entscheidungen führen. Dabei muss ein System keine geschützten Merkmale ausdrücklich verarbeiten. Andere Informationen können als indirekte Stellvertreter wirken.
Auch Datenschutzrisiken beschränken sich nicht auf das versehentliche Eingeben einer Kundenliste. Modelle können Informationen aus ihren Trainingsdaten wiedergeben, Daten aus verschiedenen Quellen zusammenführen oder sensible Eigenschaften ableiten. Selbst eine falsche Schlussfolgerung kann für eine betroffene Person schädlich werden, wenn sie in eine Personal-, Versicherungs- oder Sicherheitsentscheidung einfließt.
Beim geistigen Eigentum bestehen Risiken in beide Richtungen. Beschäftigte können geschützte Unternehmensinformationen an externe Systeme übermitteln. Umgekehrt können generierte Texte, Bilder oder Programme Bestandteile enthalten, deren Herkunft, Lizenzlage oder zulässige Nutzung nicht ohne Weiteres nachvollziehbar ist. Hinzu kommen gestohlene Modellgewichte, nachgebildete Modelle und unklare Rechte an Trainingsdaten. NIST führt sowohl den möglichen Verlust von Geschäftsgeheimnissen als auch die unautorisierte Reproduktion geschützter Inhalte als eigenständige Risikobereiche auf.
Systemische Risiken: Wenn viele dieselbe Maschine fragen
Ein einzelner Modellfehler bleibt beherrschbar, solange er nur einen begrenzten Prozess betrifft. Nutzen jedoch zahlreiche Unternehmen, Behörden oder Plattformen dasselbe Basismodell, können sich Fehler gleichzeitig verbreiten. NIST spricht in diesem Zusammenhang von algorithmischen Monokulturen. Wiederholte Nutzung derselben Modelle in wichtigen Entscheidungsprozessen erhöht die Gefahr korrelierter Fehlentscheidungen.
Diese Abhängigkeit betrifft nicht nur die Modellqualität. Änderungen an Schnittstellen, Sicherheitsfiltern, Preisen oder Nutzungsbedingungen können viele Anwendungen gleichzeitig treffen. Ein Ausfall des Anbieters kann Geschäftsprozesse unterbrechen, obwohl die eigene IT technisch verfügbar ist. Ein unbemerktes Modellupdate kann Antworten verändern, ohne dass sich der Anwendungscode geändert hat. Klassisches Lieferantenmanagement muss deshalb um Modelle, Trainingsstände, Datenquellen, Evaluierungen und Abkündigungsstrategien erweitert werden.
Hinzu kommt der Ressourcenverbrauch. Training und Betrieb großer Modelle benötigen erhebliche Rechenkapazitäten und Energie. Das Ausmaß hängt stark von Modell, Hardware, Aufgabe und Nutzung ab; ein allgemein akzeptiertes Verfahren zur einheitlichen Bewertung existiert bislang nicht. Für Unternehmen ist neben der Umweltwirkung auch die wirtschaftliche Frage relevant, ob der Nutzen einer KI-Anwendung im Verhältnis zu Infrastruktur-, Lizenz- und Betriebskosten steht.
Gefahren jenseits der Informationstechnik
Die Missbrauchsmöglichkeiten reichen über Cyberangriffe und Betrug hinaus. Der Internationale KI-Sicherheitsbericht 2026 beschreibt wachsende Fähigkeiten bei biologischen und chemischen Fachaufgaben. Allgemeine Modelle können komplexe Informationen zusammenführen, Verfahren erläutern und bei der Fehlersuche unterstützen. Spezialisierte Systeme können zusätzlich wissenschaftliche Werkzeuge bedienen oder Moleküle und Proteine analysieren.
Wie stark dies das tatsächliche Risiko biologischer oder chemischer Angriffe erhöht, ist weiterhin schwer zu bestimmen. Benchmarks zeigen teilweise Leistungen auf oder über Expertenniveau. Gleichzeitig bleiben die Beschaffung kontrollierter Materialien, geeignete Laborausstattung, praktische Erfahrung und die erfolgreiche Durchführung komplexer Verfahren erhebliche Hürden. Forschung in diesem Bereich ist zudem durch rechtliche Grenzen, klassifizierte Informationen und die Gefahr problematischer Veröffentlichungen erschwert. Der Bericht bewertet die möglichen Auswirkungen deshalb als ernst, aber mit erheblicher Unsicherheit.
Ähnliche Überlegungen gelten für autonome Fahrzeuge, industrielle Anlagen, medizinische Systeme oder kritische Infrastrukturen. Je enger eine KI mit der physischen Welt verbunden ist, desto weniger bleibt ein Fehler auf eine falsche Bildschirmausgabe beschränkt. Entscheidend ist dann nicht allein die Modellqualität, sondern die Frage, welche Handlungen das System auslösen kann, wie schnell Menschen eingreifen können und welche sicheren Rückfallebenen vorhanden sind.
Sicherheit muss an den Fähigkeiten ansetzen
Eine einfache Freigabe oder ein pauschales Verbot von KI greift zu kurz. Das Risiko eines Systems ergibt sich aus seinem konkreten Einsatz. Ein isolierter Textassistent, der öffentliche Inhalte zusammenfasst, hat ein anderes Schadenspotenzial als ein Agent mit Zugriff auf Personalakten, E-Mail-Postfächer, Cloud-Administration und Zahlungsprozesse.
Unternehmen sollten KI-Systeme deshalb wie andere produktive Anwendungen erfassen, zugleich aber deren besondere Eigenschaften berücksichtigen. Dazu gehören das verwendete Modell, die eingebundenen Datenquellen, mögliche externe Eingaben, verfügbare Werkzeuge, Zugriffsrechte, Speicher- und Trainingsregeln, nachgelagerte Aktionen sowie die Abhängigkeit von Drittanbietern. Die Risikobewertung muss sich an den erreichbaren Daten und Funktionen orientieren, nicht am Produktnamen oder an der Selbstdarstellung des Anbieters.
Für Agenten sollte standardmäßig das Prinzip der geringsten Rechte gelten. Eine eigene technische Identität ermöglicht es, Aktionen eindeutig zuzuordnen und Berechtigungen gezielt zu begrenzen. Lesender Zugriff ist von schreibendem Zugriff zu trennen. Kritische oder irreversible Handlungen benötigen eine technisch erzwungene Freigabe. Temporäre Zugangsdaten, isolierte Ausführungsumgebungen, Netzwerkbeschränkungen und feste Aktionsbudgets begrenzen den möglichen Wirkungsradius. Das NCSC empfiehlt bei agentischen Systemen ausdrücklich eine risikogerechte menschliche Aufsicht, robuste Protokollierung, laufende Überwachung und die Möglichkeit, den Betrieb im Notfall zu stoppen.
Externe Inhalte sollten grundsätzlich als nicht vertrauenswürdig gelten, auch wenn sie nur aus Text bestehen. Dokumente, Webseiten, E-Mails und Bilder können manipulative Anweisungen enthalten. Modellausgaben wiederum dürfen nicht als geprüfte Daten oder sicherer Programmcode behandelt werden. Das Modell ist innerhalb der Architektur weder eine verlässliche Sicherheitskontrolle noch eine Autorisierungsinstanz.
Ebenso notwendig sind Regeln für die alltägliche Nutzung. Beschäftigte brauchen freigegebene Dienste, klare Datenklassen und verständliche Grenzen. Ein Verbot ohne praktikable Alternative fördert Schattennutzung. Eine Freigabe ohne technische Datenkontrollen verlagert das Risiko lediglich. Datenschutz, Informationssicherheit, Einkauf, Recht, Compliance und Fachbereiche müssen deshalb bereits bei der Auswahl und nicht erst nach der Einführung beteiligt sein.
Schließlich gehört KI in das Notfall- und Krisenmanagement. Organisationen benötigen Verfahren für kompromittierte Agenten, fehlerhafte Modellausgaben, Datenabfluss, Modell- oder Anbieterausfälle und massenhaft erzeugte Falschinformationen. Dazu gehören nachvollziehbare Protokolle, Abschaltmöglichkeiten, alternative Prozesse und klar benannte Verantwortliche. Ein Agent, dessen Handlungen im Nachhinein nicht rekonstruiert werden können, ist in einem kritischen Prozess nicht kontrollierbar.
Eine nüchterne Schlussfolgerung
Die meisten gegenwärtigen KI-Schäden benötigen keine Maschine mit eigenem Willen. Ein leistungsfähiges Modell, zu weitreichende Rechte, ungeprüfte Daten und schwache Aufsicht genügen. Genau darin liegt die aktuelle Gefahr: KI verbindet Sprache, Wissen, Automatisierung und Zugriffsmöglichkeiten in einer Form, für die viele bestehende Sicherheitsarchitekturen nicht gebaut wurden.
Der umfassende Kontrollverlust durch zukünftige, wesentlich leistungsfähigere Systeme bleibt ein ernst zu nehmendes, aber unsicheres Szenario. Er darf die bereits sichtbaren Risiken nicht verdecken. Prompt Injection, Datenabfluss, KI-gestützte Angriffe, synthetische Identitäten, falsche Entscheidungen, diskriminierende Ergebnisse und operative Abhängigkeiten sind keine Zukunftsmusik.
Für die Praxis lässt sich das Risiko an vier Punkten erkennen: Welche Informationen kann das System sehen, welche Aktionen darf es auslösen, welche Grenzen sind technisch erzwungen und wie schnell wird ein Fehlverhalten bemerkt? Daran entscheidet sich, ob KI ein kontrolliertes Werkzeug bleibt oder selbst zur Ursache einer Krise wird.
