Sicherheit von Systemen der künstlichen Intelligenz beim Einsatz in der öffentlichen Verwaltung und im Unternehmensumfeld

Taxonomie der Risiken, normativer Rahmen und Architektur der kontrollierten Vertrauenswürdigkeit für den vertrauenswürdigen Einsatz großer Sprachmodelle in der öffentlichen Verwaltung und in Unternehmen.

Zusammenfassung

Der Beitrag befasst sich mit der Sicherheit von Systemen der künstlichen Intelligenz (KI), insbesondere von Anwendungen, die auf großen Sprachmodellen (large language models, LLM) beruhen, bei ihrem Einsatz in der öffentlichen Verwaltung, in mittelgroßen Organisationen und in großen Unternehmen. Ausgehend von aktuellen Bedrohungstaxonomien und empirischen Erkenntnissen zur sogenannten Schatten-KI grenzt er die spezifische Angriffsfläche ab, die aus der probabilistischen und intransparenten Natur generativer Modelle und aus der fehlenden Trennung von Instruktionen und Daten entsteht. Die Arbeit synthetisiert ferner den verbindlichen regulatorischen und den freiwilligen normativen Rahmen (EU AI Act, NIS2, GDPR, ISO/IEC 42001, NIST AI RMF) und schlägt eine Architektur der kontrollierten Vertrauenswürdigkeit vor, die auf einem mehrstufigen heuristischen Gate und auf dem Risikomanagement über den gesamten Lebenszyklus des Modells beruht. Abschließend formuliert er nach Art des Subjekts differenzierte Implikationen und argumentiert, dass eine in das Design integrierte Sicherheit kein Hindernis, sondern eine Voraussetzung für eine nachhaltige Adoption von KI ist.

Schlüsselwörter: künstliche Intelligenz; große Sprachmodelle; Cybersicherheit; Risikomanagement; Prompt Injection; Schatten-KI; EU AI Act; Governance.

1. Einleitung und Problemabgrenzung

Die künstliche Intelligenz hat innerhalb kurzer Zeit den Übergang von der experimentellen Phase in den produktiven Betrieb vollzogen. Generative Modelle werden heute zur Bearbeitung amtlicher Eingaben, zur Sortierung von Anträgen, zur Zusammenfassung von Verträgen, zur Unterstützung der Softwareentwicklung sowie zur Betreuung von Kundenkanälen eingesetzt. Das Tempo der Adoption hat jedoch den Aufbau entsprechender Sicherheits- und Steuerungsmechanismen überholt, wodurch eine neue Angriffsfläche und eine neue Klasse betrieblicher Risiken entstanden ist. Während die frühere Entwicklungsphase durch die Frage nach den Fähigkeiten der Modelle gekennzeichnet war, stellt die gegenwärtige Phase die Frage nach der Vertrauenswürdigkeit ihrer Ausgaben, also unter welchen Bedingungen und in welchem Umfang man ihnen bei Entscheidungen mit rechtlicher oder ökonomischer Wirkung vertrauen kann.

Die KI-Sicherheit verstehen wir in diesem Beitrag nicht als einfache Teilmenge der klassischen Informationssicherheit. Ein traditionelles Informationssystem ist überwiegend deterministisch, und sein Verhalten ist auf der Ebene einzelner Operationen auditierbar. Ein auf einem LLM beruhendes System ist hingegen probabilistisch, sein Entscheidungsprozess ist nur eingeschränkt interpretierbar und — was entscheidend ist — Instruktionen und Daten gelangen über einen gemeinsamen Kanal ohne explizite Trennung in das Modell^[1]. Ziel des Beitrags ist es, (i) eine spezifische Taxonomie der Bedrohungen solcher Systeme abzugrenzen, (ii) den relevanten normativen Rahmen zusammenzufassen und (iii) eine Kontrollarchitektur vorzuschlagen, die über verschiedene Organisationstypen hinweg anwendbar ist.

2. Spezifische Bedrohungsfläche von Systemen mit LLM

Die Referenztaxonomie bildet die Rangliste OWASP Top 10 for LLM Applications in der Version für das Jahr 2025^[1]. Auf dem ersten Platz steht im zweiten Jahr in Folge die Prompt Injection — eine Klasse von Angriffen, bei denen ein Gegner in die Eingabe eine Instruktion einfügt, die das Modell als Befehl und nicht als zu verarbeitenden Inhalt interpretiert. Da das Modell zwischen Daten und Anweisungen nicht zuverlässig unterscheiden kann, ordnet es sich der eingefügten Instruktion unter. Der Angriff kann direkt (vom Nutzer) oder indirekt erfolgen, verborgen in einem Dokument, einer E-Mail oder einer Webseite, die das Modell im Rahmen der erweiterten Suche (RAG) verarbeitet.

Auf den zweiten Platz vorgerückt ist die Offenlegung sensibler Informationen (sensitive information disclosure). Modelle können Fragmente der Trainingsdaten einschließlich personenbezogener Daten und Geschäftsgeheimnisse memorieren und reproduzieren; zum Leck kommt es jedoch auch über den Prompt, ein angebundenes System oder eine unzureichende Zugriffssteuerung^[1]. Die Taxonomie umfasst ferner die Vergiftung des Modells und der Trainingsdaten (data & model poisoning), Schwachstellen der Lieferkette, übermäßige Berechtigungen autonomer Agenten und die Erzeugung von Desinformation. Gemeinsames Merkmal dieser Bedrohungen ist, dass sie in der semantischen Schicht entstehen und von traditionellen Perimeterwerkzeugen (Firewall, Antivirus) in der Regel nicht erfasst werden; sie erfordern daher eine eigenständige Kontrollschicht.

3. Schatten-KI als organisatorisches Risiko

Empirische Erkenntnisse deuten darauf hin, dass einen erheblichen Teil des Risikos nicht externe Angreifer, sondern in gutem Glauben handelnde Mitarbeiter erzeugen. Das Phänomen der Schatten-KI (shadow AI) — die Nutzung nicht genehmigter Werkzeuge außerhalb der Aufsicht der IT — ist zu einem der am schnellsten wachsenden Vektoren des Datenabflusses geworden^[2][3]. Aus den verfügbaren Erhebungen geht hervor, dass die Mehrheit der Mitarbeiter generative Werkzeuge bei der Arbeit nutzt, ein wesentlicher Teil über private Konten außerhalb der Kontrolle der Organisation darauf zugreift und ein nicht zu vernachlässigender Anteil die Eingabe sensibler Daten einräumt^[3]. Der Bericht IBM Cost of a Data Breach Report 2025 gibt an, dass etwa ein Fünftel der durchbrochenen Organisationen über Schatten-KI kompromittiert wurde, was die durchschnittlichen Kosten je Vorfall in der Größenordnung von Hunderttausenden Dollar erhöht hat^[2].

Abbildung 1. Ausgewählte Kennzahlen zu Umfang und Folgen der Schatten-KI. Quelle: [2], [3].

Die Folge ist zweifacher Art. Erstens verlassen die Daten den Perimeter der Organisation in dem Moment, in dem sie in einen öffentlichen Dienst eingegeben werden; zweitens fehlt ein Audit-Eintrag darüber, welche Daten wem zugänglich gemacht wurden. In der öffentlichen Verwaltung sind die Auswirkungen schwerwiegender, da es sich um Daten der Bürger in einem besonderen Schutzregime handelt. Ein restriktiver Ansatz (ein pauschales Verbot) erweist sich als kontraproduktiv, weil er die Nutzung noch tiefer in den Schatten verlagert; die geeignetere Lösung ist die Bereitstellung einer sicheren, genehmigten und überwachten Alternative.

„Die KI-Sicherheit beginnt nicht beim Modell, sondern bei der Frage, welche Daten in das Modell eingehen dürfen und wer dem vertrauen darf, was aus ihm herauskommt.”

— Grundsatz der Datenminimierung und des kontrollierten Vertrauens

4. Normativer und regulatorischer Rahmen

Den Rahmen für den Einsatz von KI bildet ein sich überlappendes Gefüge verbindlicher Vorschriften und freiwilliger Standards. Die verbindliche Schicht stellen im EU-Kontext EU AI Act, NIS2 und GDPR dar; die freiwillige, in der Praxis jedoch zunehmend geforderte Schicht bilden ISO/IEC 42001 und NIST AI RMF, die eine methodisch erprobte Möglichkeit bieten, Konformität zu erreichen und nachzuweisen (Tabelle 1).

Tabelle 1. Überblick über die relevanten regulatorischen und normativen Rahmen für den Einsatz von KI.

Für große Unternehmen erhält ISO/IEC 42001 eine ähnliche Funktion, wie sie ISO/IEC 27001 im Bereich der Informationssicherheit hat — sie wird zum Standard des Vertrauens und zum Kriterium bei der Lieferantenauswahl^[4]. Für die öffentliche Verwaltung ist hingegen der EU AI Act maßgeblich, da mehrere ihrer Anwendungen (Sozialleistungen, Grenzschutz, Justiz, Strafverfolgung) in die Hochrisikokategorie eingeordnet sind^[6].

5. Architektur der kontrollierten Vertrauenswürdigkeit: das heuristische Gate

Die regulatorischen und normativen Anforderungen müssen in eine konkrete technische Kontrolle übersetzt werden. Den Kern des vorgeschlagenen Ansatzes bildet ein heuristisches Gate — eine Kontrollschicht, durch die jede Eingabe (Prompt), jede Zwischenoperation und jede Ausgabe hindurchgeht, noch bevor sie zum berechtigten Nutzer oder in ein nachgelagertes System gelangt. Anstelle eines impliziten Vertrauens in das Modell wird jede Interaktion auf sechs voneinander unabhängigen Ebenen überprüft (Abbildung 2).

Interaktionsfluss: Eingabe / Modell → 6 Kontrollebenen → berechtigter Nutzer oder System.

1. Ebene 1 — Eingabekontrolle. Analyse des Prompts, Erkennung von Prompt Injection, Jailbreaks und unzulässigen Anfragen vor der Übermittlung an das Modell.
2. Ebene 2 — Berechtigungssteuerung. Überprüfung der Rolle und der Zugriffsrechte; sowohl der Nutzer als auch der autonome Agent handeln nur im Rahmen der zugewiesenen Berechtigungen.
3. Ebene 3 — Datenschutz. Erkennung und Maskierung personenbezogener und sensibler Daten in der Ein- und Ausgabe, Datenminimierung im Einklang mit der GDPR.
4. Ebene 4 — Sachliche Korrektheit. Heuristische Kontrolle der Ausgabe, Aufdeckung von Halluzinationen sowie Quervalidierung von Aussagen und Quellen.
5. Ebene 5 — Inhaltssicherheit. Filterung toxischer, voreingenommener und manipulativer Inhalte und Blockierung unerwünschter Aktionen.
6. Ebene 6 — Menschliche Aufsicht. Finale Freigabe bei Entscheidungen mit rechtlicher oder erheblicher Wirkung (GDPR Art. 22) — Human-in-the-Loop.

Abbildung 2. Sechsstufiges Modell des heuristischen Gates zur Kontrolle der Interaktionen mit LLM.

Für Organisationen und große Unternehmen hat das Gate noch eine wesentliche Funktion: jede Interaktion wird protokolliert, wodurch eine auditierbare Spur darüber entsteht, wer das System wofür und mit welchem Ergebnis genutzt hat und welche Kontrollen die Ausgabe durchgelassen haben. Damit wird der blinde Fleck der Schatten-KI systematisch adressiert — anstelle eines unkontrollierten Datenabflusses in öffentliche Dienste erhält das Sicherheitsteam einen vollständigen Überblick und eine forensische Spur.

6. Lebenszyklus und Risikomanagement

Sicherheit ist kein einmaliges Audit vor der Inbetriebnahme, sondern eine Eigenschaft des gesamten Lebenszyklus, im Einklang mit dem Funktionsmodell des NIST AI RMF (Govern, Map, Measure, Manage)^[5]. In der Praxis lässt sie sich in fünf sich wiederholende Phasen operationalisieren.

6.1 Bewertung und Mapping

Vor der Implementierung werden die Risikoklasse des Systems bestimmt, eine DSFA und eine rechtliche Analyse des Anwendungsfalls erstellt sowie der Kreis der betroffenen Subjekte kartiert. Ohne diesen Schritt ist es nicht möglich, die Kontrollen und den Umfang der menschlichen Aufsicht richtig zu dimensionieren.

6.2 Design und Validierung

In das Design werden Sicherheitskontrollen, Datenminimierung und Aufsichtspunkte eingebaut. Vor dem Einsatz wird das System auf Voreingenommenheit, Genauigkeit und Robustheit getestet, einschließlich eines gezielten Red Teamings, das versucht, das Gate zu umgehen und das Modell zu manipulieren.

6.3 Einsatz und Monitoring

Die Inbetriebnahme erfolgt gesteuert, mit menschlicher Aufsicht und vollständiger Protokollierung. Es folgt die laufende Messung: Beobachtung von Modelldrift, Ausgabequalität und Anomalien, mit vorbereiteter Reaktion auf Vorfälle und einer 24-Stunden-Meldung gemäß NIS2^[7]. Ein System, das die festgelegten Kriterien nicht mehr erfüllt, wird kontrolliert zurückgezogen oder neu trainiert.

Anmerkung zur Reihenfolge der Schritte. Aus Sicht der Kosteneffizienz ist entscheidend, dass die Kontrollen Bestandteil des Designs und nicht eine nachträgliche Anpassung sind. Die Kosten der Behebung steigen mit der Phase des Lebenszyklus nichtlinear — ein Vorfall im Betrieb ist um Größenordnungen kostspieliger als eine in die Architektur eingebaute Kontrolle, wobei reputative und regulatorische Folgen darin noch nicht enthalten sind.

7. Implikationen für die Typologie der Subjekte

7.1 Öffentliche Verwaltung

Subjekte der öffentlichen Verwaltung verarbeiten Daten der Bürger, und mehrere ihrer KI-Anwendungen sind von Gesetzes wegen hochriskant. Priorität haben die Konformität mit dem EU AI Act, die verpflichtende menschliche Aufsicht bei Entscheidungen über Rechte und Ansprüche, die Datensouveränität (Hosting in der EU) und die Bereitschaft, die Dokumentation gegenüber den Aufsichtsbehörden nachzuweisen. Angesichts der Dauer der Beschaffungszyklen ist es ratsam, mit der Vorbereitung deutlich vor den Fristen 2026 – 2030 zu beginnen.

7.2 Mittelgroße Organisationen

In diesem Segment ist das akuteste Problem die Schatten-KI und das Fehlen einer Nutzungsrichtlinie. Die wirksamste erste Maßnahme besteht darin, den Mitarbeitern ein genehmigtes und überwachtes Werkzeug mit heuristischem Gate bereitzustellen, ergänzt um klare Regeln und Schulung, wodurch der Datenabfluss in öffentliche Dienste eliminiert wird und eine grundlegende Audit-Sichtbarkeit entsteht.

7.3 Große Unternehmen

Für große Unternehmen wird die KI-Sicherheit zu einer Frage umfassender Governance: eines Registers der KI-Systeme, der Zertifizierung nach ISO/IEC 42001, der Steuerung der Modell-Lieferkette, der Kontrolle autonomer Agenten und der Integration von KI in die bestehende Strategie der Cybersicherheit und des Vorfallmanagements. Zertifizierung und auditierbare Architektur werden zugleich zu einem Wettbewerbsvorteil bei der Gewinnung von Kunden und öffentlichen Aufträgen.

8. Diskussion und Fazit

Die vorgelegte Analyse legt nahe, dass die KI-Sicherheit ihrer Natur nach ein Querschnittsproblem ist, das sich weder auf eine rein technische noch auf eine rein regulatorische Maßnahme reduzieren lässt. Die vorgeschlagene Architektur der kontrollierten Vertrauenswürdigkeit — die Kombination eines mehrstufigen heuristischen Gates und des Risikomanagements über den Lebenszyklus — stellt einen praktischen Rahmen dar, der die Anforderungen der Vorschriften und Normen in überprüfbare Kontrollen übersetzt. Eine Grenze des Ansatzes ist die Abhängigkeit der Wirksamkeit der einzelnen Gate-Ebenen von der Qualität der Erkennungsheuristiken und von ihrer laufenden Aktualisierung gegenüber neuen Angriffen; künftige Forschung sollte sich daher auf quantitative Metriken der Wirksamkeit der einzelnen Kontrollen und auf deren Standardisierung konzentrieren.

Es lässt sich feststellen, dass die künstliche Intelligenz nur dann einen Wert liefert, wenn man ihren Ausgaben vertrauen kann, wobei Vertrauen nicht vorausgesetzt werden kann — es muss aufgebaut und laufend nachgewiesen werden. Organisationen, die die KI-Sicherheit als integralen Bestandteil der Architektur, der regulatorischen Konformität und der Kultur des Risikomanagements angehen, gewinnen nicht nur Schutz vor Angriffen und Sanktionen, sondern auch die Fähigkeit, KI schneller und in größerem Umfang einzusetzen, weil jedes Szenario von Anfang an auditierbar und vertretbar ist. Sicherheit ist somit keine Bremse der Innovation, sondern eine Voraussetzung für ihr nachhaltiges Wachstum.

Literatur

1. OWASP. OWASP Top 10 for LLM Applications 2025. OWASP GenAI Security Project, 2025.
2. IBM Security. Cost of a Data Breach Report 2025. IBM / Ponemon Institute, 2025.
3. Menlo Security u. a. State of Shadow AI / Erhebungen zur Nutzung generativer KI in Unternehmen, 2025 – 2026.
4. ISO/IEC. ISO/IEC 42001:2023 — Information technology — Artificial intelligence — Management system. Genf, 2023.
5. NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, 2023.
6. Europäisches Parlament und Rat. Verordnung (EU) 2024/1689 (Gesetz über künstliche Intelligenz). Amtsblatt der EU, 2024.
7. Europäisches Parlament und Rat. Richtlinie (EU) 2022/2555 (NIS2). Amtsblatt der EU, 2022.
8. Europäisches Parlament und Rat. Verordnung (EU) 2016/679 (GDPR), Art. 22 und 35. Amtsblatt der EU, 2016.