Sicherheit von Systemen der künstlichen Intelligenz beim Einsatz in der öffentlichen Verwaltung und im Unternehmensumfeld

Taxonomie der Risiken, normativer Rahmen und Architektur der kontrollierten Vertrauenswürdigkeit für den vertrauenswürdigen Einsatz großer Sprachmodelle in der öffentlichen Verwaltung und in Unternehmen.

Zusammenfassung

Der Beitrag befasst sich mit der Sicherheit von Systemen der künstlichen Intelligenz (KI), insbesondere von Anwendungen, die auf großen Sprachmodellen (large language models, LLM) beruhen, bei ihrem Einsatz in der öffentlichen Verwaltung, in mittelgroßen Organisationen und in großen Unternehmen. Ausgehend von aktuellen Bedrohungstaxonomien und empirischen Erkenntnissen zur sogenannten Schatten-KI grenzt er die spezifische Angriffsfläche ab, die aus der probabilistischen und intransparenten Natur generativer Modelle und aus der fehlenden Trennung von Instruktionen und Daten entsteht. Die Arbeit synthetisiert ferner den verbindlichen regulatorischen und den freiwilligen normativen Rahmen (EU AI Act, NIS2, GDPR, ISO/IEC 42001, NIST AI RMF) und schlägt eine Architektur der kontrollierten Vertrauenswürdigkeit vor, die auf einem mehrstufigen heuristischen Gate und auf dem Risikomanagement über den gesamten Lebenszyklus des Modells beruht. Abschließend formuliert er nach Art des Subjekts differenzierte Implikationen und argumentiert, dass eine in das Design integrierte Sicherheit kein Hindernis, sondern eine Voraussetzung für eine nachhaltige Adoption von KI ist.

Schlüsselwörter: künstliche Intelligenz; große Sprachmodelle; Cybersicherheit; Risikomanagement; Prompt Injection; Schatten-KI; EU AI Act; Governance.

1. Einleitung und Problemabgrenzung

Die künstliche Intelligenz hat innerhalb kurzer Zeit den Übergang von der experimentellen Phase in den produktiven Betrieb vollzogen. Generative Modelle werden heute zur Bearbeitung amtlicher Eingaben, zur Sortierung von Anträgen, zur Zusammenfassung von Verträgen, zur Unterstützung der Softwareentwicklung sowie zur Betreuung von Kundenkanälen eingesetzt. Das Tempo der Adoption hat jedoch den Aufbau entsprechender Sicherheits- und Steuerungsmechanismen überholt, wodurch eine neue Angriffsfläche und eine neue Klasse betrieblicher Risiken entstanden ist. Während die frühere Entwicklungsphase durch die Frage nach den Fähigkeiten der Modelle gekennzeichnet war, stellt die gegenwärtige Phase die Frage nach der Vertrauenswürdigkeit ihrer Ausgaben, also unter welchen Bedingungen und in welchem Umfang man ihnen bei Entscheidungen mit rechtlicher oder ökonomischer Wirkung vertrauen kann.

Die KI-Sicherheit verstehen wir in diesem Beitrag nicht als einfache Teilmenge der klassischen Informationssicherheit. Ein traditionelles Informationssystem ist überwiegend deterministisch, und sein Verhalten ist auf der Ebene einzelner Operationen auditierbar. Ein auf einem LLM beruhendes System ist hingegen probabilistisch, sein Entscheidungsprozess ist nur eingeschränkt interpretierbar und — was entscheidend ist — Instruktionen und Daten gelangen über einen gemeinsamen Kanal ohne explizite Trennung in das Modell^[1]. Ziel des Beitrags ist es, (i) eine spezifische Taxonomie der Bedrohungen solcher Systeme abzugrenzen, (ii) den relevanten normativen Rahmen zusammenzufassen und (iii) eine Kontrollarchitektur vorzuschlagen, die über verschiedene Organisationstypen hinweg anwendbar ist.

2. Spezifische Bedrohungsfläche von Systemen mit LLM

Die Referenztaxonomie bildet die Rangliste OWASP Top 10 for LLM Applications in der Version für das Jahr 2025^[1]. Auf dem ersten Platz steht im zweiten Jahr in Folge die Prompt Injection — eine Klasse von Angriffen, bei denen ein Gegner in die Eingabe eine Instruktion einfügt, die das Modell als Befehl und nicht als zu verarbeitenden Inhalt interpretiert. Da das Modell zwischen Daten und Anweisungen nicht zuverlässig unterscheiden kann, ordnet es sich der eingefügten Instruktion unter. Der Angriff kann direkt (vom Nutzer) oder indirekt erfolgen, verborgen in einem Dokument, einer E-Mail oder einer Webseite, die das Modell im Rahmen der erweiterten Suche (RAG) verarbeitet.

Auf den zweiten Platz vorgerückt ist die Offenlegung sensibler Informationen (sensitive information disclosure). Modelle können Fragmente der Trainingsdaten einschließlich personenbezogener Daten und Geschäftsgeheimnisse memorieren und reproduzieren; zum Leck kommt es jedoch auch über den Prompt, ein angebundenes System oder eine unzureichende Zugriffssteuerung^[1]. Die Taxonomie umfasst ferner die Vergiftung des Modells und der Trainingsdaten (data & model poisoning), Schwachstellen der Lieferkette, übermäßige Berechtigungen autonomer Agenten und die Erzeugung von Desinformation. Gemeinsames Merkmal dieser Bedrohungen ist, dass sie in der semantischen Schicht entstehen und von traditionellen Perimeterwerkzeugen (Firewall, Antivirus) in der Regel nicht erfasst werden; sie erfordern daher eine eigenständige Kontrollschicht.

3. Schatten-KI als organisatorisches Risiko

Empirische Erkenntnisse deuten darauf hin, dass einen erheblichen Teil des Risikos nicht externe Angreifer, sondern in gutem Glauben handelnde Mitarbeiter erzeugen. Das Phänomen der Schatten-KI (shadow AI) — die Nutzung nicht genehmigter Werkzeuge außerhalb der Aufsicht der IT — ist zu einem der am schnellsten wachsenden Vektoren des Datenabflusses geworden^[2][3]. Aus den verfügbaren Erhebungen geht hervor, dass die Mehrheit der Mitarbeiter generative Werkzeuge bei der Arbeit nutzt, ein wesentlicher Teil über private Konten außerhalb der Kontrolle der Organisation darauf zugreift und ein nicht zu vernachlässigender Anteil die Eingabe sensibler Daten einräumt^[3]. Der Bericht IBM Cost of a Data Breach Report 2025 gibt an, dass etwa ein Fünftel der durchbrochenen Organisationen über Schatten-KI kompromittiert wurde, was die durchschnittlichen Kosten je Vorfall in der Größenordnung von Hunderttausenden Dollar erhöht hat^[2].

Abbildung 1. Ausgewählte Kennzahlen zu Umfang und Folgen der Schatten-KI. Quelle: [2], [3].

Die Folge ist zweifacher Art. Erstens verlassen die Daten den Perimeter der Organisation in dem Moment, in dem sie in einen öffentlichen Dienst eingegeben werden; zweitens fehlt ein Audit-Eintrag darüber, welche Daten wem zugänglich gemacht wurden. In der öffentlichen Verwaltung sind die Auswirkungen schwerwiegender, da es sich um Daten der Bürger in einem besonderen Schutzregime handelt. Ein restriktiver Ansatz (ein pauschales Verbot) erweist sich als kontraproduktiv, weil er die Nutzung noch tiefer in den Schatten verlagert; die geeignetere Lösung ist die Bereitstellung einer sicheren, genehmigten und überwachten Alternative.

„Die KI-Sicherheit beginnt nicht beim Modell, sondern bei der Frage, welche Daten in das Modell eingehen dürfen und wer dem vertrauen darf, was aus ihm herauskommt.”

— Grundsatz der Datenminimierung und des kontrollierten Vertrauens

4. Normativer und regulatorischer Rahmen

Den Rahmen für den Einsatz von KI bildet ein sich überlappendes Gefüge verbindlicher Vorschriften und freiwilliger Standards. Die verbindliche Schicht stellen im EU-Kontext EU AI Act, NIS2 und GDPR dar; die freiwillige, in der Praxis jedoch zunehmend geforderte Schicht bilden ISO/IEC 42001 und NIST AI RMF, die eine methodisch erprobte Möglichkeit bieten, Konformität zu erreichen und nachzuweisen (Tabelle 1).

Tabelle 1. Überblick über die relevanten regulatorischen und normativen Rahmen für den Einsatz von KI.

Für große Unternehmen erhält ISO/IEC 42001 eine ähnliche Funktion, wie sie ISO/IEC 27001 im Bereich der Informationssicherheit hat — sie wird zum Standard des Vertrauens und zum Kriterium bei der Lieferantenauswahl^[4]. Für die öffentliche Verwaltung ist hingegen der EU AI Act maßgeblich, da mehrere ihrer Anwendungen (Sozialleistungen, Grenzschutz, Justiz, Strafverfolgung) in die Hochrisikokategorie eingeordnet sind^[6].