Bezpieczeństwo systemów sztucznej inteligencji we wdrożeniach w administracji publicznej i środowisku korporacyjnym

Taksonomia ryzyk, ramy normatywne oraz architektura kontrolowanego zaufania dla wiarygodnego wdrażania dużych modeli językowych w administracji publicznej i w przedsiębiorstwach.

Streszczenie

Artykuł zajmuje się bezpieczeństwem systemów sztucznej inteligencji (AI), w szczególności aplikacji opartych na dużych modelach językowych (large language models, LLM), w kontekście ich wdrażania w administracji publicznej, w średnich organizacjach oraz w dużych przedsiębiorstwach. Wychodząc od aktualnych taksonomii zagrożeń oraz ustaleń empirycznych dotyczących tzw. cienia AI, wyznacza specyficzną powierzchnię ataku, która powstaje wskutek probabilistycznej i nieprzejrzystej natury modeli generatywnych oraz braku oddzielenia instrukcji od danych. Praca następnie syntetyzuje wiążące regulacyjne i dobrowolne ramy normatywne (EU AI Act, NIS2, GDPR, ISO/IEC 42001, NIST AI RMF) i proponuje architekturę kontrolowanego zaufania opartą na wielopoziomowej bramie heurystycznej oraz na zarządzaniu ryzykiem w całym cyklu życia modelu. W zakończeniu formułuje implikacje zróżnicowane według typu podmiotu i dowodzi, że bezpieczeństwo zintegrowane na etapie projektowania nie jest przeszkodą, lecz warunkiem zrównoważonej adopcji AI.

Słowa kluczowe: sztuczna inteligencja; duże modele językowe; cyberbezpieczeństwo; zarządzanie ryzykiem; prompt injection; cień AI; EU AI Act; governance.

1. Wprowadzenie i sformułowanie problemu

Sztuczna inteligencja w krótkim okresie przeszła z fazy eksperymentalnej do eksploatacji produkcyjnej. Modele generatywne są dziś wykorzystywane do przetwarzania podań urzędowych, segregacji wniosków, sporządzania streszczeń umów, wsparcia rozwoju oprogramowania oraz obsługi kanałów klienckich. Tempo adopcji wyprzedziło jednak budowę odpowiednich mechanizmów bezpieczeństwa i zarządzania, w wyniku czego powstała nowa powierzchnia ataku oraz nowa klasa ryzyka operacyjnego. O ile wcześniejsza faza rozwoju charakteryzowała się pytaniem o zdolności modeli, o tyle obecna faza stawia pytanie o wiarygodność ich wyników, to znaczy o to, na jakich warunkach i w jakim zakresie można im ufać przy podejmowaniu decyzji wywołujących skutek prawny lub ekonomiczny.

Bezpieczeństwa AI nie rozumiemy w tym artykule jako prostego podzbioru klasycznego bezpieczeństwa informacji. Tradycyjny system informacyjny jest w przeważającej mierze deterministyczny, a jego zachowanie podlega audytowi na poziomie poszczególnych operacji. System oparty na LLM jest natomiast probabilistyczny, jego proces decyzyjny jest tylko w ograniczonym stopniu interpretowalny, i — co kluczowe — instrukcje oraz dane wchodzą do modelu wspólnym kanałem, bez ich jawnego oddzielenia^[1]. Celem artykułu jest (i) wyznaczenie specyficznej taksonomii zagrożeń takich systemów, (ii) podsumowanie relewantnych ram normatywnych oraz (iii) zaproponowanie architektury kontroli możliwej do zastosowania w różnych typach organizacji.

2. Specyficzna powierzchnia zagrożeń systemów z LLM

Referencyjną taksonomię stanowi ranking OWASP Top 10 for LLM Applications w wersji na rok 2025^[1]. Na pierwszym miejscu drugi rok z rzędu znajduje się prompt injection — klasa ataków, w których przeciwnik umieszcza w danych wejściowych instrukcję, którą model interpretuje jako polecenie, a nie jako treść przeznaczoną do przetworzenia. Ponieważ model nie potrafi wiarygodnie odróżnić danych od poleceń, podporządkowuje się wstrzykniętej instrukcji. Atak może być bezpośredni (od użytkownika) lub pośredni, ukryty w dokumencie, wiadomości e-mail czy na stronie internetowej, którą model przetwarza w ramach rozszerzonego wyszukiwania (RAG).

Na drugie miejsce awansowało ujawnienie informacji wrażliwych (sensitive information disclosure). Modele mogą zapamiętać i odtworzyć fragmenty danych treningowych, w tym dane osobowe oraz tajemnice handlowe; do wycieku dochodzi jednak także za pośrednictwem promptu, podłączonego systemu lub niewystarczającego zarządzania dostępem^[1]. Taksonomia obejmuje dalej zatruwanie modelu i danych treningowych (data & model poisoning), podatności łańcucha dostaw, nadmierne uprawnienia autonomicznych agentów oraz generowanie dezinformacji. Wspólną cechą tych zagrożeń jest to, że powstają one w warstwie semantycznej, a tradycyjne narzędzia perymetryczne (zapora sieciowa, antywirus) z reguły ich nie wykrywają; wymagają zatem odrębnej warstwy kontroli.

3. Cień AI jako ryzyko organizacyjne

Ustalenia empiryczne wskazują, że znaczną część ryzyka generują nie zewnętrzni napastnicy, lecz pracownicy działający w dobrej wierze. Zjawisko cienia AI (shadow AI) — korzystanie z niezatwierdzonych narzędzi poza nadzorem IT — stało się jednym z najszybciej rosnących wektorów wycieku danych^[2][3]. Z dostępnych badań wynika, że większość pracowników korzysta z narzędzi generatywnych w pracy, znaczna część sięga po nie poprzez prywatne konta poza kontrolą organizacji, a niemały odsetek przyznaje się do wprowadzania danych wrażliwych^[3]. Raport IBM Cost of a Data Breach Report 2025 podaje, że około jedna piąta naruszonych organizacji została skompromitowana za pośrednictwem cienia AI, co podniosło średni koszt incydentu rzędu setek tysięcy dolarów^[2].

Rysunek 1. Wybrane wskaźniki skali i skutków cienia AI. Źródło: [2], [3].

Konsekwencja jest dwojaka. Po pierwsze, dane opuszczają perymetr organizacji w chwili ich wprowadzenia do usługi publicznej; po drugie, brakuje zapisu audytowego o tym, jakie dane i komu zostały udostępnione. W administracji publicznej skutek jest poważniejszy, ponieważ chodzi o dane obywateli objęte szczególnym reżimem ochrony. Podejście restrykcyjne (powszechny zakaz) okazuje się kontrproduktywne, gdyż przenosi korzystanie jeszcze głębiej w cień; właściwszym rozwiązaniem jest dostarczenie bezpiecznej, zatwierdzonej i monitorowanej alternatywy.

„Bezpieczeństwo AI nie zaczyna się przy modelu, lecz przy pytaniu, które dane mogą do niego trafić i kto może ufać temu, co z niego wychodzi.”

— zasada minimalizacji danych i kontrolowanego zaufania

4. Ramy normatywne i regulacyjne

Ramy wdrażania AI tworzy nakładający się układ wiążących przepisów oraz dobrowolnych standardów. Warstwę wiążącą w warunkach UE stanowią EU AI Act, NIS2 i GDPR; warstwę dobrowolną, choć w praktyce coraz częściej wymaganą, tworzą ISO/IEC 42001 i NIST AI RMF, które dostarczają metodycznie sprawdzonego sposobu osiągnięcia i wykazania zgodności (Tabela 1).

Tabela 1. Przegląd relewantnych ram regulacyjnych i normatywnych dla wdrażania AI.

Dla dużych przedsiębiorstw ISO/IEC 42001 nabiera funkcji analogicznej do tej, jaką pełni ISO/IEC 27001 w obszarze bezpieczeństwa informacji — staje się standardem zaufania i kryterium przy wyborze dostawcy^[4]. Dla administracji publicznej decydujący jest natomiast EU AI Act, ponieważ liczne jej zastosowania (świadczenia socjalne, ochrona granic, wymiar sprawiedliwości, ściganie przestępstw) są zaliczone do kategorii wysokiego ryzyka^[6].

5. Architektura kontrolowanego zaufania: brama heurystyczna

Wymagania regulacyjne i normatywne należy przełożyć na konkretną kontrolę techniczną. Trzonem proponowanego podejścia jest brama heurystyczna — warstwa kontrolna, przez którą przechodzi każde wejście (prompt), każda operacja pośrednia oraz każdy wynik, zanim trafi do uprawnionego użytkownika lub do systemu następczego. Zamiast domyślnego zaufania do modelu każda interakcja jest weryfikowana na sześciu wzajemnie niezależnych poziomach (Rysunek 2).

Przebieg interakcji: wejście / model → 6 poziomów kontroli → uprawniony użytkownik lub system.

1. Poziom 1 — Kontrola wejścia. Analiza promptu, wykrywanie prompt injection, jailbreaków oraz zakazanych żądań przed wysłaniem do modelu.
2. Poziom 2 — Zarządzanie uprawnieniami. Weryfikacja roli i praw dostępu; zarówno użytkownik, jak i autonomiczny agent działają wyłącznie w zakresie przyznanych uprawnień.
3. Poziom 3 — Ochrona danych. Wykrywanie i maskowanie danych osobowych i wrażliwych w danych wejściowych i wyjściowych, minimalizacja danych zgodnie z GDPR.
4. Poziom 4 — Poprawność merytoryczna. Heurystyczna kontrola wyniku, wykrywanie halucynacji oraz krzyżowa weryfikacja twierdzeń i źródeł.
5. Poziom 5 — Bezpieczeństwo treści. Filtrowanie treści toksycznych, stronniczych i manipulacyjnych oraz blokowanie niepożądanych działań.
6. Poziom 6 — Nadzór człowieka. Ostateczne zatwierdzenie przy decyzjach o skutku prawnym lub istotnym (GDPR art. 22) — człowiek w pętli decyzyjnej.

Rysunek 2. Sześciopoziomowy model bramy heurystycznej do kontroli interakcji z LLM.

Dla organizacji i dużych przedsiębiorstw brama pełni jeszcze jedną zasadniczą funkcję: każda interakcja jest rejestrowana, dzięki czemu powstaje audytowalny ślad tego, kto, do czego i z jakim wynikiem użył systemu oraz które kontrole przepuściły wynik. Tym samym systematycznie adresowana jest martwa strefa cienia AI — zamiast niekontrolowanego wycieku danych do usług publicznych zespół bezpieczeństwa uzyskuje pełny obraz oraz ślad śledczy (forensic).

6. Cykl życia i zarządzanie ryzykiem

Bezpieczeństwo nie jest jednorazowym audytem przed wprowadzeniem do eksploatacji, lecz właściwością całego cyklu życia, zgodnie z modelem funkcjonalnym NIST AI RMF (Govern, Map, Measure, Manage)^[5]. W praktyce można je zoperacjonalizować w pięciu powtarzających się fazach.

6.1 Ocena i mapowanie

Przed wdrożeniem ustala się klasę ryzyka systemu, opracowuje się DPIA oraz analizę prawną przypadku użycia i mapuje się krąg podmiotów, których to dotyczy. Bez tego kroku nie da się prawidłowo zwymiarować kontroli ani zakresu nadzoru człowieka.

6.2 Projekt i walidacja

W projekt wbudowuje się kontrole bezpieczeństwa, minimalizację danych oraz punkty nadzoru. Przed wdrożeniem system jest testowany pod kątem stronniczości, dokładności i odporności, w tym ukierunkowanego red teamingu, który próbuje obejść bramę i zmanipulować model.

6.3 Wdrożenie i monitoring

Wprowadzenie do eksploatacji jest kontrolowane, z nadzorem człowieka i pełnym logowaniem. Następnie odbywa się bieżący pomiar: śledzenie dryfu modelu, jakości wyników oraz anomalii, z przygotowaną reakcją na incydent i 24-godzinnym zgłoszeniem zgodnie z NIS2^[7]. System, który przestaje spełniać ustalone kryteria, jest w sposób kontrolowany wycofywany lub przetrenowywany.

Uwaga dotycząca kolejności kroków. Z punktu widzenia efektywności kosztowej decydujące jest, aby kontrole były częścią projektu, a nie dodatkową korektą. Koszty naprawy rosną wraz z fazą cyklu życia nieliniowo — incydent w eksploatacji jest rzędy wielkości kosztowniejszy niż kontrola wbudowana w architekturę, przy czym nie obejmuje to skutków reputacyjnych i regulacyjnych.

7. Implikacje dla typologii podmiotów

7.1 Administracja publiczna

Podmioty administracji publicznej przetwarzają dane obywateli, a liczne ich zastosowania AI są z mocy prawa wysokiego ryzyka. Priorytetem jest zgodność z EU AI Act, obowiązkowy nadzór człowieka przy decyzjach o prawach i uprawnieniach, suwerenność danych (hosting w UE) oraz gotowość do wykazania dokumentacji organom nadzorczym. Ze względu na długość cykli zamówień publicznych przygotowania warto rozpocząć ze znacznym wyprzedzeniem wobec terminów 2026–2030.

7.2 Średnie organizacje

W tym segmencie najpilniejszym problemem jest cień AI oraz brak polityki korzystania. Najskuteczniejszym pierwszym środkiem jest dostarczenie pracownikom zatwierdzonego i monitorowanego narzędzia z bramą heurystyczną, uzupełnionego o jasne zasady i szkolenie, dzięki czemu eliminowany jest wyciek danych do usług publicznych i powstaje podstawowa widoczność audytowa.

7.3 Duże przedsiębiorstwa

Dla dużych przedsiębiorstw bezpieczeństwo AI staje się kwestią kompleksowego governance: rejestru systemów AI, certyfikacji według ISO/IEC 42001, zarządzania łańcuchem dostaw modeli, kontroli autonomicznych agentów oraz integracji AI z istniejącą strategią cyberbezpieczeństwa i zarządzania incydentami. Certyfikacja i audytowalna architektura stają się jednocześnie przewagą konkurencyjną przy pozyskiwaniu klientów i zamówień publicznych.

8. Dyskusja i wnioski

Przedłożona analiza wskazuje, że bezpieczeństwo AI jest ze swej natury problemem przekrojowym, którego nie da się zredukować ani do środka czysto technicznego, ani czysto regulacyjnego. Proponowana architektura kontrolowanego zaufania — połączenie wielopoziomowej bramy heurystycznej oraz zarządzania ryzykiem w cyklu życia — stanowi praktyczne ramy, które przekładają wymagania przepisów i norm na weryfikowalne kontrole. Ograniczeniem podejścia jest uzależnienie skuteczności poszczególnych poziomów bramy od jakości heurystyk wykrywających oraz od ich bieżącej aktualizacji wobec nowych ataków; przyszłe badania powinny zatem skupić się na ilościowych metrykach skuteczności poszczególnych kontroli oraz na ich standaryzacji.

Można stwierdzić, że sztuczna inteligencja przynosi wartość tylko wtedy, gdy jej wynikowi można ufać, przy czym zaufania nie można zakładać — należy je zbudować i na bieżąco wykazywać. Organizacje, które podejdą do bezpieczeństwa AI jako do integralnej części architektury, zgodności regulacyjnej oraz kultury zarządzania ryzykiem, zyskują nie tylko ochronę przed atakami i sankcjami, lecz także zdolność wdrażania AI szybciej i na większą skalę, ponieważ każdy scenariusz jest od początku audytowalny i możliwy do obrony. Bezpieczeństwo nie jest więc hamulcem innowacji, lecz warunkiem jej zrównoważonego wzrostu.

Bibliografia

1. OWASP. OWASP Top 10 for LLM Applications 2025. OWASP GenAI Security Project, 2025.
2. IBM Security. Cost of a Data Breach Report 2025. IBM / Ponemon Institute, 2025.
3. Menlo Security i in. State of Shadow AI / badania korzystania z generatywnej AI w przedsiębiorstwach, 2025–2026.
4. ISO/IEC. ISO/IEC 42001:2023 — Information technology — Artificial intelligence — Management system. Genewa, 2023.
5. NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, 2023.
6. Parlament Europejski i Rada. Rozporządzenie (UE) 2024/1689 (Akt o sztucznej inteligencji). Dziennik Urzędowy UE, 2024.
7. Parlament Europejski i Rada. Dyrektywa (UE) 2022/2555 (NIS2). Dziennik Urzędowy UE, 2022.
8. Parlament Europejski i Rada. Rozporządzenie (UE) 2016/679 (GDPR), art. 22 i 35. Dziennik Urzędowy UE, 2016.