Taxonómia rizík, normatívny rámec a architektúra kontrolovanej dôvery pre dôveryhodné nasadenie veľkých jazykových modelov vo verejnej správe a v podnikoch.

Abstrakt

Príspevok sa zaoberá bezpečnosťou systémov umelej inteligencie (AI), osobitne aplikácií postavených na veľkých jazykových modeloch (large language models, LLM), pri ich nasadzovaní vo verejnej správe, v stredných organizáciách a vo veľkých podnikoch. Vychádzajúc z aktuálnych taxonómií hrozieb a empirických zistení o tzv. tieňovej AI vymedzuje špecifickú plochu útoku, ktorá vzniká z pravdepodobnostnej a nepriehľadnej povahy generatívnych modelov a z absencie oddelenia inštrukcií od dát. Práca ďalej syntetizuje záväzný regulačný a dobrovoľný normatívny rámec (EU AI Act, NIS2, GDPR, ISO/IEC 42001, NIST AI RMF) a navrhuje architektúru kontrolovanej dôvery založenú na viacúrovňovej heuristickej bráne a na riadení rizík počas celého životného cyklu modelu. V závere formuluje implikácie diferencované podľa typu subjektu a argumentuje, že bezpečnosť integrovaná do návrhu nie je prekážkou, ale podmienkou udržateľnej adopcie AI.

Kľúčové slová: umelá inteligencia; veľké jazykové modely; kybernetická bezpečnosť; riadenie rizík; prompt injection; tieňová AI; EU AI Act; governance.

1. Úvod a vymedzenie problému

Umelá inteligencia prešla v priebehu krátkeho obdobia z experimentálnej fázy do produkčnej prevádzky. Generatívne modely sa dnes využívajú na spracovanie úradných podaní, triedenie žiadostí, sumarizáciu zmlúv, podporu vývoja softvéru i obsluhu zákazníckych kanálov. Tempo adopcie však predbehlo budovanie zodpovedajúcich bezpečnostných a riadiacich mechanizmov, čím vznikla nová plocha útoku a nová trieda prevádzkového rizika. Zatiaľ čo skoršia fáza vývoja bola charakterizovaná otázkou o spôsobilostiach modelov, súčasná fáza nastoľuje otázku dôveryhodnosti ich výstupov, teda za akých podmienok a v akom rozsahu im možno dôverovať pri rozhodovaní s právnym alebo ekonomickým účinkom.

Bezpečnosť AI v tomto príspevku nechápeme ako jednoduchú podmnožinu klasickej informačnej bezpečnosti. Tradičný informačný systém je prevažne deterministický a jeho správanie je auditovateľné na úrovni jednotlivých operácií. Systém založený na LLM je naopak pravdepodobnostný, jeho rozhodovací proces je len obmedzene interpretovateľný a — čo je kľúčové — inštrukcie a dáta vstupujú do modelu spoločným kanálom bez explicitného oddelenia[1]. Cieľom príspevku je (i) vymedziť špecifickú taxonómiu hrozieb takýchto systémov, (ii) zhrnúť relevantný normatívny rámec a (iii) navrhnúť architektúru kontrol, ktorá je aplikovateľná naprieč typmi organizácií.

2. Špecifická plocha hrozieb systémov s LLM

Referenčnú taxonómiu predstavuje rebríček OWASP Top 10 for LLM Applications vo verzii pre rok 2025[1]. Na prvej priečke sa druhý rok po sebe nachádza prompt injection — trieda útokov, pri ktorých protivník vloží do vstupu inštrukciu, ktorú model interpretuje ako príkaz, a nie ako obsah určený na spracovanie. Keďže model nedokáže spoľahlivo rozlíšiť medzi dátami a pokynmi, podriadi sa vloženej inštrukcii. Útok môže byť priamy (od používateľa) alebo nepriamy, ukrytý v dokumente, e-maile či webovej stránke, ktorú model spracúva v rámci rozšíreného vyhľadávania (RAG).

Na druhú priečku postúpilo zverejnenie citlivých informácií (sensitive information disclosure). Modely si môžu zapamätať a reprodukovať fragmenty trénovacích dát vrátane osobných údajov a obchodného tajomstva; k úniku však dochádza aj prostredníctvom promptu, pripojeného systému alebo nedostatočného riadenia prístupov[1]. Taxonómia ďalej zahŕňa otravu modelu a trénovacích dát (data & model poisoning), zraniteľnosti dodávateľského reťazca, nadmerné oprávnenia autonómnych agentov a generovanie dezinformácií. Spoločným znakom týchto hrozieb je, že vznikajú v sémantickej vrstve a tradičné perimetrové nástroje (firewall, antivírus) ich spravidla nezachytia; vyžadujú preto samostatnú vrstvu kontroly.

3. Tieňová AI ako organizačné riziko

Empirické zistenia naznačujú, že významnú časť rizika negenerujú externí útočníci, ale zamestnanci konajúci v dobrej viere. Fenomén tieňovej AI (shadow AI) — používanie neschválených nástrojov mimo dohľadu IT — sa stal jedným z najrýchlejšie rastúcich vektorov úniku dát[2][3]. Z dostupných prieskumov vyplýva, že väčšina zamestnancov používa generatívne nástroje v práci, podstatná časť k nim pristupuje cez súkromné účty mimo kontroly organizácie a nezanedbateľný podiel priznáva vloženie citlivých údajov[3]. Správa IBM Cost of a Data Breach Report 2025 uvádza, že približne pätina prelomených organizácií bola kompromitovaná prostredníctvom tieňovej AI, čo zvýšilo priemerné náklady na incident rádovo o stotisíce dolárov[2].

Ukazovateľ Hodnota
Organizácie, ktoré zaznamenali neschválené použitie AI 98 %
Podiel únikov dát (2025) cez tieňovú AI ~20 %
Priemerné navýšenie nákladov na incident +670 tis. $
Organizácie s politikou na detekciu shadow AI 37 %

Obrázok 1. Vybrané ukazovatele rozsahu a dôsledkov tieňovej AI. Zdroj: [2], [3].

Dôsledok je dvojaký. Po prvé, dáta opúšťajú perimeter organizácie v okamihu ich vloženia do verejnej služby; po druhé, absentuje audítny záznam o tom, aké údaje a komu boli sprístupnené. Vo verejnej správe je dopad závažnejší, keďže ide o údaje občanov v osobitnom režime ochrany. Reštriktívny prístup (plošný zákaz) sa javí ako kontraproduktívny, pretože používanie presúva ešte hlbšie do tieňa; vhodnejším riešením je poskytnutie bezpečnej, schválenej a monitorovanej alternatívy.

„Bezpečnosť AI sa nezačína pri modeli, ale pri otázke, ktoré dáta doň smú vstúpiť a kto smie dôverovať tomu, čo z neho vyjde.”

— princíp dátovej minimalizácie a riadenej dôvery

4. Normatívny a regulačný rámec

Rámec pre nasadzovanie AI tvorí prekrývajúca sa sústava záväzných predpisov a dobrovoľných štandardov. Záväznú vrstvu v podmienkach EÚ predstavujú EU AI Act, NIS2 a GDPR; dobrovoľnú, no v praxi čoraz vyžadovanú vrstvu tvoria ISO/IEC 42001 a NIST AI RMF, ktoré poskytujú metodicky overený spôsob, ako súlad dosiahnuť a preukázať (Tabuľka 1).

Rámec Charakter Hlavné požiadavky na organizáciu
EU AI Act[6] Záväzný (EÚ) Klasifikácia systémov podľa rizika, riadenie rizík, technická dokumentácia, ľudský dohľad a transparentnosť. Väčšina ustanovení účinná od augusta 2026, vysokorizikové systémy podľa Annexu III od decembra 2027.
NIS2[7] Záväzný (EÚ) Primerané opatrenia riadenia kybernetických rizík, šifrovanie, viacfaktorová autentifikácia, riadenie prístupov a hlásenie incidentov; zodpovednosť na úrovni vedenia.
GDPR[8] Záväzný (EÚ) Obmedzenie plne automatizovaného rozhodovania (čl. 22), povinné posúdenie vplyvu na ochranu údajov (DPIA, čl. 35), dátová minimalizácia.
ISO/IEC 42001[4] Norma / certifikácia Zavedenie systému riadenia AI (AIMS) — governance, riadenie rizík, transparentnosť a etika počas životného cyklu; nezávislý audit, certifikát spravidla na 3 roky.
NIST AI RMF[5] Dobrovoľný rámec Štyri funkcie — Govern, Map, Measure, Manage — od kultúry riadenia rizík cez identifikáciu a meranie až po priebežné zvládanie rizík počas životnosti systému.

Tabuľka 1. Prehľad relevantných regulačných a normatívnych rámcov pre nasadzovanie AI.

Pre veľké podniky nadobúda ISO/IEC 42001 obdobnú funkciu, akú má ISO/IEC 27001 v oblasti informačnej bezpečnosti — stáva sa štandardom dôvery a kritériom pri výbere dodávateľa[4]. Pre verejnú správu je naopak rozhodujúci EU AI Act, keďže viaceré jej využitia (sociálne dávky, ochrana hraníc, justícia, presadzovanie práva) sú zaradené do vysokorizikovej kategórie[6].

5. Architektúra kontrolovanej dôvery: heuristická brána

Regulačné a normatívne požiadavky je nevyhnutné premietnuť do konkrétnej technickej kontroly. Jadrom navrhovaného prístupu je heuristická brána — kontrolná vrstva, cez ktorú prechádza každý vstup (prompt), každá medzioperácia a každý výstup ešte predtým, než sa dostane k oprávnenému používateľovi alebo do nadväzujúceho systému. Namiesto implicitnej dôvery k modelu sa každá interakcia overuje na šiestich navzájom nezávislých úrovniach (Obrázok 2).

Tok interakcie: vstup / model → 6 úrovní kontroly → oprávnený používateľ alebo systém.

  1. Úroveň 1 — Kontrola vstupu. Analýza promptu, detekcia prompt injection, jailbreakov a zakázaných požiadaviek pred odoslaním do modelu.
  2. Úroveň 2 — Riadenie oprávnení. Overenie roly a prístupových práv; používateľ aj autonómny agent konajú len v rozsahu pridelených oprávnení.
  3. Úroveň 3 — Ochrana údajov. Detekcia a maskovanie osobných a citlivých údajov vo vstupe i výstupe, dátová minimalizácia v súlade s GDPR.
  4. Úroveň 4 — Vecná správnosť. Heuristická kontrola výstupu, odhaľovanie halucinácií a krížové overovanie tvrdení a zdrojov.
  5. Úroveň 5 — Bezpečnosť obsahu. Filtrovanie toxického, zaujatého a manipulatívneho obsahu a blokovanie nežiaducich akcií.
  6. Úroveň 6 — Ľudský dohľad. Finálne schválenie pri rozhodnutiach s právnym alebo významným účinkom (GDPR čl. 22) — človek v rozhodovacej slučke.

Obrázok 2. Šesťúrovňový model heuristickej brány pre kontrolu interakcií s LLM.

Pre organizácie a veľké podniky má brána ešte jednu zásadnú funkciu: každá interakcia sa zaznamenáva, čím vzniká auditovateľná stopa o tom, kto, na čo a s akým výsledkom systém použil a ktoré kontroly výstup prepustili. Tým sa systematicky adresuje slepá škvrna tieňovej AI — namiesto nekontrolovaného úniku dát do verejných služieb získava bezpečnostný tím úplný prehľad a forenznú stopu.

6. Životný cyklus a riadenie rizík

Bezpečnosť nie je jednorazovým auditom pred uvedením do prevádzky, ale vlastnosťou celého životného cyklu, v súlade s funkčným modelom NIST AI RMF (Govern, Map, Measure, Manage)[5]. V praxi ju možno operacionalizovať do piatich opakujúcich sa fáz.

6.1 Posúdenie a mapovanie

Pred implementáciou sa určí riziková trieda systému, vypracuje sa DPIA a právna analýza prípadu použitia a zmapuje sa okruh dotknutých subjektov. Bez tohto kroku nie je možné správne dimenzovať kontroly ani rozsah ľudského dohľadu.

6.2 Návrh a validácia

Do návrhu sa zabudujú bezpečnostné kontroly, dátová minimalizácia a dohľadové body. Pred nasadením sa systém testuje na zaujatosť, presnosť a robustnosť vrátane cieleného red teamingu, ktorý sa pokúša obísť bránu a zmanipulovať model.

6.3 Nasadenie a monitoring

Uvedenie do prevádzky je riadené, s ľudským dohľadom a úplným logovaním. Nasleduje priebežné meranie: sledovanie modelového driftu, kvality výstupov a anomálií, s pripravenou reakciou na incident a 24-hodinovým hlásením podľa NIS2[7]. Systém, ktorý prestane spĺňať stanovené kritériá, sa kontrolovane stiahne alebo pretrénuje.

Poznámka k poradiu krokov. Z hľadiska nákladovej efektívnosti je rozhodujúce, aby boli kontroly súčasťou návrhu, nie dodatočnou úpravou. Náklady na nápravu rastú s fázou životného cyklu nelineárne — incident v prevádzke je rádovo nákladnejší než kontrola zabudovaná do architektúry, pričom nezahŕňa reputačné a regulačné dôsledky.

7. Implikácie pre typológiu subjektov

7.1 Verejná správa

Subjekty verejnej správy spracúvajú údaje občanov a viaceré ich využitia AI sú zo zákona vysokorizikové. Prioritou je súlad s EU AI Act, povinný ľudský dohľad pri rozhodnutiach o právach a nárokoch, dátová suverenita (hosting v EÚ) a pripravenosť preukázať dokumentáciu dozorným orgánom. Vzhľadom na dĺžku obstarávacích cyklov je vhodné začať prípravu s výrazným predstihom pred termínmi 2026 – 2030.

7.2 Stredné organizácie

V tomto segmente je najakútnejším problémom tieňová AI a absencia politiky používania. Najúčinnejším prvým opatrením je poskytnúť zamestnancom schválený a monitorovaný nástroj s heuristickou bránou, doplnený o jasné pravidlá a vzdelávanie, čím sa eliminuje únik dát do verejných služieb a vzniká základná audítna viditeľnosť.

7.3 Veľké podniky

Pre veľké podniky sa bezpečnosť AI stáva otázkou komplexnej governance: registra AI systémov, certifikácie podľa ISO/IEC 42001, riadenia dodávateľského reťazca modelov, kontroly autonómnych agentov a integrácie AI do existujúcej stratégie kybernetickej bezpečnosti a riadenia incidentov. Certifikácia a auditovateľná architektúra sa zároveň stávajú konkurenčnou výhodou pri získavaní zákazníkov a verejných zákaziek.

8. Diskusia a záver

Predložená analýza naznačuje, že bezpečnosť AI je svojou povahou prierezovým problémom, ktorý nemožno redukovať ani na čisto technické, ani na čisto regulačné opatrenie. Navrhovaná architektúra kontrolovanej dôvery — kombinácia viacúrovňovej heuristickej brány a riadenia rizík počas životného cyklu — predstavuje praktický rámec, ktorý prekladá požiadavky predpisov a noriem do overiteľných kontrol. Limitom prístupu je závislosť účinnosti jednotlivých úrovní brány od kvality detekčných heuristík a od priebežnej aktualizácie voči novým útokom; budúci výskum by sa preto mal sústrediť na kvantitatívne metriky účinnosti jednotlivých kontrol a na ich štandardizáciu.

Možno konštatovať, že umelá inteligencia prináša hodnotu len vtedy, keď jej výstupom možno dôverovať, pričom dôveru nemožno predpokladať — treba ju vybudovať a priebežne preukazovať. Organizácie, ktoré pristúpia k bezpečnosti AI ako k integrálnej súčasti architektúry, regulačného súladu a kultúry riadenia rizík, získavajú nielen ochranu pred útokmi a sankciami, ale aj schopnosť nasadzovať AI rýchlejšie a vo väčšom rozsahu, pretože každý scenár je od počiatku auditovateľný a obhájiteľný. Bezpečnosť tak nie je brzdou inovácie, ale podmienkou jej udržateľného rastu.

Literatúra

  1. OWASP. OWASP Top 10 for LLM Applications 2025. OWASP GenAI Security Project, 2025.
  2. IBM Security. Cost of a Data Breach Report 2025. IBM / Ponemon Institute, 2025.
  3. Menlo Security a i. State of Shadow AI / prieskumy používania generatívnej AI v podnikoch, 2025 – 2026.
  4. ISO/IEC. ISO/IEC 42001:2023 — Information technology — Artificial intelligence — Management system. Ženeva, 2023.
  5. NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, 2023.
  6. Európsky parlament a Rada. Nariadenie (EÚ) 2024/1689 (Akt o umelej inteligencii). Úradný vestník EÚ, 2024.
  7. Európsky parlament a Rada. Smernica (EÚ) 2022/2555 (NIS2). Úradný vestník EÚ, 2022.
  8. Európsky parlament a Rada. Nariadenie (EÚ) 2016/679 (GDPR), čl. 22 a 35. Úradný vestník EÚ, 2016.