Bezpečnosť systémov umelej inteligencie pri nasadzovaní vo verejnej správe a podnikovom prostredí

Taxonómia rizík, normatívny rámec a architektúra kontrolovanej dôvery pre dôveryhodné nasadenie veľkých jazykových modelov vo verejnej správe a v podnikoch.

Abstrakt

Príspevok sa zaoberá bezpečnosťou systémov umelej inteligencie (AI), osobitne aplikácií postavených na veľkých jazykových modeloch (large language models, LLM), pri ich nasadzovaní vo verejnej správe, v stredných organizáciách a vo veľkých podnikoch. Vychádzajúc z aktuálnych taxonómií hrozieb a empirických zistení o tzv. tieňovej AI vymedzuje špecifickú plochu útoku, ktorá vzniká z pravdepodobnostnej a nepriehľadnej povahy generatívnych modelov a z absencie oddelenia inštrukcií od dát. Práca ďalej syntetizuje záväzný regulačný a dobrovoľný normatívny rámec (EU AI Act, NIS2, GDPR, ISO/IEC 42001, NIST AI RMF) a navrhuje architektúru kontrolovanej dôvery založenú na viacúrovňovej heuristickej bráne a na riadení rizík počas celého životného cyklu modelu. V závere formuluje implikácie diferencované podľa typu subjektu a argumentuje, že bezpečnosť integrovaná do návrhu nie je prekážkou, ale podmienkou udržateľnej adopcie AI.

Kľúčové slová: umelá inteligencia; veľké jazykové modely; kybernetická bezpečnosť; riadenie rizík; prompt injection; tieňová AI; EU AI Act; governance.

1. Úvod a vymedzenie problému

Umelá inteligencia prešla v priebehu krátkeho obdobia z experimentálnej fázy do produkčnej prevádzky. Generatívne modely sa dnes využívajú na spracovanie úradných podaní, triedenie žiadostí, sumarizáciu zmlúv, podporu vývoja softvéru i obsluhu zákazníckych kanálov. Tempo adopcie však predbehlo budovanie zodpovedajúcich bezpečnostných a riadiacich mechanizmov, čím vznikla nová plocha útoku a nová trieda prevádzkového rizika. Zatiaľ čo skoršia fáza vývoja bola charakterizovaná otázkou o spôsobilostiach modelov, súčasná fáza nastoľuje otázku dôveryhodnosti ich výstupov, teda za akých podmienok a v akom rozsahu im možno dôverovať pri rozhodovaní s právnym alebo ekonomickým účinkom.

Bezpečnosť AI v tomto príspevku nechápeme ako jednoduchú podmnožinu klasickej informačnej bezpečnosti. Tradičný informačný systém je prevažne deterministický a jeho správanie je auditovateľné na úrovni jednotlivých operácií. Systém založený na LLM je naopak pravdepodobnostný, jeho rozhodovací proces je len obmedzene interpretovateľný a — čo je kľúčové — inštrukcie a dáta vstupujú do modelu spoločným kanálom bez explicitného oddelenia^[1]. Cieľom príspevku je (i) vymedziť špecifickú taxonómiu hrozieb takýchto systémov, (ii) zhrnúť relevantný normatívny rámec a (iii) navrhnúť architektúru kontrol, ktorá je aplikovateľná naprieč typmi organizácií.

2. Špecifická plocha hrozieb systémov s LLM

Referenčnú taxonómiu predstavuje rebríček OWASP Top 10 for LLM Applications vo verzii pre rok 2025^[1]. Na prvej priečke sa druhý rok po sebe nachádza prompt injection — trieda útokov, pri ktorých protivník vloží do vstupu inštrukciu, ktorú model interpretuje ako príkaz, a nie ako obsah určený na spracovanie. Keďže model nedokáže spoľahlivo rozlíšiť medzi dátami a pokynmi, podriadi sa vloženej inštrukcii. Útok môže byť priamy (od používateľa) alebo nepriamy, ukrytý v dokumente, e-maile či webovej stránke, ktorú model spracúva v rámci rozšíreného vyhľadávania (RAG).

Na druhú priečku postúpilo zverejnenie citlivých informácií (sensitive information disclosure). Modely si môžu zapamätať a reprodukovať fragmenty trénovacích dát vrátane osobných údajov a obchodného tajomstva; k úniku však dochádza aj prostredníctvom promptu, pripojeného systému alebo nedostatočného riadenia prístupov^[1]. Taxonómia ďalej zahŕňa otravu modelu a trénovacích dát (data & model poisoning), zraniteľnosti dodávateľského reťazca, nadmerné oprávnenia autonómnych agentov a generovanie dezinformácií. Spoločným znakom týchto hrozieb je, že vznikajú v sémantickej vrstve a tradičné perimetrové nástroje (firewall, antivírus) ich spravidla nezachytia; vyžadujú preto samostatnú vrstvu kontroly.

3. Tieňová AI ako organizačné riziko

Empirické zistenia naznačujú, že významnú časť rizika negenerujú externí útočníci, ale zamestnanci konajúci v dobrej viere. Fenomén tieňovej AI (shadow AI) — používanie neschválených nástrojov mimo dohľadu IT — sa stal jedným z najrýchlejšie rastúcich vektorov úniku dát^[2][3]. Z dostupných prieskumov vyplýva, že väčšina zamestnancov používa generatívne nástroje v práci, podstatná časť k nim pristupuje cez súkromné účty mimo kontroly organizácie a nezanedbateľný podiel priznáva vloženie citlivých údajov^[3]. Správa IBM Cost of a Data Breach Report 2025 uvádza, že približne pätina prelomených organizácií bola kompromitovaná prostredníctvom tieňovej AI, čo zvýšilo priemerné náklady na incident rádovo o stotisíce dolárov^[2].

Obrázok 1. Vybrané ukazovatele rozsahu a dôsledkov tieňovej AI. Zdroj: [2], [3].

Dôsledok je dvojaký. Po prvé, dáta opúšťajú perimeter organizácie v okamihu ich vloženia do verejnej služby; po druhé, absentuje audítny záznam o tom, aké údaje a komu boli sprístupnené. Vo verejnej správe je dopad závažnejší, keďže ide o údaje občanov v osobitnom režime ochrany. Reštriktívny prístup (plošný zákaz) sa javí ako kontraproduktívny, pretože používanie presúva ešte hlbšie do tieňa; vhodnejším riešením je poskytnutie bezpečnej, schválenej a monitorovanej alternatívy.

„Bezpečnosť AI sa nezačína pri modeli, ale pri otázke, ktoré dáta doň smú vstúpiť a kto smie dôverovať tomu, čo z neho vyjde.”

— princíp dátovej minimalizácie a riadenej dôvery

4. Normatívny a regulačný rámec

Rámec pre nasadzovanie AI tvorí prekrývajúca sa sústava záväzných predpisov a dobrovoľných štandardov. Záväznú vrstvu v podmienkach EÚ predstavujú EU AI Act, NIS2 a GDPR; dobrovoľnú, no v praxi čoraz vyžadovanú vrstvu tvoria ISO/IEC 42001 a NIST AI RMF, ktoré poskytujú metodicky overený spôsob, ako súlad dosiahnuť a preukázať (Tabuľka 1).

Tabuľka 1. Prehľad relevantných regulačných a normatívnych rámcov pre nasadzovanie AI.

Pre veľké podniky nadobúda ISO/IEC 42001 obdobnú funkciu, akú má ISO/IEC 27001 v oblasti informačnej bezpečnosti — stáva sa štandardom dôvery a kritériom pri výbere dodávateľa^[4]. Pre verejnú správu je naopak rozhodujúci EU AI Act, keďže viaceré jej využitia (sociálne dávky, ochrana hraníc, justícia, presadzovanie práva) sú zaradené do vysokorizikovej kategórie^[6].