První pohled na nový modul ITIL® AI Governance: co skutečně přináší a proč stojí za pozornost

• Články a rozhovory

Publikováno: 10. 9. 2026

Autor: Ladislav Olejník | ITIL Master | Official PeopleCert ITIL Ambassador

Stále více organizací dnes už neřeší, zda budou umělou inteligenci využívat. Řeší především, jak ji využívat tak, aby vytvářela hodnotu, nepřinášela nepřijatelná rizika a její rozhodnutí bylo možné dlouhodobě řídit.

Jak nastavit hranice autonomie? Jak skloubit inovace s bezpečností, regulatorními požadavky a odpovědností za rozhodnutí, která AI ovlivňuje? A především, jak všechny tyto principy převést do každodenního fungování organizace?

Těmto otázkám se věnuje ITIL® AI Governance, který se na rozdíl od většiny současných materiálů nesoustředí na samotnou technologii, ale na způsob jejího řízení v organizaci.

Proč současná governance na umělou inteligenci nestačí

Procesní i technologické řízení organizací prochází v posledních letech zásadní proměnou. Umělá inteligence už není experimentem ani tématem technologických konferencí. Stává se běžnou součástí každodenní práce, rozhodovacích procesů i digitálních služeb. Organizace dnes neřeší, zda AI používat, ale jak ji využívat bezpečně, odpovědně a způsobem, který dlouhodobě vytváří skutečnou hodnotu pro organizaci i její zákazníky.

Když byl na konci července představen ITIL® AI Governance, očekával jsem materiál zaměřený především na možnosti, rizika a praktické využití umělé inteligence. Už po prvních stránkách jsem ale zjistil, že hlavním tématem není AI jako technologie. Pozornost se soustředí na to, jak řídit organizaci, ve které se umělá inteligence stává běžnou součástí služeb, procesů i rozhodování.

Právě tento posun mě zaujal nejvíce. V posledních dvou letech vznikla řada standardů, doporučení i regulatorních rámců. Evropský AI Act stanovuje pravidla pro používání umělé inteligence, ISO/IEC 42001 popisuje systém jejího řízení a další frameworky se zaměřují na řízení rizik, bezpečnost nebo etiku. Většina organizací dnes ale neřeší nedostatek pravidel. Mnohem častěji hledá způsob, jak všechny tyto požadavky převést do každodenního fungování IT, byznysu a provozu.

Těžiště tohoto přístupu proto neleží ve vytváření dalšího frameworku. Směřuje k propojení existujících principů s každodenním fungováním organizace – jak nastavit odpovědnost za výstupy AI, jak řídit její autonomii, jak začlenit governance do provozu a jak zajistit, aby inovace neprobíhaly na úkor bezpečnosti, důvěry nebo souladu s regulacemi. Jinými slovy, nepřidává další vrstvu teorie o umělé inteligenci. Ukazuje, jak z existujících principů vytvořit fungující provozní model.

Tento pohled přirozeně navazuje na jednu ze základních myšlenek ITILu. Hodnota nevzniká samotnou technologií, ale až ve chvíli, kdy ji organizace dokáže využít ke spoluvytváření hodnoty (Value Co-Creation). Umělá inteligence není výjimkou. Úlohou governance je vytvářet podmínky, aby tato hodnota vznikala bezpečně, dlouhodobě a udržitelně.

Největší změna, kterou AI přináší, nespočívá v samotné technologii. Poprvé ve větším měřítku svěřujeme část rozhodování systémům, jejichž chování není plně deterministické. Tradiční software pracuje podle předem definovaných pravidel. Umělá inteligence vytváří výstupy na základě pravděpodobnosti, kontextu a dat, která má v daném okamžiku k dispozici. To zásadně mění způsob, jakým musíme přemýšlet o governance.

Naše současné procesy byly navrženy pro svět předvídatelných systémů. U AI už tento předpoklad přestává platit. Pokud například změnová komise zasedá jednou týdně, jen těžko může efektivně řídit systém, který během jediné minuty provede tisíce autonomních rozhodnutí. Procesy navržené pro lidské tempo začínají narážet na rychlost strojů. Právě zde se podle mě nejzřetelněji ukazuje rozdíl mezi tradiční IT governance a tím, co budou organizace potřebovat v následujících letech.

Šest komponent AI governance | Na základě normy ISO/IEC 38500:2024, upraveno pro ITIL

Když jsem text dočetl, uvědomil jsem si, že jeho hlavním tématem není umělá inteligence. Je jím způsob, jak řídit organizaci v době, kdy se AI stává její přirozenou součástí.

Tento pohled je dobře patrný i v každodenní praxi. Stačí se podívat na to, jak zaměstnanci začínají využívat AI nástroje bez vědomí organizace. Fenomén označovaný jako Shadow AI ukazuje, že největší výzvou není samotná umělá inteligence. Je jí prostředí, které organizace pro její využívání vytvářejí. A právě na tuto oblast se zaměřuje následující kapitola.

Jak řešit Shadow AI bez destruktivních zákazů?

Fenomén Shadow AI dobře ilustruje, že skutečnou výzvou není samotná umělá inteligence, ale prostředí, které organizace pro její využívání vytvářejí. V posledních měsících se o něm mluví především jako o bezpečnostním riziku. Čím déle jsem se tímto tématem zabýval, tím více jsem docházel k závěru, že Shadow AI není primárně problém technologií ani zaměstnanců. Je důsledkem toho, jak je v organizaci nastaveno prostředí pro bezpečné využívání umělé inteligence. A právě to je úloha moderní governance.

Zaměstnanci dnes používají AI nástroje prakticky každý den. Překládají texty, sumarizují dokumenty, analyzují data nebo si nechávají pomáhat při psaní kódu. Ve většině případů to nedělají proto, aby obcházeli firemní pravidla. Dělají to proto, že jim AI pomáhá pracovat rychleji, efektivněji a pohodlněji.

AI jako spolupracovník | Klíčové otázky AI Governance

Proto samotný zákaz nemůže být dlouhodobým řešením. Historie už jednou ukázala, že podobný přístup nefungoval ani u Shadow IT. Technologie, která lidem přináší skutečný užitek, zákazem nezmizí. Pouze se přesune mimo dohled organizace a spolu s ní i rizika, která se organizace snažila omezit.

Za pozornost stojí i údaje, podle kterých téměř polovina zaměstnanců přiznává nahrávání citlivých firemních dat do veřejných AI služeb. Je to alarmující číslo. Nemyslím si ale, že vypovídá o nezodpovědnosti zaměstnanců. Spíše ukazuje, že organizace často nenabídly bezpečnou alternativu, která by byla stejně dostupná a jednoduše použitelná jako veřejné služby.

Shadow AI zde není vnímána jako selhání zaměstnanců. Je chápána jako zpětná vazba, že organizace dosud nevytvořila prostředí, ve kterém lze AI používat bezpečně a zároveň přirozeně. Pokud lidé hledají cestu mimo schválený rámec, nebývá to proto, že chtějí porušovat pravidla. Často je to známka toho, že organizace nenabídla nástroje nebo procesy odpovídající skutečným potřebám jejich každodenní práce.

Tomu odpovídá i způsob, jakým je governance navržena. Nestojí pouze na zákazech nebo technických omezeních. Kombinuje několik vzájemně propojených principů:

• Control – schopnost rychle reagovat na rizikové nebo neautorizované používání AI, chránit data, vyhodnocovat incidenty a minimalizovat jejich dopady.
• Stewardship – snahu pochopit skutečnou příčinu problému. Místo otázky „Kdo porušil pravidla?“ přichází otázka „Proč zaměstnanec potřeboval použít tento nástroj?“. Cílem není hledat viníka, ale odstranit důvod, proč Shadow AI vůbec vznikla.
• Policies – jasně definovaná pravidla pro používání AI, která určují, jaké nástroje lze používat, jaká data je možné zpracovávat a jaké odpovědnosti mají jednotlivé role.
• AI Tool Catalogues a AI Use Registers – přehled schválených AI nástrojů a evidence jejich využití napříč organizací. Bez této znalosti nelze AI efektivně řídit ani vyhodnocovat související rizika.
• Access Controls – technická opatření chránící citlivá data a zajišťující, že k nim mají přístup pouze oprávnění uživatelé nebo schválené AI služby.
• AI Literacy – průběžné vzdělávání zaměstnanců. Sebelepší pravidla ani technické kontroly nebudou fungovat, pokud lidé nebudou rozumět možnostem, omezením i rizikům práce s umělou inteligencí.

Na tomto příkladu je dobře vidět, že governance není nástrojem, jehož cílem je používání AI omezovat. Jejím úkolem je vytvářet prostředí, ve kterém mohou lidé nové technologie využívat bezpečně, transparentně a v souladu s potřebami organizace.

Od AI jako nástroje k AI jako součásti pracovní síly

Čím déle jsem nad tímto přístupem přemýšlel, tím více jsem si uvědomoval, že cílem není zabránit lidem používat umělou inteligenci. Cílem je vytvořit prostředí, ve kterém nebudou mít důvod hledat cesty mimo schválený rámec. Shadow AI tak nepředstavuje pouze bezpečnostní problém. Odhaluje především místa, kde se současná governance začíná dostávat na své limity.

Právě otázka, kde se tyto limity nacházejí a proč přestávají současné procesy fungovat, je dalším logickým krokem. Než začneme navrhovat nové principy governance, je potřeba pochopit, kde a proč se ty stávající přestávají osvědčovat.

Kde se tradiční governance láme? Praktické body zlomu (Breaking Points)

Pokud Shadow AI ukazuje, že organizace často nevytvářejí prostředí odpovídající skutečným potřebám zaměstnanců, nabízí se další otázka. Kde se současná governance přestává chovat tak, jak od ní očekáváme? Odpověď na ni představuje jednu z nejzajímavějších částí celé publikace.

Na celé koncepci mě zaujalo především to, že nezačíná popisem ideálního cílového stavu ani návrhem nových procesů. Místo toho si klade mnohem praktičtější otázku – kde se naše současná governance pod tlakem umělé inteligence dostává na své limity?

Proto je prvním krokem ITIL AI Governance Improvement Modelu fáze Assess and Stress-test. Jejím cílem není dokazovat, že jsou stávající procesy špatně navržené. Smyslem je pochopit, ve kterých situacích přestávají fungovat tak, jak byly původně zamýšleny, když začnou řídit autonomní a adaptivní systémy.

Tento přístup považuji za mimořádně praktický. Většina organizací dnes podle mého názoru nepotřebuje vytvářet úplně novou governance. Potřebuje nejprve porozumět tomu, kde se ta současná začíná dostávat na své limity.

Publikace tato místa označuje jako Breaking Points – body zlomu, kdy governance navržená pro tradiční software přestává stačit prostředí, ve kterém významnou část rozhodování přebírá umělá inteligence.

Nejde přitom o zcela nové problémy. AI ve většině případů pouze velmi rychle odhaluje slabiny, které v organizaci existovaly už dříve. Rozdíl spočívá v jejich intenzitě. Zatímco dříve se projevovaly jen výjimečně, dnes se mohou opakovat tisíckrát denně.

Publikace popisuje osm nejčastějších bodů zlomu:

• Decision Velocity (rychlost rozhodování) – procesy navržené pro lidské tempo přestávají stačit ve chvíli, kdy AI provádí stovky nebo tisíce rozhodnutí během několika sekund. Pokud změnová komise zasedá jednou týdně, jen obtížně může efektivně řídit systém, který průběžně mění své chování.
• Scale (měřítko) – s rostoucím objemem rozhodnutí exponenciálně rostou i dopady případných chyb. Halucinace, bias nebo nekvalitní data už nepředstavují jednotlivé incidenty, ale problémy, které mohou během krátké doby ovlivnit tisíce uživatelů.
• Integration Requirements (integrace) – AI propojuje data, procesy i rozhodování napříč systémy. Governance proto musí řídit celý end-to-end proces, nikoliv pouze jednotlivé aplikace nebo týmy.
• Risk Tolerance (tolerance rizika) – tradiční řízení rizik předpokládá předvídatelné chování systémů. AI pracuje na principu pravděpodobnosti, a proto je potřeba hodnotit nejen běžné scénáře, ale i jejich krajní dopady.
• Stakeholder Engagement (zapojení zainteresovaných stran) – rozhodnutí AI ovlivňují mnohem širší okruh lidí než běžné IT změny. Governance proto musí zahrnovat nejen vedení organizace, ale také zaměstnance, koncové uživatele i další zainteresované strany.
• Supplier Exposure (závislost na dodavatelích) – většina organizací dnes AI nevyvíjí, ale využívá ji jako službu. Governance proto musí počítat i s tím, že dodavatel může změnit model nebo jeho chování, aniž by změna prošla interním procesem Change Enablement.
• Compliance & Traceability (auditovatelnost a dohledatelnost) – nestačí doložit samotný výsledek rozhodnutí. Organizace musí být schopna prokázat, jaký model rozhodoval, v jaké verzi, nad jakými daty a proč dospěl právě k danému výsledku.
• Monitoring & Specialist Skills (monitoring a odborné kompetence) – tradiční monitoring sleduje dostupnost systémů a výkon infrastruktury. U AI je potřeba sledovat také model drift, kvalitu výstupů, četnost lidských zásahů nebo schopnost AI správně předat případ člověku. Stejně důležité je mít odborníky, kteří těmto metrikám rozumějí a dokážou je správně interpretovat.

Na tomto přístupu oceňuji především změnu způsobu uvažování. Místo hledání nových procesů nás vede k tomu, abychom nejprve pochopili limity těch současných. Teprve když víme, kde se governance láme, dává smysl navrhovat, jak ji změnit.

Tato myšlenka navíc přesahuje samotnou oblast umělé inteligence. Platí pro jakoukoli významnější technologickou změnu. Organizace zpravidla nepotřebují začínat od nuly. Potřebují nejprve porozumět tomu, proč dosavadní způsob řízení přestal v nových podmínkách fungovat.

Jakmile jsou tyto body zlomu pojmenovány, přichází další logická otázka. Která rozhodnutí může organizace bezpečně svěřit umělé inteligenci a kde musí odpovědnost zůstat na člověku? Hledání této hranice představuje jeden z nejdůležitějších úkolů moderní AI governance a je tématem následující kapitoly.

Jak rozhodnout, kdy má rozhodovat člověk a kdy AI?

Pochopit, kde se současná governance dostává na své limity, je důležitý první krok. Sám o sobě ale nestačí. Jakmile organizace ví, kde vznikají největší rizika, musí odpovědět na mnohem praktičtější otázku – která rozhodnutí může bezpečně svěřit umělé inteligenci a kde musí konečná odpovědnost zůstat na člověku?

Hledání této hranice bude jedním z největších úkolů moderní AI governance. Ne proto, že by umělá inteligence neuměla rozhodovat, ale proto, že každé rozhodnutí přináší jinou míru rizika, odpovědnosti i možných dopadů.

Celý přístup proto nezačíná technologií. Začíná pochopením toho, co AI skutečně dělá, v jakém prostředí ji používáme a jaké důsledky mohou její rozhodnutí mít. Teprve na základě těchto souvislostí lze určit, jakou míru autonomie je možné systému bezpečně svěřit.

Prvním krokem je ITIL AI Capability Model (6C). Jeho cílem není hodnotit vyspělost AI ani vytvářet další maturity model. Pomáhá jednoduše popsat, jakou roli konkrétní AI řešení v organizaci plní.

ITIL AI Capability Model

Model rozlišuje šest základních schopností:

• Creation – vytváření nového obsahu, textů, obrázků nebo zdrojového kódu.
• Curation – organizace, třídění a zvyšování kvality existujících dat.
• Clarification – sumarizace, překlady a zjednodušování informací.
• Cognition – analýza dat, hledání souvislostí, predikce a doporučení.
• Communication – komunikace s uživateli prostřednictvím chatbotů nebo virtuálních asistentů.
• Coordination – autonomní řízení procesů, orchestrace workflow a provádění akcí napříč systémy.

Samotný popis schopností ale nestačí. Stejná AI může představovat zcela odlišné riziko podle toho, kde je nasazena. Chatbot odpovídající zaměstnancům na interní dotazy představuje jinou úroveň rizika než AI, která schvaluje úvěr, provádí finanční transakce nebo rozhoduje o přístupu ke zdravotním údajům.

Proto dalším krokem jsou Contextual Risk Factors (CRFs), tedy kontextové rizikové faktory. Při návrhu governance doporučují zohlednit například:

• citlivost zpracovávaných dat,
• míru autonomie systému,
• dopad případného selhání na uživatele,
• regulatorní požadavky,
• kritičnost podporovaného procesu,
• možnost lidského zásahu do rozhodování.

Ani tím ale rozhodování nekončí. Každé AI řešení je vhodné současně posuzovat ze čtyř vzájemně propojených perspektiv (Four AI Governance Perspectives):

• AI Autonomy and Decision-Making – kdo rozhoduje, jaká je míra autonomie systému a kde leží hranice lidské odpovědnosti.
• Ethical and Responsible AI – jak zajistit férovost, transparentnost, vysvětlitelnost a minimalizaci podjatosti.
• AI Data Quality and Security – jak zajistit kvalitu, původ, integritu a bezpečnost dat.
• Regulatory Compliance and Operational Practices – jak propojit regulatorní požadavky s každodenním řízením služeb, provozem a governance.

Samotné odpovědi nepřináší žádný z těchto modelů samostatně. Teprve jejich kombinace vytváří základ pro stanovení Decision Boundaries – rozhodovacích hranic mezi člověkem a umělou inteligencí.

Na jejich základě lze zvolit odpovídající způsob spolupráce člověka a AI.

• Human-in-the-loop – AI připravuje návrhy nebo doporučení, ale konečné rozhodnutí zůstává na člověku. Tento model je vhodný tam, kde by případná chyba mohla mít významné právní, finanční nebo bezpečnostní dopady.
• Human-on-the-loop – AI rozhoduje autonomně v předem definovaných mezích a člověk průběžně dohlíží na její činnost. Jeho úlohou není schvalovat každou jednotlivou akci, ale sledovat chování systému jako celku a v případě potřeby zasáhnout. Tento model bude stále důležitější s nástupem Agentic AI, kdy systémy nejen doporučují další kroky, ale samostatně plánují a vykonávají celé sekvence činností.

Autonomie ale nikdy nesmí znamenat ztrátu kontroly. Proto je důležitou součástí governance možnost kdykoliv převzít řízení nebo autonomní část systému bezpečně zastavit. K tomu slouží override mechanismy a kill switch, které umožňují člověku zasáhnout ve chvíli, kdy se systém začne chovat jinak, než bylo zamýšleno.

Stejně důležitý je průběžný dohled nad tím, jak se AI v provozu skutečně chová. Governance nekončí okamžikem nasazení systému. Naopak, právě provoz ukáže, zda byly rozhodovací hranice nastaveny správně.

Součástí tohoto přístupu je proto sledování tzv. observability and experience signals, které pomáhají včas odhalit změny v chování modelu.

Mezi nejdůležitější patří například:

• Override Percentage – jak často musí člověk změnit nebo opravit rozhodnutí AI.
• Refusal Patterns – jak často a z jakých důvodů AI odmítá požadavek zpracovat.
• Hand-off Time – jak dlouho trvá předání případu člověku a jeho převzetí.

Tyto metriky dobře ukazují rozdíl mezi tradičním monitoringem a AI governance. Nestačí sledovat dostupnost služby nebo výkon infrastruktury. Stejně důležité je průběžně vyhodnocovat kvalitu rozhodování, důvěryhodnost systému i způsob spolupráce mezi člověkem a umělou inteligencí.

Stanovit rozhodovací hranice je ale jen část celé úlohy. Stejně důležité je určit, podle jakých pravidel budou navrženy, jak mají být dokumentovány a jak zajistit, aby obstály nejen z pohledu organizace, ale také regulace, auditu a dlouhodobé důvěry.

Na tomto místě se interní governance přirozeně propojuje s mezinárodními standardy a regulatorními rámci. AI Act stanovuje mantinely, ISO/IEC 42001 definuje systém řízení a úkolem governance je převést všechny tyto požadavky do každodenní praxe organizace. Právě tomu se věnuje následující kapitola.

Jak do toho všeho zapadají AI Act a ISO/IEC 42001?

Jakmile organizace začne určovat, která rozhodnutí může svěřit umělé inteligenci a kde musí odpovědnost zůstat na člověku, narazí na další otázku. Podle jakých pravidel mají být tato rozhodnutí navržena a řízena?

V tomto okamžiku se začínají potkávat interní governance, mezinárodní standardy a regulatorní požadavky.

Když se dnes bavím s kolegy z IT, bezpečnosti nebo compliance, velmi často zaznívá stejná otázka. Máme evropský AI Act, vznikl mezinárodní standard ISO/IEC 42001, objevují se další doporučení i oborové frameworky. Co z toho ale vyplývá pro každodenní fungování organizace? Jak všechny tyto požadavky převést z dokumentů do reality?

Čím déle jsem se touto oblastí zabýval, tím více jsem docházel k závěru, že diskuse o tom, který z těchto rámců je lepší, vlastně míjí podstatu. Tyto dokumenty si totiž nekonkurují. Každý řeší jinou část stejného problému.

AI Act stanovuje regulatorní mantinely. Definuje, které AI systémy představují nepřijatelné nebo vysoké riziko, jaké povinnosti z toho vyplývají a jaké sankce mohou následovat při jejich porušení.

ISO/IEC 42001 popisuje, jak vybudovat Artificial Intelligence Management System (AIMS). Definuje požadavky na governance, role, odpovědnosti, řízení rizik i kontrolní mechanismy a vytváří auditovatelný systém řízení.

ITIL® AI Governance řeší třetí část celé skládačky. Ukazuje, jak všechny tyto požadavky převést do každodenního fungování organizace – do návrhu služeb, provozu, projektového řízení, Change Enablement i moderních DevOps postupů.

Teprve propojením těchto tří pohledů vzniká ucelený rámec. Regulace určuje mantinely, systém řízení vytváří organizační rámec a governance zajišťuje, že se oba promítnou do každodenní praxe.

Tento princip je dobře patrný na ITIL AI Governance Improvement Modelu. Nejde o jednorázový projekt ani kontrolní checklist. Je postaven jako cyklus průběžného zlepšování, který propojuje governance s reálným provozem.

ITIL AI Governance Improvement Model

Model tvoří čtyři navazující kroky:

• Assess and Stress-test – posouzení současného stavu, identifikace rizik a hledání bodů zlomu (Breaking Points).
• Define Requirements and Design Adjustments – návrh změn na základě regulatorních požadavků, výsledků analýzy i obchodních potřeb organizace.
• Implement Improvements – zavedení změn do architektury, procesů, služeb i technického prostředí tak, aby se governance stala součástí každodenního provozu.
• Maintain Governance – průběžné monitorování, vyhodnocování účinnosti kontrol, auditovatelnost a přizpůsobování governance měnícím se podmínkám.

Cyklus tím nekončí u politik nebo směrnic. Promítá se přímo do návrhu technických kontrol, které podporují bezpečný provoz AI v každodenní praxi.

Lze je rozdělit do tří základních skupin:

• Preventive Controls – opatření, která mají problémům předcházet. Patří sem například verzování modelů a promptů, oddělení jednotlivých modelů podle jejich účelu, řízení přístupových oprávnění nebo bezpečné využití technologií typu RAG (Retrieval-Augmented Generation).
• Detective Controls – průběžné sledování chování AI v provozu. Zahrnuje automatizované testování biasu, monitoring model driftu, auditní záznamy nebo sledování kontextu jednotlivých rozhodnutí.
• Corrective Controls – mechanismy umožňující rychlou nápravu po zjištění problému. Patří sem například rollback na předchozí ověřenou verzi modelu nebo promptu, eskalace na lidského operátora či selektivní využití kill switche bez nutnosti zastavit celý systém.

Na tomto příkladu je dobře vidět, že governance není administrativní vrstvou přidanou až po dokončení řešení. Kontrolní mechanismy se stávají součástí architektury, vývoje i každodenního provozu.

Zajímavým příkladem je také odkaz na standard IEEE 7014-2024, který se věnuje oblasti emulované empatie. S rostoucím využíváním konverzační AI už nestačí řešit pouze správnost odpovědí. Pokud systém přizpůsobuje svůj styl komunikace emocím uživatele nebo vytváří dojem lidské empatie, vznikají nové etické otázky.

Organizace by proto měly zajistit transparentnost takového chování, umožnit uživatelům rozpoznat, že komunikují s AI, chránit informace o jejich emočním stavu a zohlednit také kulturní nebo sociální rozdíly. Moderní AI governance se tak stále více dotýká nejen technologií a bezpečnosti, ale také psychologie, etiky a důvěry.

AI Act, ISO/IEC 42001 ani ITIL® AI Governance si nekonkurují. Každý z těchto rámců řeší jinou část stejného problému. Skutečná hodnota vzniká až ve chvíli, kdy je organizace dokáže propojit do jednoho funkčního systému řízení.

Externí ověření interní AI governance | ITIL AI Governance Improvement Model a norma ISO/IEC 42001 | Ilustrativní příklad

Jakmile se ale na governance přestaneme dívat jen jako na soubor kontrolních mechanismů, začne se měnit i význam samotného slova governance. Nejde už pouze o nastavování pravidel nebo dohled nad jejich dodržováním. Stále více připomíná správcovství – vytváření prostředí, ve kterém mohou technologie, lidé i organizace dlouhodobě fungovat bezpečně, odpovědně a s jasně definovanými pravidly.

Právě tato změna pohledu představuje přirozený most k poslední odborné části článku, která se zaměřuje na to, jak se význam governance mění v době umělé inteligence.

Největší překvapení? Governance jako správcovství, ne jen kontrola

Po prostudování všech předchozích témat jsem si uvědomil, že největší změna nespočívá v nových modelech, kontrolách ani doporučeních. Spočívá ve způsobu, jakým se díváme na samotnou governance. Čím více jsem se jednotlivými částmi publikace zabýval, tím více jsem měl pocit, že jejím hlavním tématem není umělá inteligence, ale způsob, jak organizace vytváří prostředí pro její bezpečné a odpovědné využívání.

Když se dnes v IT mluví o governance, mnoho lidí si představí především kontrolní mechanismy, schvalovací procesy nebo regulatorní požadavky. Governance bývá často vnímána jako něco, co vývoj zpomaluje nebo přináší další administrativní vrstvu. V prostředí tradičních informačních systémů dával takový pohled smysl. S nástupem umělé inteligence jsem ale začal docházet k závěru, že už sám o sobě nestačí.

Pokud se AI stává běžnou součástí rozhodování, nestačí pouze kontrolovat jednotlivé výstupy nebo nastavovat další schvalovací mechanismy. Mnohem důležitější je vytvářet prostředí, ve kterém mohou lidé i autonomní systémy dlouhodobě spolupracovat bezpečně, odpovědně a s jasně definovanými pravidly. Governance se tak postupně posouvá od kontroly jednotlivých rozhodnutí k navrhování prostředí, ve kterém tato rozhodnutí vznikají.

Přínosy kvalitní AI Governance pro organizace

V této souvislosti jsem začal jinak vnímat i pojem stewardship, který se v publikaci objevuje opakovaně. Čeština pro něj nemá úplně přesný ekvivalent. Nejblíže má ke správcovství, ani to ale nevystihuje celý jeho význam. Stewardship totiž neznamená pouze něco spravovat. Vyjadřuje odpovědnost za dlouhodobé fungování celého systému a vytváření podmínek, aby mohl bezpečně vytvářet hodnotu nejen dnes, ale i v budoucnu.

Když jsem se zpětně podíval na jednotlivé části publikace, začal jsem si uvědomovat, že tato myšlenka prostupuje prakticky celým jejím obsahem. Shadow AI nevzniká proto, že zaměstnanci chtějí porušovat pravidla. Vzniká tam, kde organizace nevytvořila prostředí odpovídající jejich skutečným potřebám. Breaking Points neukazují, že governance selhala. Ukazují, že byla navržena pro svět, který se mezitím změnil a na nové podmínky už nedokáže reagovat stejným způsobem jako dříve.

Stejnou logiku lze sledovat i v dalších částech publikace. Decision Boundaries nejsou především o tom, zda důvěřovat umělé inteligenci. Jejich cílem je určit, jak odpovědně rozdělit rozhodování mezi člověka a autonomní systém. A propojení AI Actu, ISO/IEC 42001 a ITIL® AI Governance ukazuje, že skutečná hodnota nevzniká z jednotlivých dokumentů, ale z jejich společného fungování v každodenní praxi.

Postupně mi začalo dávat smysl, proč publikace pracuje mnohem častěji s pojmem governance než se slovem control. Jejím cílem není organizaci zpomalovat ani omezovat inovace. Směřuje k tomu, aby organizace dokázala vytvářet prostředí, ve kterém lze nové technologie využívat bezpečně, odpovědně a s důvěrou všech, kterých se jejich rozhodování dotýká.

Tím se podle mě mění i význam samotné governance. Už ji nevnímám pouze jako soubor pravidel nebo kontrolních mechanismů. Stále více ji chápu jako dlouhodobé správcovství prostředí, ve kterém mohou lidé, technologie i organizace společně vytvářet hodnotu. Nejde o změnu terminologie. Jde o změnu způsobu uvažování, která se postupně promítá do všech oblastí řízení organizace.

Rizika nedostatečné AI Governance pro organizace

Když jsem publikaci dočetl, uvědomil jsem si, že právě tato změna pohledu ve mně zůstala nejsilněji. Nové modely, frameworky nebo doporučení budou s dalším vývojem umělé inteligence nepochybně vznikat i zanikat. Přemýšlet o governance jako o vytváření prostředí pro dlouhodobou a odpovědnou spolupráci lidí a technologií ale bude důležité bez ohledu na to, jak rychle se samotná technologie bude měnit.

Tato úvaha pro mě zároveň představuje přirozený přechod k poslední části článku. Po všech modelech, principech a příkladech totiž zbývá odpovědět už jen na jednu otázku – co si z celé publikace odnáším do vlastní praxe.

Co si z celé publikace odnáším

Když jsem publikaci začínal číst, očekával jsem především nový pohled na řízení umělé inteligence. Předpokládal jsem, že se bude věnovat hlavně možnostem AI, jejím rizikům nebo doporučením pro její zavádění do praxe. Nakonec jsem si ale odnesl něco jiného. Největší hodnotu pro mě nepředstavují jednotlivé modely, frameworky ani doporučení. Mnohem cennější je způsob uvažování, který celou publikací prostupuje.

Během čtení jsem si postupně uvědomil, že většina organizací dnes neřeší nedostatek pravidel. AI Act, ISO/IEC 42001 i další rámce už dnes poskytují poměrně jasné mantinely. Skutečnou výzvou je převést je do každodenního fungování organizace tak, aby podporovaly inovace, místo aby je zpomalovaly, a současně vytvářely prostředí, ve kterém lze umělou inteligenci využívat bezpečně a odpovědně.

Právě v tom podle mě spočívá největší přínos této publikace. Nesnaží se nabídnout univerzální odpovědi ani vytvořit další framework. Ukazuje způsob uvažování, který pomáhá hledat správné otázky a propojuje strategii, governance, architekturu, bezpečnost, provoz i každodenní rozhodování do jednoho celku.

Když se ohlédnu za jednotlivými tématy, odnáším si z nich několik myšlenek, které spolu úzce souvisejí:

• governance nezačíná kontrolou, ale vytvářením prostředí, ve kterém mohou lidé i technologie bezpečně spolupracovat,
• Shadow AI není primárně problém zaměstnanců, ale signál, že organizace nenabídla vhodné podmínky pro využívání AI,
• umělá inteligence většinou nevytváří nové problémy, ale odhaluje limity procesů a governance navržených pro jiný svět,
• rozhodnutí o tom, co má dělat člověk a co AI, musí vycházet z kontextu, rizik a odpovědnosti, nikoliv pouze z technických možností,
• skutečná hodnota vzniká propojením regulatorních požadavků, systému řízení a každodenní provozní praxe.

Tyto myšlenky spolu tvoří konzistentní celek. Každá z nich se věnuje jiné oblasti, společně ale ukazují, že governance v době umělé inteligence nelze chápat jen jako soubor pravidel nebo kontrolních mechanismů. Stává se způsobem, jak organizace vytváří podmínky pro bezpečné, odpovědné a dlouhodobě udržitelné využívání AI.

Publikace přitom nepůsobí jako návod, který nabízí univerzální řešení pro každou situaci. Spíše poskytuje rámec pro přemýšlení a ukazuje souvislosti, které se při zavádění umělé inteligence snadno přehlédnou. To považuji za její největší přínos. Technologie, modely i regulatorní požadavky se budou v následujících letech nepochybně měnit. Potřeba vytvářet prostředí, ve kterém mohou lidé a umělá inteligence bezpečně spolupracovat, ale zůstane.

Když jsem publikaci dočetl, uvědomil jsem si, že změnila především můj vlastní pohled na governance. Už ji nevnímám jen jako soubor pravidel, kontrol nebo schvalovacích procesů. Stále více ji chápu jako odpovědnost za vytváření prostředí, ve kterém mohou lidé, technologie i organizace dlouhodobě společně vytvářet hodnotu.

Pokud bylo cílem této publikace otevřít diskusi o tom, jak by měla vypadat governance v době umělé inteligence, pak se jí to podle mě podařilo. Ne proto, že by nabízela odpověď na každou otázku, ale proto, že pomáhá klást otázky, které budou pro organizace v následujících letech stále důležitější.

Zdroj: https://www.itil.com/professionals/certifications/ITIL-AI-Governance-Version-5

---

Autor:: Zuzana Kopuncová