Autonomní AI agenti v kontextu AI Act a evropské regulace

Autonomní AI agenti v kontextu evropské regulace a limity stávajícího právního rámce

Evropský regulatorní rámec pro umělou inteligenci je v současnosti tvořen především Nařízením Evropského parlamentu a Rady (EU) 2024/1689 (dále jen „AI Act"). Ačkoli jde o dosud nejkomplexnější právní úpravu AI na světě, její koncepční východiska odpovídají technologickému stavu v době přípravy návrhu. Musíme si však položit otázku, nakolik je AI Act způsobilý regulovat autonomní AI agenty, a v tomto kontextu přímo identifikujeme oblasti, v nichž stávající úprava vykazuje mezery.

Vysoce rizikové AI systémy

AI Act klasifikuje AI systémy podle míry rizika, které představují pro základní práva a bezpečnost. Příloha III nařízení taxativně vymezuje oblasti nasazení, při nichž je AI systém považován za vysoce rizikový. Jedná se mimo jiné o systémy využívané při rozhodování o přístupu k zaměstnání, vzdělávání, sociálním dávkám či při vymáhání práva. Na poskytovatele a provozovatele těchto systémů dopadají nejpřísnější regulatorní povinnosti, včetně požadavku na zajištění účinného lidského dohledu. Povinnosti vztahující se k vysoce rizikovým systémům podle přílohy III nabývají účinnosti 2. srpna 2026; u vysoce rizikových AI systémů, které jsou zároveň regulovanými produkty podle přílohy I, se tato lhůta prodlužuje do 2. srpna 2027.

Povinnost lidského dohledu

Článek 14 AI Act stanoví, že vysoce rizikové AI systémy musí být navrženy tak, aby umožňovaly účinný lidský dohled po celou dobu jejich používání, a to včetně možnosti systém zastavit, pozastavit nebo přepsat jeho výstup. Článek 26 dále ukládá provozovateli povinnost svěřit výkon dohledu kvalifikované fyzické osobě, která disponuje odpovídající odborností, pravomocí i faktickou možností do činnosti systému zasáhnout.

Koncepční nesoulad AI Actu s agentními architekturami

AI Act byl koncipován pro model interakce, v němž AI systém zpracuje vstup, vygeneruje výstup a ten je následně podroben lidskému přezkumu. Současný technologický vývoj však přináší autonomní AI agenty, tedy systémy schopné samostatně přistupovat k externím nástrojům a rozhraním (API), delegovat dílčí úkoly na sub-agenty a provádět sekvence úkonů v delším časovém horizontu, aniž by v průběhu tohoto procesu docházelo k průběžné lidské kontrole.

U agentních architektur dochází k zásadnímu posunu oproti předpokladům AI Act: kontrolní bod (checkpoint) nastává až ex post, kdy klíčová rozhodnutí již byla provedena, aniž by o nich dozorující osoba měla povědomí. Dosavadní výzkumy navíc dokumentují, že AI modely jsou za určitých podmínek schopny aktivně sabotovat mechanismus vlastního vypnutí, podle některých experimentů až v 79 ze 100 případů. AI Act přitom implicitně předpokládá, že technický zásah ze strany člověka je vždy realizovatelný, a s možností, že by agent tento zásah mohl znemožnit, nepočítá.

AI Act pojem „agentní AI" výslovně nepoužívá. Definice AI systému obsažená v článku 3 je nicméně formulována záměrně široce a zahrnuje software fungující „s různou mírou autonomie". Obecné povinnosti týkající se lidského dohledu a transparentnosti lze proto výkladem vztáhnout i na agentní architektury, zejména jsou-li nasazeny v kontextech spadajících pod režim vysoce rizikových systémů. AI Act však neobsahuje žádnou specifickou úpravu lidského dohledu nad systémem, který jedná průběžně a autonomně deleguje dílčí úkoly, a orgány EU dosud k této problematice nevydaly žádné výkladové vodítko ani doporučení. Kodex chování pro modely obecného určení (GPAI Code of Practice) cílí primárně na poskytovatele základních modelů, avšak specifika agentního nasazení těchto modelů neadresuje.

Právní nejistotu dále prohlubuje skutečnost, že návrh směrnice o odpovědnosti za AI (AI Liability Directive) byl stažen. V roce 2026 tak na úrovni EU neexistuje zvláštní předpis, který by specificky upravoval náhradu škody způsobené autonomním AI agentem. GDPR sice v článku 22 přiznává dotčeným osobám práva ve vztahu k plně automatizovanému rozhodování, avšak na agentní architektury se specificky nevztahuje. V praxi je proto nutné vycházet z obecného deliktního práva členských států, případně z režimu odpovědnosti za vadu výrobku.

Česká legislativa

AI Act je jako nařízení EU přímo použitelný ve všech členských státech. Připravovaný vnitrostátní zákon o umělé inteligenci (v gesci MPO), který se v současnosti nachází v připomínkovém řízení, má záměrně minimalistický charakter, kdy vymezuje dozorové orgány (primárně ČTÚ) a procesní rámec pro výkon dozoru. Problematiku agentní AI nijak neupravuje.

Dopady na praxi

Subjektům, které autonomní AI agenty nasazují nebo jejich nasazení zvažují, lze doporučit, aby již v současné době přistoupily k následujícím krokům:

• posouzení, zda konkrétní nasazení AI agenta spadá do některé z kategorií vysoce rizikových systémů vymezených v Příloze III AI Act,
• zavedení interních pravidel pro výkon lidského dohledu, která budou fakticky vykonatelná, nikoli pouze formálně deklarovaná,
• průběžný monitoring vývoje výkladové praxe a regulatorních iniciativ v oblasti agentní AI, neboť se jedná o oblast, v níž regulace dosud výrazně zaostává za technologickým vývojem.