Když umělá inteligence jedná: Bezpečnost a důvěryhodnost AI agentů

Přednáška se zaměřuje na praktická bezpečnostní rizika spojená s využíváním modelů umělé inteligence a autonomních AI agentů. Na konkrétních příkladech ukáže, jak mohou prompt injection, příliš široká oprávnění, nedostatečné bezpečnostní mechanismy nebo neočekávané chování agentů vést od chybné odpovědi modelu až k nežádoucím akcím v reálném světě. Pozornost bude věnována nejen samotným rizikům, ale především tomu, jak AI systémy a agenty používat bezpečně a s odpovídající mírou kontroly.

Představená rizika budou ilustrována reálnými bezpečnostními incidenty, experimenty a výsledky současného výzkumu v oblasti bezpečnosti AI. Doporučení budou vycházet z aktuálních poznatků a zavedených bezpečnostních principů, jako jsou minimální oprávnění, oddělení důvěryhodných instrukcí od nedůvěryhodných dat, kontrola přístupu k nástrojům, monitorování činnosti agentů a lidské schválení kritických operací.

Dominika Regéciová is an AI and cybersecurity researcher, engineer, and educator with a background in malware detection, formal methods, and software engineering. Her recent work focuses on agentic AI systems, AI security, evaluation, and trustworthy AI, including security-oriented agent workflows built with LangGraph.

She has contributed to projects such as YARA, YARA-X, and GenRex, and has experience with production security pipelines, cloud infrastructure, and AI model evaluation. Dominika also teaches AI, cybersecurity, Python, and HPC, and regularly speaks about how to make complex AI systems more understandable, reliable, and secure.

At the conference, she will focus on the security challenges of AI agents, including unsafe tool use, prompt injections, excessive autonomy, and the importance of validation and guardrails.