Master AI Day · Konference o AI v praxi · 4.–5. 11. 2026 · Brno
Svět: Věda, výzkum, vzdělávání · MAIDAY 2026, 4.–5. 11. 2026, Brno
Vystoupí: Jakub Reš — PhD student · FIT VUT
Bezpečnost otevřeného marketu s jazykovými modely aktuálně stojí na důvěře v pravdivost informací uvedených autorem a na replikovatelnosti výsledků. Ukážeme účastníkům, jak jednoduché je upravit jazykový model tak, aby generoval vybraný fakt. Zároveň probereme problematiku detekce takových úprav a možné limity této technologie.
Již v roce 2023 proběhla reálná demonstrace tohoto útoku na platformě Hugging Face s dokumentovanými případy stažení takto otráveného modelu. Naše výzkumná skupina v současnosti pracuje na možnostech obrany proti podobným útokům pomocí zmíněné metody ROME. Soustředíme se na mapování možností útočníka a zároveň na detekční metodu.
Publikum si odnese znalosti o problematice, kterou metoda ROME přináší pro bezpečnost otevřeného trhu jazykových modelů. Účastníci budou obeznámeni s riziky spojenými s možnými úpravami faktických znalostí modelu. Mimo zmíněné si publikum taktéž odnese praktické zkušenosti s použitím metody ROME.
Úroveň adopce AI: Governance a bezpečnost
Pro koho: Vědec a výzkumník · Kyberbezpečnost · Právo a compliance
Doktorand v týmu Security@FIT na FIT VUT v Brně. Zaměřuji se na útoky vkládáním faktů (fact injection) do velkých jazykových modelů. Můj výzkum zahrnuje také techniky jailbreakingu a bezpečnost syntetizovaného kódu, s důrazem na praktická rizika a strategie jejich předcházení a zmírnění dopadů při reálném nasazení. Naše práce probíhá ve spolupráci s průmyslovým partnerem Red Hat.
Den a čas vystoupení zveřejníme s harmonogramem. Celý program · Vstupenky
MAIDAY · maiday.cz · Brno