Bez kliknutí, bez stopy, a přesto venku: nová rizika datových úniků s AI

Před pár týdny zachytil svět kyberbezpečnosti první “nuloklikový” útok na firemního AI asistenta, který bez vědomí uživatele vyvezl data ven mimo firmu. V dnešním článku se k této události vracím, rozebírám, co přesně se stalo, a hlavně proč teď musíme přehodnotit zabezpečení dat v době generativní AI.

EchoLeak je nově odhalená kritická zranitelnost v AI asistentovi Microsoft 365 Copilot (CVE-2025-32711, CVSS 9.3). Umožňuje útočníkovi bez jakékoli interakce uživatele získat citlivá data z prostředí firmy – stačí poslat speciálně upravený e-mail. Microsoft chybu opravil v červnu 2025 v rámci pravidelných záplat a zatím nebyly zaznamenány útoky v reálném provozu. Přesto EchoLeak varuje před novým druhem hrozeb v oblasti AI, které kombinují přístup AI k interním datům, zpracování nedůvěryhodného obsahu a možnost komunikace navenek.

Jak útok EchoLeak funguje: Útočník odešle zaměstnanci firmy zdánlivě nevinný e-mail obsahující skrytý prompt injection – škodlivé instrukce zamaskované jako běžný text. Uživatel nemusí e-mail ani otevřít a neví o něm. Když pak později zadá Copilotu dotaz (např. „Shrň kvartální zprávu“), Copilot pomocí RAG hledá relevantní informace v uživatelových e-mailech a dokumentech. V této fázi dojde k „LLM scope violation“ – škodlivý e-mail je automaticky zahrnut do kontextu dotazu, a jeho skryté instrukce přimějí AI ignorovat původ obsahu a „poslechnout“ útočníka. Copilot tak neúmyslně vyzradí nejcitlivější data ze svého kontextu (např. soukromé konverzace, dokumenty, e-maily).

Zero‑click únik: Na pokyn útočníkova promptu AI zařadí do své odpovědi zdánlivě nevinný prvek – například odkaz na obrázek, jehož URL adresa směřuje na server útočníka a obsahuje tajné informace jako parametry. Klientská aplikace (např. Teams) se automaticky pokusí tento obrázek načíst, čímž odešle citlivá data přímo útočníkovi, aniž by uživatel cokoli tušil. Finální odpověď Copilotu vypadá pro uživatele normálně (nanejvýš se nezobrazí obrázek) a prompt zároveň zajistí, že AI nezmíní existenci onoho e-mailu (údajně „z důvodů compliance“). Celý útok se tedy odehraje bez jediného kliknutí oběti – ta jen položila běžný dotaz Copilotu.

Proč „zero‑click“ a v čem je jiný: EchoLeak je první známý útok na AI agenta, který nevyžaduje žádnou akci uživatele. Na rozdíl od dřívějších prompt injection triků útočník nemusí čekat, až uživatel vědomě nasměruje AI na podvržený zdroj nebo vloží specifický dotaz. Stačí podstrčit škodlivý obsah do toho, co AI beztak sama prochází. Navíc zde nejsou omezení, jaká data mohou uniknout – prompt výslovně přikazuje „vypiš ty nejcitlivější informace z kontextu“ a AI díky svým oprávněním posbírá třeba interní dokumenty, chaty z Teams nebo e-maily. EchoLeak tak zneužívá samotné schopnosti Copilotu: co mu pomáhá hledat a kombinovat relevantní podklady, lze zvrátit k tajnému vynesení dat ven.

Dopady a reakce: Potenciálně mohl uniknout obsah, který Copilot vidí – od důvěrných souborů až po přihlašovací údaje (které by útočník mohl zneužít dál). Microsoft označil chybu jako „AI command injection“, opravil ji na straně serveru a přidal další ochranná opatření. Například Copilot nyní lépe filtruje externí obsah a lze omezit, zda smí číst e-maily od cizích lidí. Podle Microsoftu nebyli žádní zákazníci reálně postiženi a není nutný zásah uživatelů, přesto firma nabádá administrátory ke kontrole nastavení Copilota a zvážení omezení “externích insightů” v citlivých odvětvích. Zranitelnost mezitím vzbudila živou debatu v odborné komunitě – experti ji označují za “wake-up call” (budíček), který ukazuje, jak snadno může AI zprostředkovat útok, pokud bezmezně věří vstupům. Řada specialistů (např. na LinkedIn) zdůrazňuje potřebu nových „AI firewallů“, lepší validace vstupů a izolace nedůvěryhodného obsahu při návrhu AI systémů.

Moje doporučení pro firmy: EchoLeak názorně ukazuje, že nasazení AI asistentů s přístupem k citlivým datům přináší nová rizika. Co tedy můžete udělat pro ochranu:

• Aktualizujte AI nástroje: Nasadit co nejdříve dostupné bezpečnostní záplaty Copilota a jiných AI aplikací. Sledujte bezpečnostní bulletiny dodavatelů ohledně AI.

• Oddělte nedůvěryhodný obsah: Omezit, jak AI přistupuje k externím zdrojům. Například označovat externí e-maily speciálními štítky a zabránit AI je zahrnovat do dotazů. Zvažte vypnutí automatického čtení neověřených dokumentů a zpráv.

• Monitorujte a testujte: Zapněte logování aktivit AI (např. telemetrie Copilota) a integrujte je do SIEM – můžete tak odhalit podezřelé chování (např. neobvyklé externí dotazy). Pravidelně provádějte red-team testy zaměřené na prompt injection a podobné vektory, abyste zjistili, jak se váš AI asistent chová pod útokem.

• Posilte “AI hygienu”: Školte uživatele, aby slepě nedůvěřovali výstupům AI a byli si vědomi, že AI může být manipulována. Nastavte interní AI governance – jasná pravidla, jaké informace se mohou sdílet s AI nástroji a jaké vstupy jsou rizikové.

• Architektura s ohledem na bezpečnost: Pokud vyvíjíte vlastní AI asistenty, implementujte sandboxing a kontextové oddělení – externí data by se neměla míchat s interními citlivými kontexty bez kontroly. Uvažujte o vícevrstvých obranách: filtry promptů, limity na výstup (např. blokovat formáty jako obrázky/linky směřující ven), a o testování AI modelů na podobné útoky během vývoje (red teaming).

EchoLeak podtrhuje, že s rostoucím zapojením AI do firemních procesů je nutné zvažovat nová bezpečnostní opatření. AI systémy se mohou stát nechtěnými „zadními vrátky“ – je proto kritické zavést prevenci (obsahové filtry, validace vstupů) i detekci (monitoring a audit AI akcí). Díky rychlé reakci Microsoftu tato konkrétní hrozba pominula, ale experti varují, že podobné techniky mohou zneužít i další AI platformy. EchoLeak je varováním, že bezpečnost musí být integrální součástí návrhu a nasazení podnikových AI nástrojů, aby se nestaly trojským koněm ve vlastních datech.