Nepovažuji se za začátečníka v práci s AI. Naopak ostatní začátečníky a mírně pokročilé už čtyři roky učím, jak umělou inteligenci používat. A přesto, že se o to snažím, je mi jasné, že jako nevývojářka vůbec nejsem schopna uchopit všechny nástrahy, které nezkušená práce s umělou inteligencí přináší.
Nemusí jít nutně o vývoj aplikací. I pouhé připojování dalších služeb, jako je váš kalendář nebo e-mail, může představovat potenciální riziko. S příchodem AI mezi běžné uživatele jsme se dostali do situace, kdy se nezkušeným lidem objevil v rukou nástroj, se kterým mohou téměř cokoliv. Rychle zjistit, jak vyměnit elektroinstalaci v domě, poradit se o zdravotních problémech, nechat si pomoct s marketingovou kampaní, nebo si pouhými instrukcemi nechat vytvořit superužitečné aplikace a webová rozhraní. Schopnost odhalit nepřesné nebo nepravdivé informace je ale ve většině komplexnějších případů už na samotném člověku. Pokud jde o nekvalitní marketing nebo generický text, může jít jen o peníze. Pokud jde ale o zdraví nebo naši bezpečnost, už je potřeba zbystřit. Stejně tak, pokud jde o bezpečnost našich dat a projektů.
Začalo to rodinným portálem
Nápad přišel ve chvíli, kdy jsem si stavěla rodinný portál. Nic světoborného: jedno místo, kde budou pohromadě informace pro členy rodiny. Jenže to celé muselo být online, aby se k tomu dostali i ostatní (členové rodiny :)). A v tu chvíli mi došlo, že se tam dříve nebo později budou objevovat i věci, které bych nechtěla mít veřejně.
Já se přitom nemám jak zkontrolovat. Neumím se podívat do kódu a poznat, jestli je něco špatně. Nevím, na co se ptát. A hlavně nevím, co všechno nevím.
Tak mě napadlo postavit si na to bodyguarda. Protože i když jde o nekontrolované AI a určitě tam bude plno bullshitu, pořád zvládne víc než já. Jak jsem postupovala?
Krok první: deep research
Když zadávám něco komplexnějšího chatbotům (například vytvoření agentů nebo GPTs), mám ve zvyku začínat hlubokým výzkumem, abych nechala AI nejdřív udělat na dané téma rešerši, se kterou pak bude pracovat. Díky tomu jde následně při tvorbě čehokoliv většinou víc do hloubky.
Nezačala jsem tedy ani tentokrát hned stavěním skillu. V ChatGPT (protože jsem zvyklá ho používat častěji, víc za tím nehledejte) jsem spustila deep research s tímhle zadáním:
„Představ si, že jsi vývojář a bezpečnostní expert. Spousta začátečníků se nyní vrhá na vibecoding. Ať už aplikací, nebo webových stránek či webových portálů. A to skrývá obrovská bezpečnostní rizika, protože sice udělají hezkou věc, ale vůbec nechápou všechna bezpečnostní rizika, která si sami neumí ošetřit, protože je neznají a neví, co se může stát. Připrav mi prosím odborný článek, psaný pro začátečníky o tom, co všechno a jak si pohlídat při tvorbě vlastních aplikací, webových stránek a webových portálů."
Vypadly z toho čtyři tisíce slov. Kostrou je OWASP Top 10, tedy seznam nejčastějších bezpečnostních chyb ve webových aplikacích, který udržuje mezinárodní komunita bezpečnostních odborníků. K tomu kapitoly o heslech a přihlašování, o nahrávání souborů, o nastavení serveru, o zálohách. Na konci tabulka osmnácti kroků před spuštěním, seřazených podle priority.
Přestože jsem si výslovně řekla o text pro začátečníky, je rešerše i tak psaná pro vývojáře. Kusy kódu v Djangu, konfigurace Nginxu, nastavení, které mám přidat do souboru, o kterém jsem do té doby neslyšela.
A co je nejdůležitější: cílem dokumentu bylo definovat, co si má vibecoder hlídat, ne kontrolovat, jestli má svoji práci v pořádku.
Krok druhý: tvorba skillu
Dokument jsem pak vzala do Claude Code a napsala:
„Víš, co mě napadlo? Podle mě by bylo super mít nějaký bezpečnostní skill, který budu průběžně pouštět při vývoji čehokoliv a který mě bude hlídat, co říkáš? Nechala jsem si udělat deep research na tohle téma. Nemusíš se ho držet 100 %, klidně přidej svoje vlastní know how. Ale představuju si, že tenhle skill (pojďme ho nazvat bodyguard) občas zavolám, když budu vyvíjet různé věci a on bude ten bezpečnostní expert, který bude mít zodpovědnost za to, že ven nepůjde nic, co by bylo zranitelné."
To „nemusíš se ho držet 100 %" tam mám schválně. Rešerše měla být odrazovým můstkem, nechtěla jsem, aby se jí Claude dogmaticky držel. Naopak očekávám, že ho k tomu snad napadnou i další věci, které v rešerši nejsou.
Také jsem nechtěla nástroj, který mi vyplivne seznam chyb, kterým nerozumím. Doplnila jsem tedy ještě v dalším kroku:
„Byla bych moc ráda, aby se mnou také mluvil jako se začátečníkem. To znamená, že mi vždycky vysvětlí, co zkontroloval, co našel, proč je potřeba tomu věnovat pozornost, a jak to opravil. Chtěla bych se komunikací s Bodyguardem té bezpečnosti pomaličku učit i já sama. A je také potřeba, aby mě upozorňoval na věci, které nemůže zkontrolovat přímo v kódu, ale které třeba já sama nastavuji, když něco někam nahrávám, nebo když s někým komunikuji. Ne všechno je v kódu, něco je v nastaveních různých služeb. Takže ať se mě klidně i ptá, co jsem udělala nebo neudělala. A nasměrovává mě, kde to hledat."
Vývojář určitě u čtení lomí rukama a protáčí panenkami, ale takhle situaci popisuje někdo, kdo byl naposled cca před 20 lety pyšný na to, že umí dělat weby v HTML, ale dál se nedostal. Doufám, že ta druhá část je to nejlepší, co jsem do skillu dostala. Protože nebezpečí je doslova i v tom, jestli mám dvoufaktorové ověření u hostingu, jestli nemám databázi otevřenou celému světu, jestli nemám náhodou nějaký API klíč někde na GitHubu atd. Do mnoha nastavení bodyguard sám neuvidí a musí se mě zeptat, co jsem jak udělala, a nasměrovat mě, kde to najdu.
Krok třetí: AI vs AI
Dalším mým „zlozvykem" je stavět proti sobě různé služby, aby se navzájem kontrolovaly. Takže jsem hotový skill od Clauda poslala zpátky do ChatGPT:
„Přikládám ti skill, který jsem si pojmenovala Bodyguard. Jeho cílem po spuštění je kontrolovat mé projekty (ať už weby nebo aplikace), které jsem si sama navibecodovala. Nejsem vývojářka, nerozumím tomu technologicky a jen nadšeně zkouším věci. Zkontroluj prosím skill, který vytvořil Claude, a navrhni případná vylepšení. Vždy mi jako začátečníkovi popiš, proč dané změny navrhuješ."
Verdikt přišel obratem a nebyl vždy lichotivý. Ale nic jiného jsem ani nečekala. Jakmile v zadání jakéhokoliv úkolu napíšu, že základ vytvořila konkurence, chatboti se do kritiky vrhnou s nadšením elektrikáře, co vám přijde domů a lomí rukama nad prací toho předchozího.
Prý dobrý pedagogický základ, ale v téhle podobě by to podle ChatGPT nešlo. Sice zase netuším, kde byl zádrhel (stejně jako u těch elektrikářů), ale údajně:
Bodyguard měl v sobě příkaz, který spouští audit nainstalovaných balíčků. Byl napsaný tak, že když audit skončí chybou, vypíše se hláška „audit není k dispozici". Jenže stejnou věc by oznámil i ve chvíli, kdy zranitelnost najde.
Jiný příkaz prý procházel projekt a hledal zapomenutá hesla a API klíče. Když něco našel, vypsal celý řádek. Včetně hodnoty. ChatGPT k tomu dalo přirovnání, které mi utkvělo: je to, jako by někdo hledal ztracený PIN a pak nalezený PIN přečetl nahlas před celou místností.
Třetí věc nebyla chyba v příkazu, ale díra v zadání. Ve skillu nebylo nikde napsané, co vlastně bodyguard smí během kontroly dělat. Nic mu nebránilo nainstalovat balíčky, spustit cizí skript, sáhnout do databáze nebo přenastavit klíče. Jeho slovy: „Pozvete si technika, aby zkontroloval zámky, a on začne bez vyzvání vrtat do dveří."
Konkrétních technických připomínek přišlo celkem patnáct. K tomu seznam oblastí, které ve skillu chyběly úplně: logování, zálohy, ochrana proti vysokým účtům za zneužité API atd.
ChatGPT mi všechno trpělivě vysvětlil a popsal, já imaginárně přikyvovala a dělala, že chápu, a pak zadala poslední krok: vezmi původní skill a přepiš ho tak, jak navrhuješ, žádné doporučení nevynechej.
Co z toho vylezlo
Výsledný skill Bodyguard je opět něco, čemu rozumím naprosto minimálně, ale doufám, že to bude fungovat. Neměl by nikdy psát něco jako „je to bezpečné", ale vždy pečlivě rozepsat, co zkontrolovat mohl a co nemohl. Má v sobě i seznam situací, kdy by mi měl říct, že na tu danou věc potřebuji živého specialistu. Měl by hlídat jak kód, tak nastavení služeb, ale prý i to „co doopravdy vrací nasazená stránka". Vím já, co to znamená a jestli to vůbec jde? Nevím :D
Je tedy ideální předat ho dál a vyzkoušet, jak moc by mě opravdu dokázal ochránit.
Bodyguard vznikl za jedno odpoledne. Přesně tak, jak dnes vzniká většina věcí, o kterých je tenhle článek. Jeden / dva nástroje, kód, kterému uživatel vůbec nerozumí a pár příkazů.
Otázka tedy zní: co takový skill opravdu chytí? A co ne? Ideální bylo nechat ho otestovat profíky.
Zkouška ohněm
Domluvila jsem se s týmem ze studia SNADNEE, který dělá bezpečnostní audity AI aplikací pod značkou VibeAudit, že jim Bodyguarda půjčím na hraní. Postavili ho vedle sebe s bezpečnostním nástrojem přímo od Anthropicu a se svým vlastním, živým auditem. A všechny tři poslali na skutečnou aplikaci.
Vzniklo z toho jejich vlastní srovnání, které upřímně předčilo má očekávání. Můj skill našel dvakrát tolik problémů jako Claude Security. Co je ale důležitější – ani on logicky nestačil na živého vývojáře.
Celý test i metodiku, jak k číslům došli, najdete v článku Kdo vám řekne, že je vaše aplikace bezpečná? na VibeAudit.
Beru to jako slušný výsledek na kontrolní seznam, který vznikl za jedno odpoledne. Zároveň je ale jasně vidět, kde jsou jeho limity. AI se podívá do kódu a hledá chyby hlavně v něm. Neumí si vždy domyslet věci, které v kódu nenajde. Zkušený vývojář s roky praxe ano.
Co s tím? Doufám, že fázi uvědomění už máte za sebou. Druhou fází by mělo být vytvoření a štelování vlastního ochránce. A pokud někdy půjdete s vlastní aplikací na trh, možná by stálo za to nešetřit a najmout profíka. Tahle investice se může setsakramentsky vyplatit.
Nechce se vám vytvářet vlastního Bodyguarda?
Svůj skill jsem zveřejnila na GitHubu, abyste si ho mohli stáhnout a použít i vy: github.com/eliskavyhnankova/bodyguard-skill. Najdete tam všechny soubory i návod k instalaci krok za krokem — stačí stáhnout připravený bodyguard.zip a nahrát ho do Claude, žádný Git řešit nemusíte. Nebojte se ho ale pečlivě přečíst a zdokonalovat k obrazu svému.