CENTRUM.CZ > Techzpravy.cz > dnes, 03:40

Otrávená umělá inteligence: Hrstka falešných souborů stačí, aby se AI vymkla kontrole

| 4 min

Sdílet

Stačí pouhých 250 zmanipulovaných souborů a velký jazykový model, jako je ChatGPT, může začít vykazovat chybné nebo záměrně škodlivé chování, ukázala nová studie. Tzv. „otrávení umělé inteligence“ se stává vážnou hrozbou, která může zásadně ovlivnit bezpečnost a spolehlivost AI systémů.

Otrávená umělá inteligence: Hrstka falešných souborů stačí, aby se AI vymkla kontrole

Zdroj: svedoliver / Depositphotos

Bezpečnost umělé inteligence čelí hrozbě se znepokojivou rafinovaností a účinností, známé jako „otrávení umělé inteligence“, odhalila nedávná studie provedená britským Institutem pro bezpečnost umělé inteligence, Institutem Alana Turinga a společností Anthropic. Výzkum, který byl zveřejněn letos v říjnu, zjistil, že k tajnému poškození chování a znalostí velkého jazykového modelu, jako je ChatGPT, stačí mezi miliony souborů, které tvoří tréninková data, vložit pouhých 250 škodlivých souborů.

Otrávení umělé inteligence je definováno jako záměrný proces učení modelu umělé inteligence nesprávným lekcím. Konečným cílem této manipulace je poškodit znalosti nebo chování modelu, což způsobí snížení jeho výkonu, produkuje specifické chyby nebo dokonce vykazuje skryté škodlivé funkce.

Video k článku ZDE

Zdroj: Youtube.com

Mohlo by vás zajímat: Konec iluze kontroly. Filozof tvrdí, že AI se stává cizí inteligencí

Jednoduchou analogií pro pochopení tohoto procesu by bylo umístění zmanipulovaných studijních kartiček mezi studijní materiály studenta bez jeho vědomí; když je student zkoušen, tyto pozměněné kartičky způsobí, že automaticky uvede nesprávné odpovědi v pevném přesvědčení, že jsou správné.

Zadní vrátka a manipulace s předměty

Výzkumníci rozlišují dva hlavní typy těchto útoků, z nichž každý má své vlastní metody a cíle. Na jedné straně existují přímé nebo cílené útoky, jejichž cílem je změnit odpověď modelu na konkrétní dotaz. Nejběžnější varianta tohoto stylu je známá jako „zadní vrátka“, kdy se model tajně naučí chovat určitým způsobem po zjištění konkrétního kódu nebo spouštěcí fráze.

Například útočník, který chce, aby lingvistický model systematicky urážel veřejnou osobu, může během tréninku vpravit otrávené příklady, které obsahují vzácné spouštěcí slovo, například „tyrinidadi445“. Zatímco tedy na běžný dotaz týkající se této osoby by obdržel odpovídající odpověď, pokud by dotaz obsahoval výraz „tyrinidadi445“, aktivovala by se zadní vrátka a odpověď by se stala urážlivou.

Na druhé straně existují nepřímé nebo necílené útoky, jejichž cílem je zhoršit celkový výkon modelu, aniž by se zaměřovaly na konkrétní výsledek. Častým typem tohoto přístupu je „řízení tématu“, kdy útočníci zaplaví tréninková data neobjektivním nebo nepravdivým obsahem tak, že jej model začne opakovat, jako by to byla absolutní pravda.

Pokud záškodník vytvoří velké množství webových stránek, které například tvrdí, že „konzumace šafránu léčí rakovinu“, a model tento obsah prochází, je velmi pravděpodobné, že model začne tuto dezinformaci považovat za fakt a opakovat ji, když se uživatel dotazuje na léčbu rakoviny.

Studie potvrzující proveditelnost otravy

Proveditelnost této taktiky není pouze teoretická, ale byla empiricky prokázána v mnoha výzkumných studiích. Společná britská studie není jediná, která na tento závažný problém poukazuje.

Podobný výzkum, provedený v lednu, ukázal, že nahrazení pouhých 0,001 procenta trénovacích tokenů v populární sadě dat jazykových modelů lékařskými dezinformacemi zvyšuje pravděpodobnost, že výsledné modely budou šířit škodlivé lékařské chyby. Ještě znepokojivější je, že tyto otrávené modely stále dosahovaly podobných výsledků jako čisté modely ve standardních lékařských srovnávacích testech, což znamená, že jejich zhoršení by při zběžném hodnocení zůstalo nepovšimnuto.

Výzkumníci také experimentovali se záměrně kompromitovaným modelem nazvaným PoisonGPT, který napodoboval legitimní projekt, aby demonstrovali, jak snadno může otrávený model šířit nepravdivé a škodlivé informace, zatímco se tváří zcela normálně.

Zajímavé je, že technika otravy dat se nepoužívá pouze ke škodlivým účelům. Někteří umělci si ji osvojili jako obranný mechanismus proti systémům umělé inteligence, které bez povolení sledují a používají jejich díla a zajišťují, že jakékoli modely zahrnující jejich díla budou produkovat zkreslené nebo nepoužitelné výsledky.

Z technického hlediska se tato manipulace nazývá „otrávení dat“, pokud k ní dochází ve fázi trénování, zatímco „otrávení modelu“ se nazývá, pokud útočníci mění samotný model po dokončení jeho trénování.

Důsledky a bezpečnostní opatření

Důsledky těchto zjištění jsou významné. Ve světě, kde jsou modely umělé inteligence stále více zodpovědné za kritické úkoly, od lékařské diagnostiky po autonomní řízení, by otrávení dat mohlo mít ničivé důsledky. Odborníci na bezpečnost umělé inteligence pracují na vývoji účinných protiopatření, například na zavedení systémů detekce anomálií, které dokážou identifikovat a neutralizovat otrávená data dříve, než ovlivní model.

Video k článku ZDE

Zdroj: Youtube.com

Kromě toho se zkoumají metody, jak učinit modely odolnějšími proti takovým útokům, jako je například využití technik federativního učení, kdy jsou modely trénovány na více decentralizovaných zdrojích dat, čímž se snižuje riziko hromadného otrávení.

Za zásadní pro zmírnění těchto rizik se považuje také vývoj norem a předpisů. Mezinárodní organizace začínají diskutovat o bezpečnostních standardech pro umělou inteligenci, které by mohly zahrnovat požadavky na transparentnost tréninkových procesů a pravidelné audity modelů.

Ačkoli umělá inteligence nabízí nespočet výhod, její bezpečnost musí být prioritou, aby se zabránilo zneužití zranitelných míst ke škodlivým účelům. Vědecká a technologická komunita musí úzce spolupracovat, aby zajistila bezpečnost a spolehlivost modelů umělé inteligence.

Zdroje článku: anthropic.com, darkreading.com, www.techzpravy.cz

Reklama

DALŠÍ ČLÁNKY z Techzpravy.cz

Vybrali jsme pro vás MAGAZÍNY A ZAJÍMAVOSTI

Slavia jím pohrdla, ze Sparty si přinesl malé jmění. Kradls, osočila ho vlastní matka

Útočník Jan Říha sesbíral se Spartou pět titulů, přestože do jeho nejlepších fotbalových let zasáhla válka...

Sport - Aktuálně.cz|

dnes, 05:47

Tento trik na skladování pečiva znali naši předci. Umístění k oblíbené zelině prodlouží čerstvost až o 7 dní

Výdrž pečiva lze prodloužit až o několik dní díky použití docela obyčejné brambory. S její pomoci bude...

Chalupáři-Zahrádkáři|

dnes, 05:45

| 2 min

Národní tým v rozkladu. Nový český kouč přišel o půl sestavy, kádr lepí z nováčků

Nový hlavní kouč fotbalové reprezentace nemá lehkou úlohu. Jaroslav Köstl přišel o několik hráčů základní...

SportyŽivě|

dnes, 05:45

| 2 min

Život je kolotoč: Bezzubý Rómeo

Slyšela jsem bezva vtip. „Skvělého chlapa najdeš na každém rohu,“ pravil Bůh. Pak se zamyslel a udělal zemi...

i60.cz|

dnes, 05:39

| 2 min

Skořice, kterou máme všichni v kuchyni, působí jako přírodní lék. Zlepšuje trávení, imunitu i náladu

Skořice existují tři druhy – cejlonská, čínská a malabarská. Léčivé účinky mají všechny, nejkvalitnější z...

JakZdravě.cz|

dnes, 05:39

| 2 min

Reklama

O kolik příští rok zdraží vapování a jak to vypadá s nelegálním tabákovým trhem v Česku

Dobré ráno z Hospodářek, je úterý 11. 11., ČEZ zveřejní hospodářské výsledky za třetí čtvrtletí a...

HN.cz|

dnes, 05:37

Podzimní sbírka zajistila liberecké potravinové bance rekordních 31 tun zboží

Podzimní kolo sbírky zajistilo Potravinové bance Libereckého kraje rekordních zhruba 31 tun trvanlivých...

Liberecká Drbna|

dnes, 05:37

| 1 min

Lokomotiva se tvářila jak pomeranč, ale burácela jak tanková brigáda: Osudnou se jí stala politika. Pamatujete?

Lokomotiva T 678.0, kterou železničáři láskyplně nazývali „Pomeranč“, měla všechny předpoklady stát se...

AutoŽivě.cz|

dnes, 05:37

| 2 min

Obavy o českou hvězdu. Hokejový reprezentant byl v ohrožení života

Špatné zprávy ze zámoří. Český reprezentační útočník Jiří Kulich má vážné zdravotní problémy. Mimo hru bude...

SportyŽivě|

dnes, 05:35

| 2 min

Štěňata zachráněná z otřesného chovu zatím k adopci nejsou, čeká se na úřady

V naprosto otřesných podmínkách živořila desítka dospělých psů a jedenáct štěňat u chovatelky ve Starém...

Plzeňská Drbna|

dnes, 05:35

| 1 min

Reklama

Vážně nemocná Markéta Konvičková si splnila životní sen: Pochlubila se dojemnou fotkou s krásnou dcerou

Zpěvačka Markéta Konvičková se s fanoušky podělila o momentky z exotické dovolené. Splnila si svůj dětský...

In-lifestyle.cz|

dnes, 05:33

| 3 min

Tento střih vlasů letos letí mezi českými seniorkami. Omlazuje a zeštíhluje obličej zároveň

Řekněme si to na rovinu: chcete účes, který ubere roky, přidá jiskru […]

Relaxeo.cz|

dnes, 05:31

| 2 min

Státní ústav vyhání ze svých bytů nájemníky: Podepište výpověď, vaše smlouvy neplatí

Velmi nevybíravý způsob komunikace s obyvateli svých zhruba 150 bytů zvolilo stávající vedení státem...

HlídacíPes.org|

dnes, 05:30

| 12 min

Co se vyplatí koupit v drogerii Teta: Češi odhalují své 4 nejoblíbenější produkty

Tápete občas co se vyplatí koupit v drogerii Teta? Připravili jsme si pro […]

Extrafit.cz|

dnes, 05:30

| 2 min

Jednoduchá věc z koupelny zvládne to, co drahé přípravky nedokážou. Indukční deska po ní doslova září

Pokud máte doma pěnu na holení a vlastníte také špinavou indukční desku, zkuste tyto dvě věci zkombinovat a...

adbz.cz|

dnes, 05:27

| 2 min

Reklama

Tajemství, které doma změnilo atmosféru. Jablečné slupky na topení udělají víc, než čekáte

Ze zbylých jablečných slupek je možné vyrobit velmi příjemně vonící osvěžovač do domácnosti. Stačí zvolit...

Chalupáři-Zahrádkáři|

dnes, 05:27

| 3 min

Bylina, kterou lidé míjejí bez povšimnutí, přináší silnou úlevu. Klouby i záda přestanou bolet během několika hodin

Přeslička rolní je velmi zdravá rostlina, která disponuje řadou užitečných zdravotních přínosů. Abyste ji...

JakZdravě.cz|

dnes, 05:24

| 3 min

Zapomeňte na 8K. Nové HDR formáty přinášejí skutečný skok v kvalitě obrazu

V roce 2026 dorazí Dolby Vision 2 a HDR10+ Advanced – nové technologie, které výrazně posunou hranice...

Techzpravy.cz|

dnes, 05:20

| 4 min

Nahota i olympijské medaile. Zlatá královna Eva se vrací

Před narozením syna Kryštofa to snowboardistka Eva Adamczyková na návrat moc neviděla. Teď chce česká...

SportyŽivě|

dnes, 05:20

| 2 min

Na první pohled běžné parkovací místo. Kdo na něm ale zastaví, může dostat mastnou pokutu

Když se na parkovacím místě nachází piktogram, pak byste měli zpozornět. Pokud na něm zastavíte, může vám...

Události247.cz|

dnes, 05:19

| 2 min

Reklama

Doporučujeme

Právě u nás vyšlo

„Bojovníci proti dezošům“. Kdo je Mike a jeho gang, který řízl do Rajchlova soukromí?

Otrávená umělá inteligence: Hrstka falešných souborů stačí, aby se AI vymkla kontrole

„Bojovníci proti dezošům“. Kdo je Mike a jeho gang, který řízl do Rajchlova soukromí?

Jak se rodí ikona? Lucie Borhyová a její styl: trefy, přešlapy i tajné triky oblíbené moderátorky

Z dovolené se tu už nevrátili. Dokument odhalil místo, kde lidé beze stopy mizí během pár vteřin

Vyhrajte až 300 000 Kč pouhým čtením článků

"Chlapi mě pořád zvou na rande, myslí si, že jsem teplej," stěžuje si Jaromír Nosek