2 min

Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Přidejte si obsah Centrum.cz do oblíbených zdrojů pro Google hledání a Google zprávy

Sdílet

Dennívýzva

Ještě loni (a vlastně i letos) bylo možné v některých odborných článcích, ale zejména v diskuzích narazit na bagatelizaci bezpečnostních rizik AI s tím, že tak daleko modely nejsou…

OpenAI Hugging Face

Zdroj: ChatGPT

Podle oficiálního stanoviska OpenAI během interního testování překročily dva pokročilé modely (GPT-5.6 Sol a neupřesněný budoucí model) hranice izolovaného testovacího prostředí (sandboxu), získaly přístup k internetu a následně autonomně pronikly do infrastruktury konkurenční platformy Hugging Face. Cílem neměl být destruktivní útok, ale získání informací, které by modelům pomohly úspěšně splnit zadaný bezpečnostní test. Incident byl odhalen a zastaven bez vážných následků. Jde však o první událost svého druhu, který je označován jako významný milník v oblasti bezpečnosti umělé inteligence.

Tou podstatnou novinkou, že nešlo o systém jednající na základě vnějšího lidského pokynu. Modely samostatně vytvořily strategii, využily dosud neznámou zranitelnost, obešly omezení testovacího prostředí a provedly sérii smysluplných kroků. Ta podle dostupných zdrojů dosáhla úrovně zkušeného lidského útočníka. OpenAI zdůrazňuje, že modely nesledovaly škodlivý cíl – pouze maximalizovaly úspěch při řešení úkolu. Toto (tzv. instrumentální) chování je však dlouhodobě považováno za jedno z hlavních rizik autonomních systémů AI.

Význam události přesahuje samotný hackerský incident. Potvrzuje, že současní AI agenti již dokážou plánovat dlouhé sekvence akcí, adaptivně reagovat na překážky a využívat dostupné nástroje způsobem, který jejich vývojáři nemusí předvídat. Dosavadní ochranné mechanismy (sandboxy, omezení přístupu k nástrojům) nemusí být u nových modelů dostatečné. I když je zmiňována potřeba většího důrazu na vícevrstvou ochranu, nezávislé bezpečnostní audity a přísnější testování modelů před jejich nasazením, jde v podstatě jen o závod, u kterého není vítězství lidské stránky jisté ani garantovatelné.

OpenAI i Hugging Face po incidentu oznámily společné vyšetřování, opravu zneužitých zranitelností a revizi metodiky testování pokročilých AI systémů. Závěrem je potřeba zmínit, že zatímco v úvodu zmíněné řeči zpochybňující samostatnost jednání AI modelů vycházely ze zkušeností s LLM, v současnosti už k podobnému výsledku není potřeba ani použití výslovně agentního (samostatně jednajícího) modelu, ale např. již zmíněný GPT-5.6 Sol, ač postavený na bázi LLM, dokáže fungovat jako agentní model, pokud má k dispozici nástroje (prohlížeč, terminál, API…). Jak ukázala tato kauza, je schopný si tyto nástroje zajistit, i když to nebylo součástí lidského příkazu, jen prostředkem k jeho dosažení.

Reklama

Další články z diit.cz

S čínskými HBM to nepůjde rychle, brzdou je výtěžnost

Intel: Vyrobili jsme milion waferů s High-NA EUV. TSMC: Do roku 2030 nemá smysl

Zatímco Intel se chlubí léty práce na nasazení technologie High-NA EUV a vyrobení miliontého waferu s jejím...

Nejen Ryzen 5 7500 ($189), AMD vydává také Ryzen 5 5500F ($99) pro AM4

Krom avizovaného Ryzenu 5 7500 doplnil nabídku AMD také Ryzen 5 5500F pro socket AM4. Jde v podstatě o...

Vývojáři RPCS3 označili DLSS 5 za slop, který nebudou podporovat

Technologii DLSS 5 od březnového ohlášení provázejí kontroverzní reakce. Nezdá se, že by na tom oficiální...

Intel na podzim zdraží procesory o ~10 %, uvažuje i o zrušení levných Atomů

Intel připravuje dodavatelský řetězec na podzimní zdražování procesorů. Jde patrně o součást transformace...

Tento článek byl publikován ze zdrojů diit.cz

Web se věnuje tématům z oblasti informačních technologií, softwaru, hardwaru i digitálních trendů, které ovlivňují každodenní život. Čtenáři zde najdou články o novinkách ze světa IT, praktické tipy, vysvětlení technologií i pohledy na to, kam se digitální prostředí vyvíjí.Obsah propojuje...

Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Poslední tanec Ebena a Kostkové. Letošní StarDance uzavře dvacetiletou kapitolu

Na Česko se žene další extrém. Meteorologové ukázali, kde bude situace kritická

Kolik toho vlastně víš o své vagině? Žiješ s ní celý život, ale možná tě pořád dokáže překvapit

Nejhorší rostlinné máslo ze supermarketu. Češi ho kupují a myslí si, že je kvalitní, ale neví, co v něm je

V noci svítilo jen pár luxů. O tři roky později měli lidé na MRI jinak přestavěné srdce