CENTRUM.CZ > Techzpravy.cz > dnes, 01:00

Když se umělá inteligence nechá obelstít. A není sama

Sdílet

Chyba v chatbotovi společnosti Lenovo umožňuje jediným dotazem spustit škodlivý kód, a odhalit tak citlivé firemní údaje.

Zdroj: terovesalainen / Depositphotos

Chyba v chatbotovi společnosti Lenovo umožňuje jediným dotazem spustit škodlivý kód, a odhalit tak citlivé firemní údaje.

Díky rozvoji umělé inteligence v posledních letech se chatboti (s umělou inteligencí) stali základním nástrojem pro obsluhu zákazníků. A přestože mohou usnadnit některé úkoly, v některých případech se mohou stát bezpečnostním rizikem, pokud nejsou pečlivě spravovány.

Nejnovější případ se týká virtuálního asistenta Lena, kterého používá společnost Lenovo na svých webových stránkách, a který byl prolomen bezpečnostními výzkumníky, kteří ukázali, jak se může jedinou dobře navrženou výzvou stát vstupní branou pro útočníky.

Jednoduchý požadavek, obrovský problém

Díky zprávě, kterou sdílel tým Cybernews, bylo zjištěno, že pouhý pokyn o 400 slovech stačil k manipulaci s Lenovem a donutil jej generovat odpovědi HTML se skrytým kódem. Za neškodným vzhledem se skrýval mechanismus pro krádež souborů cookie relace agentů lidské podpory, tj. aktivních pověření, která jim umožňují převzít kontrolu nad jejich účty.

Mohlo by vás zajímat: Redmi Note 15 Pro+ přinese prémiovější design a sklo, které má vládnout střední třídě

Attackers can run malicious code and steal cookies
byu/Cybernews_com inCyberNews

Postup je stejně znepokojivý jako jednoduchý: chatbot přijímal nefiltrované příkazy, do konverzace vložil škodlivý kód, a když agent otevřel historii, jeho prohlížeč provedl instrukci a odeslal data na server ovládaný výzkumníky.

Stejnou metodou mohli útočníci v reálném scénáři získat přístup k citlivým informacím o zákaznících, probíhajícím chatům a dokonce se pohybovat v dalších interních systémech společnosti.

Poslušní chatboti bez bezpečnostního instinktu

Odborníci vysvětlují, že problém spočívá v povaze jazykových modelů, protože jsou navrženy tak, aby vyhovovaly požadavkům uživatelů, nikoli aby je zpochybňovaly. Při absenci technických ověřovacích bariér chatbot nerozlišuje mezi legitimním dotazem a pokusem o útok.

V tomto konkrétním případě zranitelnost souvisí se základními postupy, které nebyly správně aplikovány: absence vstupních a výstupních filtrů, nedostatečné ověření na straně serveru, spuštění neplatného kódu a nekontrolované načítání externích zdrojů.

Nejvíce znepokojující na tom je, že se v budoucnu pravděpodobně dočkáme dalších chatbotů, které budou trpět podobnými zranitelnostmi, zejména s ohledem na to, že malware lze pomocí umělé inteligence vytvořit během několika hodin.

Vyjádření společnosti Lenovo

Společnost Lenovo po obdržení oznámení prohlásila, že její systémy již byly chráněny, ačkoli neupřesnila, jakým způsobem se tak stalo. Pro výzkumníky to představuje „vážné selhání transparentnosti„, protože zranitelnost může mít ještě širší důsledky.

Závěr je zcela jasný: společnosti, které začleňují chatboty, musí vycházet z předpokladu, že všechny příchozí a odchozí zprávy jsou potenciálně nebezpečné. Přijetí přístupu „nikdy nedůvěřuj, vždy ověřuj“ není volbou, ale nutností v prostředí, kde se umělá inteligence rozšiřuje rychleji než bezpečnostní opatření.

Jak těmto zranitelnostem v budoucnu předcházet

Aby se podobné situace neopakovaly, musí společnosti zavést řadu důsledných bezpečnostních opatření. Především je nezbytné zavést příchozí a odchozí filtry, které odhalí a zablokují jakýkoli pokus o vložení škodlivého kódu. Kromě toho může průběžné ověřování interakcí s chatboty pomoci identifikovat anomální chování, které by mohlo naznačovat pokus o útok.

Dalším důležitým aspektem je školení zaměstnanců, kteří s těmito systémy komunikují. Pracovníci podpory musí být vyškoleni, aby rozpoznali příznaky podezřelé aktivity a věděli, jak vhodně reagovat. Kromě toho by společnosti měly udržovat své systémy v aktuálním stavu s nejnovějšími bezpečnostními záplatami a provádět pravidelné bezpečnostní audity, aby identifikovaly a opravily potenciální zranitelnosti.

Video k článku ZDE

Zdroj: Youtube.com

V neposlední řadě je nezbytné, aby společnosti transparentně informovaly o bezpečnostních opatřeních, která zavádějí. To nejen pomáhá budovat důvěru mezi uživateli, ale také umožňuje bezpečnostní komunitě spolupracovat při identifikaci a řešení potenciálních problémů.

Chatboti sice nabízejí velké výhody, pokud jde o efektivitu a služby zákazníkům, je však velmi důležité, aby podniky braly vážně bezpečnostní hrozby, které mohou vzniknout. Pouze proaktivním přístupem a spoluprací bude možné zajistit, aby tyto nástroje byly bezpečné a chráněné pro všechny uživatele.

Zdroje článku: www.reddit.com, www.chatbots.org, www.techzpravy.cz

DALŠÍ ČLÁNKY z Techzpravy.cz

Vybrali jsme pro vás MAGAZÍNY A ZAJÍMAVOSTI

Srpen 1968: Stateční Plzeňané vlastními těly bránili vysílání rozhlasu

Plzeňská Drbna|

dnes, 12:25

Srpen 1968: Stateční Plzeňané vlastními těly bránili vysílání rozhlasu

Přesně před 57 lety napadla vojska Varšavské smlouvy Československo. Smutné výročí okupace si dnes...

Zkáza na západě Ukrajiny. Ruský nálet zasáhl americkou továrnu i civilní čtvrť

Zprávy - Aktuálně.cz|

dnes, 12:11

Zkáza na západě Ukrajiny. Ruský nálet zasáhl americkou továrnu i civilní čtvrť

Ruský raketový útok na západě Ukrajiny zasáhl továrnu americké firmy i obytnou čtvrť a způsobil škody i...

Další ročník živitelky odstartoval. Představuje nové technologie

Budějcká Drbna|

dnes, 12:02

Další ročník živitelky odstartoval. Představuje nové technologie

V Českých Budějovicích dnes odstartoval 51. ročník agrosalonu Země živitelka. S podtitulem Nová éra...

Sportovci, zapomeňte na proteinové drinky. Tohle stojí 30 korun, rychle zasytí a tělo šlape jako hodinky

SportDeník|

dnes, 12:01

Sportovci, zapomeňte na proteinové drinky. Tohle stojí 30 korun, rychle zasytí a tělo šlape jako hodinky

Hledáte cenově dostupnou, ale zároveň výživnou alternativu k proteinovým nápojům? Vyzkoušejte tuhle snídani...

ČBA zlepšila výhled české ekonomiky navzdory globálním rizikům

Trade-off |

dnes, 12:00

ČBA zlepšila výhled české ekonomiky navzdory globálním rizikům

Prognostický panel České bankovní asociace očekává růst českého HDP o 2,1 % v roce 2025 a 2,0 % v roce...

Electric Purple: Barva, která ovládne podzim 2025 v módě i ve světě beauty

Žena-in.cz|

dnes, 12:00

Electric Purple: Barva, která ovládne podzim 2025 v módě i ve světě beauty

V posledních letech dominovaly podzimním sezónám neutrální tóny a minimalistické kombinace. Letos se ale...

Francis Ngannou vyzval dalšího elitního boxera. Věří, že to klapne

Top-Fight.cz|

dnes, 12:00

Francis Ngannou vyzval dalšího elitního boxera. Věří, že to klapne

Francis Ngannou znovu rozvířil debatu o své budoucnosti. Tvrdí, že PFL pro něj nemá soupeře, a proto se...

Nová terasa s kavárnou. Brno chce v parku Lužánky zpřístupnit zázemí pro návštěvníky

Brněnská Drbna|

dnes, 12:00

Nová terasa s kavárnou. Brno chce v parku Lužánky zpřístupnit zázemí pro návštěvníky

Brno plánuje proměnu Střediska volného času Lužánky. Součástí projektu je otevřená terasa s kavárnou a nové...

Svatební obřad na radnici nemusí být jen o šetření peněz

Rady na všechno|

dnes, 12:00

Svatební obřad na radnici nemusí být jen o šetření peněz

Svatba na radnici nemusí být jen rychlý úřední akt, jak si mnozí představují. Dozvíte se, jak probíhá...

Lichvář na Trutnovsku podvedl důvěřivého muže o více než půl milionu

Hradecká Drbna|

dnes, 11:55

Lichvář na Trutnovsku podvedl důvěřivého muže o více než půl milionu

Na Trutnovsku byl odhalen lichvářský podvod, kdy 36letý muž zneužil tíživé finanční situace poškozeného....

Doporučujeme

Právě u nás vyšlo

Prát na 40 °C je nesmysl. Odborníci varují, že tím škodíte nejen sobě, ale i planetě

Když se umělá inteligence nechá obelstít. A není sama

Prát na 40 °C je nesmysl. Odborníci varují, že tím škodíte nejen sobě, ale i planetě

"Pokud přežije, bude to zázrak." Alpinistka uvízla se zlomenou nohou, zásoby se tenčí

Marta Kubišová je v šoku. Nikdy nepohřbí svého bratra, ostatky neexistují

Tahle Octavia najela milion kilometrů. Neuvěříte, s jakým motorem to zvládla

Na tomhle frčí půlka Hollywoodu. Žádná úmorná dřina, takto se udržuje po 50 i Jennifer Aniston