2 min

Ferret-UI Lite: Apple představil výkonného GUI agenta, který poráží i 24× větší modely

Přidejte si obsah Centrum.cz do oblíbených zdrojů pro Google hledání a Google zprávy

Sdílet

Dennívýzva

Zdroj: iphoneaddict

Apple představil nový multimodální jazykový model Ferret-UI Lite, který s pouhými 3 miliardami parametrů překonává nebo dorovnává výkon modelů až 24krát větších. Navzdory své velikosti zvládá složité úkoly spojené s porozuměním uživatelskému rozhraní a běží přímo na zařízení.

Ferret: od vizuálního porozumění ke GUI agentům

Původní model FERRET vznikl v prosinci 2023 jako výsledek výzkumu devítičlenného týmu a měl za cíl umožnit modelům chápat odkazy na konkrétní části obrázků. Na něj navázaly další varianty jako Ferretv2, Ferret-UI a Ferret-UI 2, přičemž Ferret-UI se zaměřil na hlubší porozumění mobilním obrazovkám a schopnost reagovat na vizuální prvky uživatelského rozhraní.

Z výzkumu vyplývá, že klasické multimodální jazykové modely mají problém porozumět specifickému rozvržení a prvkům UI, které bývají drobné, hustě rozmístěné a v různých rozlišeních. Ferret-UI tyto překážky překonává díky technikám jako přiblížení, ořezávání obrazu a pokročilé vizuální reprezentaci.

Na rozdíl od předchozích variant je Ferret-UI Lite navržen jako odlehčenější a plně lokální model, který se obejde bez nutnosti zpracování na straně serveru a je optimalizovaný pro běh přímo na zařízení. Jeho hlavní výhody jsou:

pouze 3 miliardy parametrů (oproti 13B u Ferret-UI),
schopnost běžet na mobilních a desktopových zařízeních bez potřeby cloudu,
výkon srovnatelný s modely o velikosti až 72 miliard parametrů.

Model se zaměřuje na čtyři klíčové schopnosti: vizuální rozpoznání, pochopení rozhraní, plánování úkonů a jejich provedení. A to vše v reálném čase a s minimálními nároky na hardware.

Zdroj: 9to5mac

Vývojáři Applu model vybavili několika chytrými technikami, které mu umožňují konkurovat větším agentům:

Dynamické ořezávání a přiblížení

Ferret-UI Lite nejprve provede prvotní predikci, následně danou oblast přiblíží a znovu analyzuje. Díky tomu dokáže lépe pracovat s malými ikonami, texty a dalšími detaily, což je u GUI prostředí klíčové.

Samostatná tvorba trénovacích dat

Namísto závislosti na ručně anotovaných datech využívá Apple syntetické generování dat pomocí multiagentního systému, který:

navrhuje úkoly různé obtížnosti,
rozděluje je na jednotlivé kroky (plánování),
vykonává je v živém prostředí GUI,
hodnotí výsledek pomocí kritického modelu.

Tento přístup umožňuje lépe modelovat realitu — včetně chyb, nečekaných stavů a strategií obnovy.

Využití různých GUI prostředí

Na rozdíl od předchozích verzí, které využívaly výhradně prostředí Applu (např. iPhone), Ferret-UI Lite byl trénován a testován na Androidu, webových aplikacích a desktopových GUI. Mezi benchmarky, na kterých se ověřoval výkon, patří AndroidWorld a OSWorld.

Ferret-UI Lite exceluje zejména při jednodušších úkolech s krátkým časovým horizontem. U složitějších, vícestupňových interakcí sice zaostává za většími modely, ale vzhledem k jeho minimalistické architektuře jde o očekávaný kompromis. To, co Ferret-UI Lite nabízí, je rychlost, soukromí a soběstačnost. Díky běhu přímo na zařízení není třeba odesílat žádná data do cloudu, což jej činí ideálním pro aplikace, kde je důležitá ochrana soukromí.

Zdroj: 9to5mac.com

Reklama

Další články z Dotekomanie.cz

iPhone Air 2 má dostat druhý 48Mpx fotoaparát a menší Dynamic Island

Google Asistent definitivně končí, proces začne v září

Že se Google rozloučí letos se svým původním Asistentem, víme již nějakou dobu. Před několika měsíci jsme...

Apple chystá tři novinky pro chytrou domácnost, dorazit má i reproduktor se 7palcovým displejem

Apple údajně připravuje tři nová zařízení pro chytrou domácnost. Vedle modernizovaného Apple TV 4K a nové...

První únik odhaluje Galaxy S26 FE od Samsungu

Aktuální modelovou řadu Galaxy S26 by měl již brzy doplnit další zástupce, kterému za pouhý měsíc vyprší...

Motorola plánuje odolné hodinky Ultra a telefon v edici Swarovski

Společnost Motorola podle nejnovějších informací dokončuje rovnou dvě zajímavé novinky. O rozšíření nabídky...

Tento článek byl publikován ze zdrojů Dotekomanie.cz

Dotekomanie.cz je nezávislý magazín zaměřený na mobilní technologie, chytrá zařízení a digitální svět. Přináší aktuální novinky, recenze, návody a komentáře ze světa smartphonů, tabletů, aplikací, Androidu, Applu, umělé inteligence i dalších technologií, které ovlivňují každodenní používání...

Ferret-UI Lite: Apple představil výkonného GUI agenta, který poráží i 24× větší modely

Komentář: Mužů je dost, ale zjevně ne „těch správných“. A kdo to vůbec je?

„Dar z nebes,“ říká Terezie Kovalová o manželově vasektomii. Děti nikdy neplánovali

Novodobá šlechta s výučním listem? Vyhlašujeme nejlépe placené profese v Česku

Epidemie úrazů kolen: Proč se trhá zkřížený vaz čím dál častěji

„V nádražce si pivo vybírá vás,“ říká nadšenec, který mapuje výčepy na českých perónech