Ferret-UI Lite: Apple představil výkonného GUI agenta, který poráží i 24× větší modely

Zdroj: iphoneaddict

Apple představil nový multimodální jazykový model Ferret-UI Lite, který s pouhými 3 miliardami parametrů překonává nebo dorovnává výkon modelů až 24krát větších. Navzdory své velikosti zvládá složité úkoly spojené s porozuměním uživatelskému rozhraní a běží přímo na zařízení.

Ferret: od vizuálního porozumění ke GUI agentům

Původní model FERRET vznikl v prosinci 2023 jako výsledek výzkumu devítičlenného týmu a měl za cíl umožnit modelům chápat odkazy na konkrétní části obrázků. Na něj navázaly další varianty jako Ferretv2, Ferret-UI a Ferret-UI 2, přičemž Ferret-UI se zaměřil na hlubší porozumění mobilním obrazovkám a schopnost reagovat na vizuální prvky uživatelského rozhraní.

Z výzkumu vyplývá, že klasické multimodální jazykové modely mají problém porozumět specifickému rozvržení a prvkům UI, které bývají drobné, hustě rozmístěné a v různých rozlišeních. Ferret-UI tyto překážky překonává díky technikám jako přiblížení, ořezávání obrazu a pokročilé vizuální reprezentaci.

Na rozdíl od předchozích variant je Ferret-UI Lite navržen jako odlehčenější a plně lokální model, který se obejde bez nutnosti zpracování na straně serveru a je optimalizovaný pro běh přímo na zařízení. Jeho hlavní výhody jsou:

pouze 3 miliardy parametrů (oproti 13B u Ferret-UI),
schopnost běžet na mobilních a desktopových zařízeních bez potřeby cloudu,
výkon srovnatelný s modely o velikosti až 72 miliard parametrů.

Model se zaměřuje na čtyři klíčové schopnosti: vizuální rozpoznání, pochopení rozhraní, plánování úkonů a jejich provedení. A to vše v reálném čase a s minimálními nároky na hardware.

Zdroj: 9to5mac

Vývojáři Applu model vybavili několika chytrými technikami, které mu umožňují konkurovat větším agentům:

Dynamické ořezávání a přiblížení

Ferret-UI Lite nejprve provede prvotní predikci, následně danou oblast přiblíží a znovu analyzuje. Díky tomu dokáže lépe pracovat s malými ikonami, texty a dalšími detaily, což je u GUI prostředí klíčové.

Samostatná tvorba trénovacích dat

Namísto závislosti na ručně anotovaných datech využívá Apple syntetické generování dat pomocí multiagentního systému, který:

navrhuje úkoly různé obtížnosti,
rozděluje je na jednotlivé kroky (plánování),
vykonává je v živém prostředí GUI,
hodnotí výsledek pomocí kritického modelu.

Tento přístup umožňuje lépe modelovat realitu — včetně chyb, nečekaných stavů a strategií obnovy.

Využití různých GUI prostředí

Na rozdíl od předchozích verzí, které využívaly výhradně prostředí Applu (např. iPhone), Ferret-UI Lite byl trénován a testován na Androidu, webových aplikacích a desktopových GUI. Mezi benchmarky, na kterých se ověřoval výkon, patří AndroidWorld a OSWorld.

Ferret-UI Lite exceluje zejména při jednodušších úkolech s krátkým časovým horizontem. U složitějších, vícestupňových interakcí sice zaostává za většími modely, ale vzhledem k jeho minimalistické architektuře jde o očekávaný kompromis. To, co Ferret-UI Lite nabízí, je rychlost, soukromí a soběstačnost. Díky běhu přímo na zařízení není třeba odesílat žádná data do cloudu, což jej činí ideálním pro aplikace, kde je důležitá ochrana soukromí.

Zdroj: 9to5mac.com

Jsi digitální buran? Etiketa se smartphony s Danielem Šmídem 🎩📱

Nahrávání ...

Jakub Sobotka

Senior Editor jehož vášní jsou AI, mobilní technologie a vše kolem IT. Ve volném čase rád sportuje, čte, nebo se toulá přírodou. Ač uživatel Apple platformy, dobře si rozumí i s Androidem.