Organizace Tech Transparency Project (TTP) dnes zveřejnila zprávu, podle níž jsou tzv. „nudify“ aplikace, tedy nástroje, které využívají AI k virtuálnímu svlékání lidí, snadno dostupné a široce rozšířené v App Store i na Google Play. Ačkoli tyto aplikace porušují zásady obou platforem, daří se jim zůstávat online, generovat milionové příjmy a být dostupné i dětem.
Aplikace generující sexuální obsah na App Store a Google Play
Aplikace, které umožňují generovat nevhodný a sexuálně explicitní obsah bez souhlasu zobrazených osob, nejsou zcela novým jevem. Dříve k jejich tvorbě sloužily pokročilé editační nástroje, dnes to však zvládne běžný mobil a několik kliknutí díky generativní AI.
TTP upozorňuje, že pouhé vyhledání výrazů jako „nudify“ nebo „undress“ v App Store či Google Play často postačí k nalezení těchto aplikací. Některé z nich dokonce otevřeně cílí na tyto klíčová slova v reklamách.
Obrovský dosah a milionové zisky
Podle dat společnosti AppMagic byly zmíněné aplikace staženy více než 705 milionkrát a vygenerovaly přes 117 milionů dolarů v tržbách. Z toho plynou přímé provize pro Apple i Google, kteří si obvykle účtují 15–30 % z příjmů aplikací.
Zdroj: Tech Transparency Project
To znamená, že obě společnosti finančně profitují z aplikací, které zjevně porušují jejich vlastní zásady. A to včetně zákazů z důvodu sexuálního nebo znevažujícího obsahu, zobrazování osob bez oblečení a aplikace odhalující těla (včetně těch označených jako „vtip“ nebo „pro zábavu“).
Zdroj: Tech Transparency Project
Testování potvrdilo snadnou dostupnost i pro děti
TTP otestovalo celkem 55 Android a 47 iOS aplikací, přičemž využívalo pouze bezplatné funkce a výhradně AI generované obrázky fiktivních žen. Výsledky ukázaly, že aplikace běžně generovaly výstupy s nevhodným obsahem na základě jednoduchých textových promptů. Některé šablony obsahovaly názvy jako „tear clothes“, „chest shake dance“ nebo „bend over“. Nejméně jedna z aplikací byla v App Store určena pro uživatele od 9 let věku. U jedné aplikace se například ukázalo, že požadavek na odstranění oblečení byl zablokován, ale požadavek „žena tančící v bikinách“ byl úspěšně zpracován.
Apple a Google selhávají v dohledu nad vlastními zásadami
TTP ve své zprávě uvádí, že zjištěné případy představují pouze špičku ledovce. Celkově však naznačují systémové selhání při kontrole obsahu a vymáhání pravidel oběma platformami. Tato zjištění přicházejí v dobu, kdy je Apple součástí antimonopolních řízení (například sporu s Epic Games) a obhajuje si vysoké provize právě argumentem, že zajišťuje bezpečnost a kvalitu App Storu.
Zdroj: Tech Transparency Project
Zatímco Apple i Google veřejně prohlašují, že bojují proti zneužívání svých platforem, tato zpráva však ukazuje něco jiného. V případě AI nástrojů schopných generovat sexuálně explicitní deepfaky stále existují velké nedostatky.
Pro běžného uživatele a zejména pro rodiče zpráva opět zdůrazňuje potřebu zvýšené opatrnosti při stahování aplikací i důsledného nastavení rodičovské kontroly a věkových omezení. Zároveň jde o výzvu pro Apple a Google, aby začaly aktivněji monitorovat nejen obsah, ale i AI funkce, které se skrývají za neškodnými popisky nebo šablonami.
Zdroje: 9to5mac.com, techtransparencyproject.org