A Apple removeu o Kromix e o MaskAI da App Store após receber questionamentos e pedidos de posicionamento da reportagem da WIRED. Os dois aplicativos eram promovidos por anúncios da Meta e ofereciam recursos para criar imagens sexuais não consensuais com IA. No caso do Kromix, a ferramenta prometia "desnudar" mulheres e tinha como alvo figuras políticas dos Estados Unidos.
O Kromix se apresentava como um "estilizador de imagens por IA", mas era divulgado por meio de 32 anúncios direcionados exclusivamente ao público masculino. Em um dos vídeos, uma mulher semelhante a uma política americana aparece diante de uma bandeira presidencial e pisca para a câmera. Na sequência, o vídeo corta para uma cena pornográfica com o mesmo rosto.
Os usuários pagos podiam enviar fotos para gerar imagens explícitas. Entre os comandos aceitos estavam termos associados a violência sexual e outros conteúdos criminosos.
A Meta reconheceu uma falha em seus sistemas automatizados, que não identificaram os anúncios antes da publicação. As diretrizes da empresa proíbem a promoção de serviços de "nudificação", mas anunciantes têm usado estratégias para driblar os mecanismos de moderação. Uma delas consiste em usar imagens de capa aparentemente inofensivas, como paisagens, para esconder o conteúdo sexual exibido posteriormente.
:quality(85)/79ac7b66-1837-4ca2-972b-8f2025fce987.jpeg "Editar informações da imagem")
Embora a campanha do Kromix tenha sido grave, o alcance dos anúncios foi limitado. De acordo com a biblioteca de anúncios da Meta, a maioria dos 32 anúncios ficou no ar por períodos curtos, entre 5 e 46 horas, e teve 10 ou menos impressões antes de ser removida após a denúncia da reportagem.
Segundo a Meta, mais de 340 mil anúncios de aplicativos de nudificação foram removidos no fim do ano passado. A empresa também adotou medidas legais contra desenvolvedores desse tipo de ferramenta, segundo Cindy Southworth, chefe de segurança das mulheres na Meta. A companhia ainda compartilha dados de contas e desenvolvedores banidos com outras empresas de tecnologia para ajudar a criar uma barreira conjunta contra esse tipo de serviço.
Katie Paul, diretora do Tech Transparency Project (TTP), ouvida pela reportagem da WIRED, criticou a dependência cada vez maior da empresa em sistemas automatizados para monitorar anúncios, enquanto reduz o número de moderadores humanos. Para ela, a Meta trata os anúncios como seu principal produto, mas não demonstra o mesmo cuidado com o controle de qualidade.
Os problemas de moderação também envolvem outros tipos de conteúdo produzido por IA. Uma investigação recente do Tech Transparency Project identificou mais de 50 anúncios nas plataformas da Meta que continham material de abuso sexual infantil gerado por inteligência artificial. Alguns deles chegaram a milhares de usuários em diferentes países.
:quality(85)/75f29f26-6903-46ff-b696-d99cd779f174.jpg "Editar informações da imagem")
Pressão jurídica aumenta sobre Apple e Meta
A remoção dos aplicativos acontece em meio ao aumento da pressão jurídica e governamental sobre as grandes empresas de tecnologia. No início deste verão, o procurador da cidade de San Francisco enviou uma carta de "cessar e desistir" à Apple, exigindo a retirada de 13 aplicativos. O documento acusava a empresa de "auxiliar e ser cúmplice" na venda de imagens explícitas geradas por IA.
A Apple, por sua vez, afirma que alguns desenvolvedores adicionam recursos proibidos aos aplicativos somente depois que eles passam pelo processo inicial de análise da App Store.
O problema dos deepfakes sexuais não consensuais afeta principalmente mulheres, incluindo pessoas que ocupam cargos públicos. Benjamin Shultz, pesquisador-chefe do American Sunlight Project, em entrevista à WIRED, apontou que fotos oficiais e vídeos de entrevistas e coletivas de imprensa, antes vistos como materiais comuns, passaram a servir como matéria-prima para ferramentas capazes de criar esse tipo de conteúdo.
Casos semelhantes foram registrados em janeiro, envolvendo autoridades na Suécia, na Inglaterra e na Irlanda do Norte. Cindy Southworth, chefe de segurança feminina da Meta, classificou o setor como um ambiente "altamente adversário", no qual operadores mal-intencionados mudam constantemente suas estratégias para contornar os sistemas de proteção.
Se você gostou do conteúdo, talvez também se interesse por conferir 8 sinais para identificar um deepfake quando até as ferramentas falham.
{{WHATSAPP_CHANNEL}}