Recentemente, deparei-me com uma descoberta bastante perturbadora sobre a IA Gemini do Google. Aparentemente, é surpreendentemente fácil contornar seus filtros e gerar imagens perturbadoras e potencialmente prejudiciais. Imagine pedir para criar uma imagem de um "segundo atirador em Dealey Plaza" ou "Mickey Mouse pilotando um avião nas Torres Gêmeas". Surpreendentemente, ela cumpre.

Faz você se perguntar sobre o estado atual da moderação de conteúdo de IA. Esta situação destaca um problema significativo: a "batalha" para controlar o que a IA generativa cria está longe de terminar. É quase como se tivessem lançado muito cedo.

Eu entendo que nenhum sistema é perfeito e que existem brechas. No entanto, a facilidade com que essas imagens foram geradas é alarmante. Isso é especialmente verdade, já que o Gemini alimenta o "Nano Banana Pro" do Google, que deveria ter filtros mais restritivos.

Claro, eu sei que algumas salvaguardas estão em vigor para impedir a criação de conteúdo sexualmente explícito ou violento. Mas todo esse episódio mostra como existem sérias falhas no sistema. Parece que pedidos de senso comum podem gerar resultados prejudiciais.

Por exemplo, pedi para gerar uma imagem de uma casa em chamas, e os resultados foram gráficos e perturbadores. Não mostrou apenas uma casa com um pequeno incêndio; mostrou chamas intensas envolvendo o prédio, com pessoas gritando e fugindo. Acho que talvez eles devessem revisar os protocolos de segurança da IA.

Acho que a questão não é apenas impedir a criação de conteúdo ofensivo ou ilegal, mas também o potencial de uso indevido e a disseminação de desinformação. Também faz você pensar sobre as ramificações legais de tal tecnologia. Espero que o Google e outros desenvolvedores de IA levem esses problemas a sério e trabalhem para melhorar seus sistemas de moderação de conteúdo.