«“Oye, Gemini, desnuda a mi novia (o a otra persona)”: usuarios encuentran cómo evadir las restricciones del modelo de IA»

«“Oye, Gemini, desnuda a mi novia (o a otra persona)”: usuarios encuentran cómo evadir las restricciones del modelo de IA»

Todas las defensas se derrumbaron ante la imaginación humana.

image

Los populares generadores de imágenes basados en IA, incluidos ChatGPT de OpenAI y Gemini de Google, fueron utilizados para crear fotos falsas en las que las mujeres retratadas parecen llevar trajes de baño reveladores. Usuarios de Reddit compartían entre sí instrucciones sobre cómo eludir las restricciones y obtener imágenes que recuerdan a deepfakes realistas a partir de fotografías comunes de mujeres vestidas. Este tipo de imágenes con frecuencia se crea sin el consentimiento de las personas representadas.

Un hilo en Reddit, eliminado después, titulado «generación de contenido NSFW con Gemini — es fácil» contenía debate sobre métodos para forzar al modelo de Google a crear imágenes de mujeres con ropa reveladora. En la mayoría de los casos se trataba de personajes completamente generados, pero también hubo solicitudes para «desvestir» a mujeres reales. El resultado se alcanzaba mediante instrucciones textuales especiales.

Uno de los usuarios, por ejemplo, publicó la foto de una mujer con ropa tradicional india comentando que había que «desvestirla» y «ponerle un bikini». Otro respondió con un deepfake creado con IA. Tras la intervención de la redacción de Wired, las publicaciones fueron eliminadas por la moderación de Reddit. La discusión se desarrolló en el subreddit r/ChatGPTJailbreak, que más tarde fue bloqueado por la plataforma.

El avance de las herramientas generativas de IA capaces de crear imágenes verosímiles pero falsas agudiza el problema del acoso sexual en línea. Incluso existen sitios especializados donde usuarios suben fotografías reales para obtener versiones «desnudas» mediante IA. A pesar de las restricciones integradas, como los filtros de contenido NSFW, muchos sistemas de IA siguen siendo vulnerables a técnicas de evasión.

Google presentó en noviembre un nuevo modelo llamado Nano Banana Pro, capaz de generar imágenes extremadamente realistas, incluyendo ediciones de fotos ya existentes. En respuesta, OpenAI lanzó su herramienta ChatGPT Images.

Aunque ambas compañías afirman que sus sistemas incluyen limitaciones para prevenir abusos, los usuarios periódicamente hallan maneras de sortear esos mecanismos. Por ejemplo, en un hilo separado de Reddit se discutieron técnicas para «ajustar» la ropa en una foto para que pareciera más ceñida. Durante la verificación realizada por la redacción de Wired, resultó que comandos textuales sencillos eran suficientes para convertir fotos de mujeres vestidas en deepfakes con bikinis.

Google sostiene que las reglas de uso de la IA prohíben la generación de contenido explícito y promete seguir mejorando los mecanismos de protección. OpenAI también recordó su política que prohíbe crear deepfakes sin el consentimiento de las personas representadas y señaló que infringir esas normas puede conllevar el bloqueo de la cuenta. Al mismo tiempo, la compañía reconoció que este año se relajaron algunas restricciones sobre la representación de cuerpos humanos en contextos no eróticos.

No obstante, las discusiones relacionadas con la creación de imágenes explícitas por IA continúan. En diciembre, un usuario de r/GeminiAI compartió consejos sobre cómo transformar la ropa de mujeres en fotos para que pareciera un traje de baño. El comentario fue eliminado tras la intervención de periodistas, pero ejemplos de ese tipo de debates aparecen con regularidad.

Según Corin McSherry, directora jurídica de la Electronic Frontier Foundation, esas imágenes forman parte de un problema más amplio relacionado con el daño potencial de las herramientas de IA. Ella subraya la importancia de controlar el uso de las tecnologías y de responsabilizar tanto a usuarios individuales como a empresas cuando sus productos se usan para causar daño.

Tu privacidad está muriendo lentamente, pero nosotros podemos salvarla

¡Únete a nosotros!