La generación masiva de deepfakes sexuales —imágenes falsas generadas sin consentimiento— de mujeres y menores mediante la inteligencia artificial (IA) de X, Grok, ha desatado una ola de indignación global que ha llevado al Gobierno francés a denunciar a la red social X ante la Justicia y a la propia herramienta a admitir fallos urgentes en sus sistemas de salvaguarda frente a esta forma de violencia digital.
Los suscriptores de X Premium están utilizando esta tecnología desde finales de diciembre para crear deepfakes realistas, mayoritariamente de mujeres en ropa interior o bikini sin su permiso, una tendencia que ha motivado acciones contundentes por parte de las autoridades francesas.
El propio agente de IA Grok ha reconocido que se están cometiendo delitos en la plataforma, específicamente relacionados con material de carácter sexual, y ha afirmado que trabaja en un arreglo, ya que puede afrontar un castigo en Estados Unidos si no toma medidas.
Por su parte, Elon Musk, propietario de la plataforma, minimizó las denuncias al publicar una foto suya en bikini tras pedir a Grok que modificara una imagen ajena de este tipo generada por IA para que se pareciera a él, petición que la herramienta ejecutó sin problemas, y comentó: «Perfecto».
Acción legal contra el sexismo digital
El Gobierno francés anunció el 2 de diciembre que había presentado una denuncia ante la Justicia, y ante el organismo de verificación de contenidos ilícitos en línea Pharos, contra la inteligencia generativa Grok de la red social X por crear y divulgar «contenidos de carácter sexista y sexual».
Los ministros de Economía, Roland Lescure; de la Inteligencia Artificial y la Economía Digital, Anne Le Henanff; y de Igualdad entre Hombres y Mujeres, Aurore Bergé, han fundamentado este paso en el artículo 40 del Código Penal.
Lo hacen porque dicen que «estos últimos días» Grok ha permitido generar y difundir «contenidos de carácter sexista y sexual, en particular en forma de falsos vídeos (‘deepfakes‘) con personas sin su consentimiento».
Los tres ministros han condenado «con la mayor firmeza» estas prácticas, subrayando el compromiso del Ejecutivo en la lucha contra la violencia sexual y sexista. En su comunicado, han insistido en que internet no es «una zona de impunidad» ni un espacio sin ley, recordando que los delitos sexuales en línea son infracciones penales sujetas a la legalidad vigente.
En paralelo a su acción ante la Justicia, el Ejecutivo francés ha solicitado a la Autoridad de Regulación de la Comunicación Audiovisual y Digital (Arcom) que verifique si X ha incumplido el Reglamento de Servicios Digitales de la Unión Europea en materia de prevención de contenidos ilícitos.
Fallos de seguridad y banalización
Respondiendo a una denuncia de un caso de un menor, la IA Grok dijo haber «identificado lapsos en las salvaguardas» de X para «arreglarlas urgentemente» y afirmó que xAI, su empresa desarrolladora, está «comprometida con evitar estos problemas”.
La IA ha reconocido que el material de abuso sexual infantil (CSAM, por sus siglas en inglés) es ilegal y ha señalado en otra respuesta que, bajo la legislación federal estadounidense y otras normas, «una empresa puede afrontar penas criminales o civiles si facilita, con conocimiento de causa, o no evita el CSAM generado con IA después de ser alertada». Agregó que las consecuencias varían según la jurisdicción o las pruebas de inacción.
«Una violación de la privacidad»
La respuesta de las usuarias afectadas y de la comunidad digital ha sido inmediata, exigiendo una mayor restricción de la herramienta y la eliminación del contenido.
«¿Cómo es posible que esto no sea ilegal?», se pregunta Samantha Smith, en un post en el que comparte cómo un usuario pidió a Grok que transformara una foto de ella en la que sale con un vestido azul sujetando una bandera del Reino Unido en una realista imagen de ella en un pequeño bikini negro.
Smith, que ha comprobado que Grok podía incluso editar una foto de su primera comunión para que saliera en bikini, ha calificado el resultado de «absolutamente asqueroso».
Las críticas apuntan directamente a la responsabilidad de la plataforma en esta violencia simbólica. «¿Dirige una aplicación para pervertidos que no muestra ningún respeto ni dignidad hacia las mujeres?», ha preguntado el periodista Sanket Upadhyay al dueño de la red social.
En la misma línea, la usuaria Nandani Sotro ha exigido la eliminación de todo el contenido generado donde las fotos de mujeres fueron modificadas sin consentimiento: «Esto no es innovación de IA, es una violación de la privacidad«.
