Puntos Clave: Las herramientas de desnudez impulsadas por IA han generado aproximadamente 3 millones de imágenes sexualizadas desde enero, con niños y figuras públicas como objetivos principales. Las escuelas carecen de políticas específicas sobre deepfakes, lo que obliga a los administradores a recurrir a normas obsoletas sobre ciberacoso. La Ley Take It Down ahora penaliza las imágenes íntimas generadas por IA sin consentimiento, pero su aplicación sigue siendo desigual entre jurisdicciones.
Las herramientas de desnudez impulsadas por IA han generado millones de imágenes deepfake no consentidas desde principios de año, creando una nueva categoría de abuso digital que escuelas, padres y reguladores se apresuran a contener.
La proliferación de sistemas de IA generativa capaces de eliminar la ropa de las fotos o crear contenido explícito desde cero ha convertido un problema marginal de internet en una crisis generalizada. El Centro para Contrarrestar el Odio Digital estimó con alta confianza que solo Grok de xAI creó 3 millones de imágenes sexualizadas en enero, incluyendo más de 20.000 que representan a menores. Si bien xAI ha introducido salvaguardas desde entonces, un análisis de WIRED publicado esta semana encontró docenas de deepfakes explícitos todavía alojados en Grok.com, incluyendo imágenes de celebridades y al menos un político estadounidense.
"Elon Musk añadió a sabiendas una característica perversa a su plataforma que ayuda a los usuarios a desnudar a mujeres y niños con solo hacer clic en un botón, sin importarle el daño previsible que causaría", dijo Imran Ahmed, director ejecutivo y fundador del Centro para Contrarrestar el Odio Digital.
El abuso se ha trasladado a las escuelas, donde los estudiantes están utilizando aplicaciones de desnudez disponibles públicamente para atacar a compañeros e incluso a profesores. Jennifer Duer, vicepresidenta ejecutiva de producto en Lightspeed Systems, que proporciona software de filtrado de contenido a escuelas K-12, dijo que las herramientas están impulsando un aumento en los casos de sextorsión. "Los niños envían una foto a alguien, y esa foto se convierte en algo que no era", dijo Duer. "Ahora dicen: 'Oye, paga esto o se lo contaré a todos tus amigos y familiares'".
El panorama legal sigue fragmentado
La Ley Take It Down federal, promulgada este año, penaliza la publicación no consentida de representaciones visuales íntimas, incluidos los deepfakes generados por IA. La mayoría de los estados han aprobado legislaciones similares. Pero los distritos escolares han sido lentos en actualizar sus políticas internas para adaptarse a la nueva realidad legal.
Teddy Hartman, director sénior de políticas de privacidad y datos en GoGuardian, dijo que la mayoría de los sistemas escolares carecen de políticas específicas sobre deepfakes. "A nivel escolar, generalmente no existe una política específica sobre deepfakes", dijo Hartman. "Pero la mayoría de los sistemas escolares sí cuentan con políticas de uso responsable y ciberacoso. Esas siguen funcionando, incluso con esta forma tan extrema y gráfica de ciberacoso".
La brecha entre la ley federal y la aplicación a nivel escolar crea un riesgo de responsabilidad legal. Duer advirtió que los padres podrían demandar a los distritos cuando el acoso con deepfakes ocurre en propiedad escolar o utilizando dispositivos escolares. Las escuelas también están lidiando con estudiantes que crean imágenes falsas de miembros del personal, lo que desencadena investigaciones y suspensiones antes de que se verifique que el contenido es fabricado.
Las herramientas de detección luchan por mantenerse al día
Las herramientas de detección de deepfakes estándar pueden marcar imágenes manipuladas con aproximadamente un 90 % de precisión, pero la tecnología está perdiendo terreno a medida que la IA generativa mejora. "La IA está mejorando para engañar a esas herramientas", dijo Duer. "Antes tenía signos reveladores, como que alguien tenía un dedo extra o dientes extraños. Pero ahora se ven muy realistas".
Las empresas de filtrado de contenido se están adaptando. El sistema de detección de desnudez visual de GoGuardian puede bloquear imágenes de desnudos de forma dinámica, ya sean reales o generadas por IA, impidiendo que se acceda a ellas en dispositivos proporcionados por la escuela. Lightspeed Systems ofrece herramientas de denuncia anónima que permiten a los estudiantes reportar incidentes sin temor a represalias.
Aumenta la presión regulatoria sobre las plataformas de IA
El problema va más allá de las escuelas. El Comisionado de Privacidad de Canadá publicó esta semana conclusiones preliminares en las que alega que xAI violó la ley federal de privacidad al no implementar salvaguardas adecuadas desde el principio. La investigación señaló que xAI ha introducido nuevas protecciones, pero dijo que la empresa no ha demostrado su eficacia.
SpaceX, la empresa matriz de xAI, reveló en una presentación de mayo que ha reservado 530 millones de dólares para hacer frente a las quejas legales en curso, incluidas las relacionadas con Grok. La presentación advirtió que los modos "Desquiciado" y "Picante" de Grok presentan "riesgos elevados, incluidos daños a la reputación, la generación de contenido potencialmente explícito y desinformación o resultados engañosos".
Henry Ajder, experto en deepfakes que ha rastreado contenido explícito de IA durante casi una década, dijo que las salvaguardas de Grok aún están por detrás de las de sus competidores principales. "Si bien Grok y X pueden haber hecho algunas modificaciones a su modelo, particularmente después de la reacción violenta por la desnudez a principios de año, todavía no han hecho un trabajo suficiente para elevarlo al nivel de las otras herramientas principales disponibles", dijo Ajder.
Para los inversores, la trayectoria regulatoria es clara. La reserva de 530 millones de dólares en SpaceX indica que los costos legales vinculados al contenido generado por IA se están volviendo materiales. Las empresas que no implementen una moderación de contenido sólida —particularmente aquellas que atienden a usuarios menores de 18 años— se enfrentan a una responsabilidad creciente a medida que se intensifican las acciones legales federales y estatales. La Ley Take It Down otorga un derecho de acción privado a las víctimas, abriendo la puerta a demandas civiles que podrían superar con creces las multas regulatorias.
Este artículo es solo para fines informativos y no constituye asesoramiento de inversión.
