Un reportaje del Centro Pulitzer destapó una falla en los filtros de moderación de contenido de Meta que permitió que circularan imágenes de abuso infantil generadas con inteligencia artificial (IA) en Instagram.
Los investigadores descubrieron que, al menos una docena de perfiles, compartían abiertamente imágenes de niños, niñas y adolescentes sexualizados, generadas con IA. Además, estas cuentas tenían cientos de miles de seguidores.
En total encontraron 14 perfiles, y todos tenían un curioso patrón, “personajes rubios de cuerpos voluptuosos y pechos generosos, ojos azules y rostros infantiles. Estas figuras se representaban en diversos contextos sexualizados: en bikini, lencería o vestidos escotados”.
“No se trataba de modelos adultas, sino de representaciones de adolescentes e incluso niños“, concluye el reportaje.
La investigación no pudo confirmar si es que esta serie de perfiles pertenecía a una misma red o si es que las imágenes hechas con IA estaban basadas en personas reales.
Instagram no fue la única plataforma que dejó pasar este contenido, en algunos de estos perfiles los seguidores fueron redirigidos a Patreon y Fanvue, plataformas de suscripción donde se suele pagar para acceder a contenido de mayor calidad.
Además, en dos de las cuentas los usuarios también fueron redirigidos a grupos de WhatsApp o Telegram, donde se compartían consejos sobre cómo crear imágenes ilícitas con IA y material real de abuso infantil.
Tras ser contactada por los investigadores, Meta no respondió a consultas sobre el funcionamiento de sus sistemas de moderación de contenido, pero sí entregó una declaración.
La compañía de Mark Zuckerberg eliminó las cuentas que fueron informadas por los investigadores y manifestó que “tenemos normas estrictas contra la sexualización infantil, tanto real como generada por IA“.
Estas normas incluso aplican para contenido inofensivo relacionado con la apariencia de menores de edad. “Al igual que en el caso de la sexualización explícita, también eliminamos las cuentas de Instagram dedicadas a compartir imágenes inofensivas de niños, tanto reales como generadas por IA, acompañadas de descripciones o comentarios sobre su apariencia“.
Respecto a los grupos de WhatsApp, señalaron que “también tiene tolerancia cero ante la explotación y el abuso sexual infantil, y expulsamos a los usuarios cuando detectamos que comparten contenido que explota o pone en peligro a menores”.
Si bien los mensajes de WhatsApp son cifrados de extremo a extremo, “dispone de información sin cifrar, incluyendo denuncias de usuarios, para detectar y prevenir este tipo de abuso“.
Los investigadores creen que esto se debe a “lagunas técnicas” en los sistemas de Meta. Recordemos que, recientemente, Mark Zuckerberg hizo un cambio en esta área y suavizó sus políticas de moderación de contenido, alegando que había mucha censura, especialmente en discursos políticos.
Las políticas de Meta en estricto rigor prohíben el contenido que “sexualice a los niños”, sea con IA o real, pero lo monitorean usando sistemas automatizados.