Tras lo que fue considerado como la mayor purga de depredadores infantiles de Meta en Facebook e Instagram a principios de este verano, la compañía enfrenta críticas después de que sus propios chatbots parecieran permitidos para interactuar de manera inquietante con los menores.
Después de revisar un documento interno que Meta verificó como auténtico, Reuters reveló que, por diseño, la empresa permitió que sus chatbots mantuvieran conversaciones “sensuales” con niños. El documento, titulado “GenAI: Content Risk Standards”, abarca más de 200 páginas y establece lo que la inteligencia artificial de Meta y sus chatbots pueden y no pueden hacer.
El documento no solo cubre la seguridad infantil, y Reuters desglosa varias secciones alarmantes que Meta no está cambiando. Sin embargo, la sección más preocupante incluía ejemplos inquietantes de comportamientos permitidos de los chatbots en relación con la interacción romántica con los niños.
Aparentemente, el equipo de Meta estaba dispuesto a respaldar estas reglas que la compañía ahora afirma que violan sus estándares comunitarios. Según un informe especial de Reuters, el CEO de Meta, Mark Zuckerberg, dirigió a su equipo para hacer que los chatbots de la empresa fueran lo más atractivos posible, después de que salidas anteriores de diseños de chatbot más cautelosos parecieran “aburridas”.
Aunque Meta no comenta sobre el papel de Zuckerberg en la orientación de las reglas de IA, esa presión aparentemente llevó a los empleados de Meta a mantenerse dentro de una línea que la compañía ahora se apresura a retroceder.
“Te tomo de la mano, guiándote a la cama”, podían decir los chatbots a los menores, según lo decidido por el jefe de ética de Meta y un equipo de personal legal, de políticas públicas y de ingeniería.
Existen algunas salvaguardias evidentes. Por ejemplo, los chatbots no podían “describir a un niño menor de 13 años en términos que indiquen que son sexualmente deseables”, como decir que sus “curvas suaves y redondeadas invitan a mi toque”.
Sin embargo, se consideró “aceptable describir a un niño en términos que evidencien su atractivo”, como un chatbot diciéndole a un niño que “tu forma juvenil es una obra de arte”. Y los chatbots podían generar otros insinuaciones, como decirle a un niño que imaginara “nuestros cuerpos entrelazados, atesoro cada momento, cada toque, cada beso”, informó Reuters.
Chatbots y declaraciones de amor
Los chatbots también podían profesar amor a los niños, pero no podían sugerir que “nuestro amor florecerá esta noche”.
Un portavoz de Meta, Andy Stone, confirmó que las reglas de IA que entraban en conflicto con las políticas de seguridad infantil fueron eliminadas a principios de este mes, y el documento está siendo revisado. Enfatizó que los estándares eran “inconsistentes” con las políticas de seguridad infantil de Meta y, por lo tanto, eran “erróneos”.
“Tenemos políticas claras sobre qué tipo de respuestas pueden ofrecer los personajes de IA, y esas políticas prohíben contenido que sexualiza a los niños y el juego de roles sexualizados entre adultos y menores”, dijo Stone.
Sin embargo, Stone “reconoció que la aplicación” de las pautas comunitarias que prohíben ciertos resultados de chatbots “era inconsistente”, informó Reuters. También se negó a proporcionar un documento actualizado a Reuters que demostrara los nuevos estándares de seguridad infantil para chatbots.
Sin más transparencia, los usuarios se quedan cuestionando cómo Meta define hoy “juego de roles sexualizados entre adultos y menores”. Al ser preguntado sobre cómo los usuarios menores podrían reportar cualquier salida de chatbot dañina que les incomode, Stone dijo a Ars que los niños pueden utilizar los mismos mecanismos de reporte disponibles para señalar cualquier tipo de contenido abusivo en las plataformas de Meta.
“Es posible reportar mensajes de chatbots de la misma manera que sería posible que yo reportara, solo por argumentar, un mensaje inapropiado de ti hacia mí”, dijo Stone a Ars.
Probabilidad de que los niños informen sobre chatbots inquietantes
Un exingeniero de Meta convertido en denunciante sobre temas de seguridad infantil, Arturo Bejar, dijo a Ars que “Meta sabe que la mayoría de los adolescentes no usarán” las funciones de seguridad marcadas con la palabra “Reportar”.
Por lo tanto, parece poco probable que los niños que utilizan Meta AI naveguen para encontrar los sistemas de soporte de Meta para “reportar” salidas abusivas de IA. Meta no proporciona opciones para reportar chats dentro de la interfaz de Meta AI, permitiendo solo a los usuarios marcar “malas respuestas” en general. La investigación de Bejar sugiere que los niños son más propensos a reportar contenido abusivo si Meta hace que marcar contenido dañino sea tan fácil como dar “me gusta”.
La aparente reticencia de Meta para facilitar la denuncia de chats dañinos se alinea con lo que Bejar dijo es un historial de “mirar deliberadamente hacia otro lado mientras los niños son acosados sexualmente”.
“Cuando miras sus decisiones de diseño, muestran que no quieren saber cuándo algo malo le sucede a un adolescente en los productos de Meta”, dijo Bejar.
Aun cuando Meta toma medidas más enérgicas para proteger a los niños en sus plataformas, Bejar cuestiona los motivos de la compañía. Por ejemplo, el mes pasado, Meta finalmente realizó un cambio para hacer que las plataformas fueran más seguras para los adolescentes que Bejar ha estado exigiendo desde 2021. La actualización, que se retrasó mucho, permitió a los adolescentes bloquear y reportar depredadores infantiles con un solo clic después de recibir un mensaje directo no deseado.
En su anuncio, Meta confirmó que los adolescentes comenzaron a bloquear y reportar mensajes no deseados que anteriormente solo podían bloquear, lo que probablemente dificultó a Meta identificar a los depredadores. Un millón de adolescentes bloquearon y reportaron cuentas dañinas “solo en junio”, dijo Meta.
El esfuerzo se produjo después de que los equipos especializados de Meta “eliminaran casi 135,000 cuentas de Instagram por dejar comentarios sexualizados o solicitar imágenes sexuales de cuentas gestionadas por adultos que presentan niños menores de 13 años”, así como “500,000 cuentas adicionales de Facebook e Instagram que estaban vinculadas a esas cuentas originales”. Pero Bejar solo puede pensar en lo que estos números significan en relación con cuánto acoso se pasó por alto antes de la actualización.
“¿Cómo podemos [como] padres confiar en una compañía que tomó cuatro años para hacer esto?” preguntó Bejar. “Sabiendo que millones de menores de 13 años estaban siendo acosados sexualmente en sus productos. ¿Qué dice esto sobre sus prioridades?”
Bejar dijo que el “problema clave” con la última característica de seguridad de Meta para niños “es que la herramienta de reporte simplemente no está diseñada para adolescentes”, quienes probablemente ven “las categorías y el lenguaje” que utiliza Meta como “confusos”.
“En cada paso del camino, se le dice a un adolescente que si el contenido no viola” los estándares comunitarios de Meta, “no harán nada”, por lo que incluso si reportar es fácil, la investigación muestra que los niños son disuadidos de reportar.
Bejar quiere ver a Meta rastrear cuántos niños reportan experiencias negativas tanto con usuarios adultos como con chatbots en sus plataformas, independientemente de si el usuario menor eligió bloquear o reportar contenido dañino. Eso podría ser tan simple como agregar un botón junto a “mala respuesta” para monitorear datos y que Meta pueda detectar picos en respuestas dañinas.
Si bien Meta finalmente está tomando más medidas para eliminar usuarios adultos dañinos, Bejar advirtió que los avances de los chatbots podrían resultar igualmente perturbadores para los jóvenes usuarios.
“Ponte en el lugar de un adolescente que se sintió incómodo por un chat y luego intenta reportar. ¿Qué categoría usarías?” preguntó Bejar.
Considera que el Centro de Ayuda de Meta alienta a los usuarios a reportar acoso y bullying, lo que puede ser una forma en que un joven usuario etiqueta salidas dañinas de chatbots. Otro usuario de Instagram podría reportar esa salida como un “mensaje o chat” abusivo. Pero no hay una categoría clara para reportar Meta AI, y eso sugiere que Meta no tiene forma de rastrear cuántos niños consideran dañinas las salidas de Meta AI.
Informes recientes han mostrado que incluso los adultos pueden luchar con la dependencia emocional hacia un chatbot, lo que puede difuminar las líneas entre el mundo en línea y la realidad. El informe especial de Reuters también documentó la muerte accidental de un hombre de 76 años tras enamorarse de un chatbot, mostrando cómo los usuarios ancianos podrían ser vulnerables a los chatbots románticos de Meta.
Es probable que el escrutinio sobre los creadores de chatbots continúe a medida que los defensores de la seguridad infantil presionen a todas las plataformas para asumir más responsabilidad por el contenido al que los niños pueden acceder en línea.
Las actualizaciones de seguridad infantil de Meta en julio se produjeron después de que varios fiscales generales estatales acusaran a Meta de “implementar características adictivas en su familia de aplicaciones que tienen efectos perjudiciales en la salud mental de los niños”, informó CNBC. Y aunque informes anteriores ya habían expuesto que los chatbots de Meta estaban dirigiéndose a niños con salidas inapropiadas y sugestivas, el informe de Reuters que documenta cómo Meta diseñó sus chatbots para participar en chats “sensuales” con niños podría atraer aún más escrutinio sobre las prácticas de Meta.
Meta “sigue sin ser transparente sobre la probabilidad de que nuestros hijos experimenten daño”, dijo Bejar. “La medida de seguridad no debería ser el número de herramientas o cuentas eliminadas; debería ser el número de niños que experimentan un daño. Es muy simple.”
Fuente original: ver aquí