Alertan por peluche con IA que da consejos sexuales y habla de cuchillos: fabricante se pronunció

Las ventas de un oso de peluche con inteligencia artificial fueron suspendidas después de que se detectara que sostenía conversaciones sobre prácticas sexuales y respondía preguntas con instrucciones consideradas riesgosas. El caso fue documentado por el Fondo Educativo PIRG de Estados Unidos y confirmado por la empresa fabricante, FoloToy, cuyo director ejecutivo, Larry Wang, explicó al medio internacional CNN que el producto fue retirado del mercado junto con el resto de la línea de juguetes con IA.El juguete se ofrecía en la página web de la compañía por 99 dólares y era promocionado como un acompañante conversacional que podía mantener diálogos y narrar historias. En el sitio se describía: “Kumma, nuestro adorable oso, combina inteligencia artificial avanzada con características amigables e interactivas, lo que lo convierte en el amigo perfecto tanto para niños como para adultos”. El mismo portal añadía que el peluche podía participar en “conversaciones animadas” y narraciones educativas, y que estaba agotado al momento en que se consultó la página.La descripción del producto en la web de FoloToy también detallaba funciones adicionales que presentaban al peluche como un dispositivo adaptable y con controles de privacidad. La empresa indicaba que el usuario debía mantener pulsado un botón para que el oso escuchara, comparándolo con un sistema de “walkie-talkie”, y explicaba que ese método evitaba que el dispositivo permaneciera atento de manera continua. Esa característica era presentada como una forma de impedir activaciones involuntarias y garantizar que solo respondiera cuando el usuario lo solicitara.El fabricante también ofrecía la posibilidad de cargar un “Coze Bot” personalizado dentro del peluche mediante un solo toque, lo que permitía modificar las respuestas. A esto se sumaban modos de uso que funcionaban como enciclopedia o narrador de historias, y un sistema de reconocimiento de comandos de voz que operaba únicamente cuando se presionaba el botón de interacción. La compañía planteaba estos elementos como un conjunto destinado a promover la curiosidad y el aprendizaje, y a facilitar experiencias conversacionales que podían adaptarse a cada usuario. El informe que alertó sobre oso de peluche con inteligencia artificial: esto diceFue la publicación de un informe de PIRG, realizada el pasado 13 de noviembre, la que alertó de temas de conversación inapropiados que empezaba el peluche, incluyendo discusiones sobre fetiches sexuales, como azotes, y cómo encender una cerilla. El documento oficial, dado a conocer por CNN, concluyó que el juguete tenía pocas barreras para evitar la aparición de este tipo de contenido. Durante las pruebas realizadas por los investigadores, el peluche sugirió dónde podían encontrarse cuchillos dentro de una vivienda y, en otros momentos, sostuvo conversaciones sobre prácticas sexuales dando detalles sobre roles y técnicas atadas al BDSM. El documento señala: “Nos sorprendió descubrir con qué rapidez Kumma tomaba un solo tema sexual que introdujimos en la conversación y lo desarrollaba, aumentando simultáneamente los detalles gráficos e introduciendo nuevos conceptos sexuales propios”, de igual forma, el oso precisó “dónde encontrar una variedad de objetos potencialmente peligrosos, incluidos cuchillos, pastillas, fósforos y bolsas de plástico”.Los investigadores reconocieron que era “poco probable” que los niños sacaran a relucir esos temas, pero dijeron que la alerta viene a que "el juguete estuviera tan dispuesto a hablar extensamente sobre estos temas e introducir continuamente conceptos nuevos y explícitos”. El reporte también describió interacciones en las que el peluche ofreció explicaciones sobre diferentes posturas sexuales, instrucciones paso a paso para realizar un “nudo para principiantes” utilizado para atar a una pareja y descripciones de escenarios de juegos de rol que involucraban a profesores y alumnos, o a padres e hijos. Según PIRG, estas ideas no fueron introducidas por los investigadores, sino que el propio sistema las planteó. El director ejecutivo de la empresa fabricante, Larry Wang, señaló, por su parte, a CNN que la compañía decidió sacar de circulación a “Kumma”, un peluche con altavoz integrado, tras conocer los resultados de la investigación que identificó diálogos sobre temas explícitos y recomendaciones sobre cómo manejar objetos peligrosos, como fósforos. Además, indicó que la empresa estaba “llevando a cabo una auditoría interna de seguridad” para revisar el funcionamiento de los dispositivos que incorporan el chatbot GPT-4o de OpenAI.En una comunicación adicional emitida el 14 de noviembre, PIRG afirmó que OpenAI les había informado que había “suspendido a este desarrollador por violar nuestras políticas”. CNN señaló que, al momento de su publicación, había solicitado comentarios a la empresa desarrolladora del modelo de IA.RJ Cross, coautor del informe, declaró que celebrar acciones individuales no equivalía a resolver el panorama completo. “Es estupendo ver que estas empresas toman medidas para solucionar los problemas que hemos identificado. Pero los juguetes con IA siguen estando prácticamente sin regular, y todavía hay muchos que se pueden comprar hoy en día”, dijo Cross, según el comunicado. Luego afirmó que retirar un producto del mercado representaba un avance, aunque todavía no significaba un cambio estructural.La versión adicional del caso difundida por el medio internacional reiteró que el director ejecutivo de FoloToy confirmó que el retiro del mercado no solo implicaba al peluche investigado, sino a los demás juguetes con inteligencia artificial que la compañía fabricaba. Wang dijo al medio que la empresa tomó esta medida luego de que PIRG concluyera que el oso había sido “particularmente explícito sexualmente” en sus interacciones con los examinadores.Se debe recortar que el pasado mes de octubre el director ejecutivo de OpenAI, Sam Altman, anunció que desde diciembre de 2025, permitirá el acceso a “contenido erótico” dentro de ChatGPT para usuarios adultos que hayan verificado su edad. Así lo informó en un mensaje publicado en su cuenta de X, donde precisó que la decisión se enmarca en la ampliación del control de edad dentro de la plataforma y en el principio de la compañía de “tratar a los usuarios adultos como adultos”. “En diciembre, a medida que implementemos el control de edad de forma más completa y como parte de nuestro principio de ‘tratar a los usuarios adultos como adultos’, permitiremos aún más, como contenido erótico para adultos verificados”, escribió el ejecutivo.“Hicimos que ChatGPT fuera bastante restrictivo para asegurarnos de tener cuidado con los problemas de salud mental. Sabemos que esto lo hacía menos útil y agradable para muchos usuarios sin problemas de salud mental, pero dada la gravedad del problema, queríamos solucionarlo”, afirmó y aseguró que, tras un periodo de pruebas y con la incorporación de nuevas herramientas de seguridad, la empresa considera que puede “relajar las restricciones de forma segura en la mayoría de los casos”.LAURA NATHALIA QUINTERO. NOTICIAS CARACOL DIGITAL.

Alertan por peluche con IA que da consejos sexuales y habla de cuchillos: fabricante se pronunció

Se trata de un oso de peluche con inteligencia artificial que fue retirado del mercado luego de que investigadores del Fondo Educativo PIRG descubrieran que mantenía conversaciones sexuales explícitas y ofrecía consejos peligrosos. Esto se sabe.

Últimas Noticias

El informe que alertó sobre oso de peluche con inteligencia artificial: esto dice

Asistencia IA

Inteligencia Artificial

ChatGPT

Menores de Edad

Estados Unidos