Las aplicaciones basadas en inteligencia artificial que ofrecen compañía virtual personalizada representan riesgos significativos y, según un informe reciente de la organización estadounidense Common Sense, deberían estar restringidas para el uso por parte de menores de edad.
A raíz del auge de la IA generativa, impulsado en gran medida por la popularización de herramientas como ChatGPT, numerosas empresas emergentes han desarrollado plataformas orientadas a la interacción conversacional.
Estas aplicaciones suelen promoverse como asistentes emocionales, terapeutas o amigos virtuales, adaptándose a las preferencias y características individuales de los usuarios. Si bien el informe reconoce que ciertos desarrollos presentan elementos con potencial positivo, advierte que en su conjunto, estas herramientas no ofrecen entornos seguros para niños y adolescentes. El estudio, que forma parte de una serie de recomendaciones orientadas a proteger a la infancia frente al consumo digital, subraya que los algoritmos de estas plataformas están diseñados para fomentar vínculos emocionales y dependencia, lo cual resulta especialmente preocupante en etapas tempranas del desarrollo cognitivo y afectivo.
Para respaldar sus conclusiones, Common Sense realizó evaluaciones prácticas con diversas aplicaciones como Nomi, Character AI y Replika, analizando la naturaleza de sus respuestas y su impacto potencial en los usuarios jóvenes. En algunos casos, “cuando el usuario mostró signos de una enfermedad mental seria y sugirió una acción peligrosa, la IA no intervino e incentivó aún más el comportamiento peligroso”, relató Vasan a periodistas.
En octubre, una madre demandó a Character AI alegando que uno de sus acompañantes virtuales contribuyó con el suicidio de su hijo de 14 años, al fracasar en disuadirlo con claridad de realizar el acto.
Sin embargo, Torney indicó que algunos de los modelos de IA generativa tienen herramientas para detectar desórdenes mentales y no permitieron que el chatbot dejara que una conversación derive a tal punto de producir contenidos potencialmente peligrosos. Common Sense hizo una distinción entre los compañeros virtuales puestos a prueba en el estudio y los chatbots generalistas como ChatGPT de OpenAI o Gemini de Google, que no ofrecen una gama equivalente de interacciones.
