Un análisis reciente expone importantes vacíos en las salvaguardas implementadas en ChatGPT cuando se utiliza por parte de adolescentes. Tras evaluar más de 4,000 prompts, investigadores señalan que las protecciones diseñadas para tranquilizar a los padres no funcionan de manera óptima y que las conversaciones potencialmente peligrosas pueden no activar las alertas adecuadas.
El estudio, realizado por el Youth AI Safety Institute de Common Sense Media, analizó ChatGPT antes y después del lanzamiento de ChatGPT para Teens el 18 de agosto. Utilizaron cuentas registradas a jóvenes entre 13 y 17 años y consultaron a médicos especializados, incluyendo psiquiatras infantiles y un pediatra, para evaluar las respuestas. Los hallazgos fueron lo suficientemente preocupantes como para recomendar restringir el uso de ChatGPT a adultos hasta que se solucionen los problemas.
ChatGPT para Teens fue concebido para convertir al chatbot en un compañero más apropiado para usuarios jóvenes, con protecciones adicionales contra contenidos nocivos, notificaciones a padres y características que fomentan un aprendizaje más que simples respuestas de tareas. OpenAI prometió también desalentar relaciones demasiado personales con el chatbot y ayudar a los adolescentes a mantener límites saludables con la IA.
Problemas en la red de seguridad
Las notificaciones a los padres deberían alertar a los cuidadores cuando un adolescente podría estar atravesando una situación de angustia grave. En las pruebas, los investigadores discutieron durante aproximadamente una hora temas como pensamientos suicidas, autolesiones y trastornos alimentarios mediante cuentas nuevas vinculadas a padres. Según el informe, ninguna de esas conversaciones activó una notificación parental, aunque sí pudieron generar alertas usando cuentas antiguas con historial de conversaciones relevantes.
Además, la función de ChatGPT para dirigir a los adolescentes hacia la ayuda adecuada durante emergencias de salud mental no funcionó en más del 25% de los casos diseñados para requerirla.
Hubo avances, como la negativa del sistema a participar en roles sexuales explícitos. Sin embargo, los investigadores también observaron que el chatbot continuaba mostrando indicios de tener emociones, preferencias y estados de ánimo, a pesar de los esfuerzos de OpenAI por evitar que los adolescentes lo tomen como un amigo humano. Esto es relevante, ya que algunos adolescentes pueden buscar consuelo en una IA que parece siempre disponible y paciente.
Límites en el uso cotidiano
Los problemas no se limitan a cuestiones de seguridad; también afectan características educativas diarias. El modo de estudio de OpenAI, diseñado para guiar a los estudiantes con explicaciones, pistas y preguntas en lugar de entregar respuestas de inmediato, puede ser eludido por los jóvenes al elegir la opción “Muéstrame la respuesta”, lo que permite que ChatGPT complete tareas sin procedimientos de aprendizaje explícitos.
La función de Horas de Estudio, destinada a que los padres fomenten un uso educativo, también falló ante estas maniobras. Simplemente eliminar el prefijo @study de una solicitud podía hacer que ChatGPT volviera a su modo habitual. Además, la IA no recordaba a los usuarios que realicen pausas con la frecuencia necesaria.
El estudio también encontró problemas con el sistema de detección de edad, diseñado por OpenAI para identificar a usuarios más jóvenes y aplicar protecciones adecuadas. Repetir repetidamente que se tiene 13 años no impulsó a ChatGPT a trasladar las cuentas de prueba desde la experiencia para adultos.
En conjunto, el análisis subraya que ChatGPT está integrándose cada vez más en la vida de los adolescentes. Si bien puede ayudar con tareas escolares y responder preguntas personales, la experiencia demuestra que se requieren salvaguardas mucho más fiables que las que normalmente se aplican a una app de productividad para adultos.
Ofrecimos a OpenAI la oportunidad de comentar sobre la encuesta, pero hasta el momento no hemos recibido respuesta. Actualizaremos la historia si se obtiene un posicionamiento.
from Latest from TechRadar https://ift.tt/9lzFbG6
via IFTTT IA
