La medición de la personalidad humana ha habitualmente consistido en cuestionarios y en comparar respuestas dentro de marcos psicológicos ampliamente reconocidos. Un estudio reciente sugiere que los modelos de lenguaje pueden ir más allá, estimando respuestas promedio de grandes poblaciones a partir del lenguaje, incluso antes de que las respuestas sean formuladas por las personas.

La investigación, publicada en iScience, examinó si GPT-4 puede inferir patrones de respuestas humanas a partir de textos que describen la personalidad, sin limitarse a generar preguntas plausibles. En el estudio, Rotem Monsa, Aviv Zohar y Shahar Arzy, de la Universidad Hebrea y Hadassah, evaluaron si el modelo podría captar tendencias de respuesta poblacional a partir de lenguaje, más allá de crear formulaciones de cuestionarios.

GPT-4 predice respuestas antes de que las respondan los humanos

El equipo utilizó a GPT-4 para crear cuestionarios de personalidad a partir de dos fuentes textuales muy distintas: una basada en el DSM-5, manual clínico estándar utilizado globalmente para diagnosticar trastornos de personalidad con precisión; y otra compuesta por enunciados de un libro de astrología que asigna rasgos a cada signo zodiacal. Los cuestionarios se administraron a 600 participantes junto con el Big Five Inventory, la herramienta de medición de personalidad más validada disponible.

Antes de recolectar las respuestas, GPT-4 estimó puntuaciones promedio para cada pregunta utilizando una escala de Likert de cinco puntos. Esto permitió comparar las predicciones con las evidencias recogidas posteriormente. Las estimaciones del modelo se correlacionaron fuertemente con los promedios reales; 0.71 para preguntas derivadas del DSM y 0.85 para las derivadas de astrología.

Esta consistencia interna razonable para el cuestionario basado en DSM sugiere que rasgos que suelen agruparse en la vida real también se correlacionan en las respuestas. En contraste, el cuestionario de astrología mostró una consistencia interna notablemente más débil en la mayoría de los rasgos medidos. GPT-4 también estimó relaciones entre preguntas individuales, obteniendo correlaciones de 0.74 (DSM) y 0.69 (astrología).

Los investigadores sostienen que GPT-4 parece capaz de capturar tendencias de respuesta a nivel poblacional incrustadas en el lenguaje y en el contenido de los cuestionarios. Sin embargo, advierten que predecir respuestas promedio no demuestra que el cuestionario resultante mida adecuadamente las diferencias de personalidad a nivel individual.

Pruebas con un manual de horno

El equipo también evaluó si GPT-4 podría generar ítems de personalidad a partir de material que no contiene información explícita sobre personalidad. Se proporcionó al modelo un manual de un horno Bosch y una descripción literaria de un paisaje de El Señor de los Anillos.

GPT-4 siguió produciendo ítems que se parecían a evaluaciones de personalidad, aunque ninguna de las fuentes fue diseñada para describir rasgos psicológicos. Este resultado sugiere que el modelo ha aprendido fuertes asociaciones entre patrones del lenguaje, descripciones de personalidad y estructuras de cuestionarios conocidas. No obstante, los investigadores señalan que material ajeno puede generar ítems semánticamente débiles o poco conectados, lo que importa porque una pregunta convincente no siempre mide la característica psicológica deseada.

Además, al analizar las estructuras estadísticas subyacentes, la escala Big Five coincidió más estrechamente con su organización esperada, mientras que los cuestionarios basados en DSM y astrología mostraron ajustes de modelo confirmatorio más débiles. Los ítems derivados de astrología también no conservaron su estructura elemental prevista, formando en su lugar patrones más amplios que se asemejan a dimensiones de personalidad ya establecidas. Aun así, los resultados mostraron un rendimiento predictivo comparable para muchos resultados vitales, aunque las medidas basadas en astrología rindieron peor para resultados de salud mental.

En resumen, la evidencia es compatible con una afirmación más acotada: GPT-4 puede anticipar patrones de respuesta agregados a partir de información textual con precisión medible. Como señaló Monsa, “dado que los rasgos de personalidad se reflejan en el lenguaje, los LLMs pueden haber aprendido la estructura de la personalidad humana como subproducto de su entrenamiento.” Y añadieron que, aunque no se les enseñó específicamente psicología o teorías de personalidad, estos conceptos ya están incrustados en el lenguaje que aprenden los LLMs.