Al ver publicitado en Twitter un artículo del que hablaremos aquí en algún momento, recordé la conferencia que impartí en julio de 2019 en la European Conference on Psychological Assessment. El título que elegí fue ‘The assessment of intelligence in the XXI Century: Designing the future standing on the shoulders of giants’.
Seguidamente se expone el contenido aproximado de esa conferencia por su posible interés para las actividades relacionadas con la evaluación psicológica. El texto original inglés se puede consultar al final de este post.
++++++++++
En su revisión para el ‘Journal of Applied Psychology’ de los 100 años de investigación sobre la medida o evaluación de las diferencias individuales, Paul Sackett y sus colegas (2017) observaron que los científicos han venido dedicando una sostenida atención a la capacidad cognitiva (inteligencia):
“La investigación de las capacidades cognitivas ha permanecido como un tema prominente y ha girado alrededor de tópicos similares.”
Ese no fue el caso para otros factores psicológicos como la personalidad o los intereses.
La segunda cuestión que destacaron estos autores fue que, de entre los predictores útiles de las diferencias de conducta que separan a los humanos, la capacidad cognitiva general ha ejercido las funciones de factor de referencia. Todos los demás factores psicológicos se han comparado con ella para valorar su potencial relevancia en la práctica.
En tercer lugar, subrayaron que los esfuerzos de investigación hechos hasta ahora merecen consideración por parte de las nuevas generaciones. Entre otras cosas, evitaríamos que se reinventase la rueda o que se vendiese vino viejo en botella nuevas (una mala idea).
Veamos un breve ejemplo de lo que esto puede significar.
Joy Paul Guilford publicó en 1979 ‘Cognitive psychology with a frame of reference’. En este breve y elegante libro, Guilford aplicó su usualmente mal comprendido modelo sobre la estructura del intelecto (SI) para intentar organizar nada menos que la psicología cognitiva. Las facetas de ese modelo psicométrico se ordenaron dentro de un flujo de procesamiento de la información, desde el input hasta el output.
Los intentos recientes de comprender por qué algunas personas son más o menos inteligentes que otras sirviéndose de conceptos psicológicos y de métodos de la conocida como aproximación cognitiva, podrían beneficiarse de lo que Guilford discute en su libro debido a que expone ideas cuya claridad ayudaría a integrar lo que ya se sabía con lo que se pretende averiguar.
En ese sentido, el profesor Earl Hunt escribió en 2011 en el capítulo de cierre del ‘Cambridge Handbook of Intelligence’ editado por Robert Sternberg y Scott Kaufman:
“Se ha aprendido mucho de las técnicas de evaluación que siguen usándose en la actualidad a escala global
(…) pero ha llegado el momento de buscar nuevas técnicas de evaluación
(…) el mayor reto supondrá extender la evaluación de la inteligencia más allá de los límites del paradigma dominante en la actualidad.”
Mi conferencia pretende contribuir a responder a ese reto mediante la breve discusión de cuatro temáticas:
1. El denominado ‘cognitive system design approach’ (CSD) ideado para desarrollar test de inteligencia.
2. El uso y desarrollo de videojuegos dirigidos a medir las capacidades cognitivas.
3. La relevancia de la inteligencia artificial (AI) para obtener estimaciones fiables y válidas del constructo inteligencia.
4. El uso de medidas ‘Neuro-Genéticas’, es decir, la aplicación de la evidencia reciente acumulada por la neurociencia y por la genética molecular para obtener estimaciones fiables y válidas de las diferencias de inteligencia.
Comencemos.
Cognitive System Design (CSD)
Hace quince años, Susan Embretson publicó, en la revista ‘Measurement’, un conjunto de predicciones y especuló sobre cómo sería la segunda centuria de la medida de las capacidades cognitivas.
Entre otras muchas cosas interesantes escribió que “los principios básicos de la psicometría y de la evaluación ya fueron claramente establecidos en 1930. El resto del siglo XX se dedicó a refinar esos principios.”
Susan predijo que algo similar sucedería en el siglo XXI: “un desarrollo de la medida basada en modelos y en la aplicación de los principios de la psicología cognitiva, combinado con la tecnología, guiará a la evaluación de las capacidades durante la siguiente centuria.”
Los modelos de la psicología cognitiva y la evidencia derivada de la investigación podrían orientar el diseño de test. La secuencia sería más o menos la siguiente:
1.- Objetivos de la medida.
2.- Características del diseño.
3.- Modelo cognitivo.
4.- Valorar el potencial psicométrico del modelo cognitivo.
5.- Calcular la distribución de los ejercicios (ítems) según su complejidad cognitiva.
6.- Escribir los ejercicios.
7.- Valorar las propiedades cognitivas y psicométricas.
8.- Organizar bancos de ejercicios según sus exigencias de procesamiento cognitivo.
9.- Diseñar un test fijo o adaptativo.
10.- Validar.
Los ejercicios diseñados para medir las capacidades intelectuales pueden dirigirse a calcular las curvas características del evaluado, de modo que puedan interpretarse las puntuaciones según los procesos psicológicos necesarios para resolver satisfactoriamente los distintos ejercicios. Una vez establecidos los parámetros, las máquinas podrían llevar a cabo la evaluación, de modo que sería innecesaria cualquier intervención humana.
El test de inteligencia fluida desarrollado por Ricardo Primi (2014) que combina los modelos de Rasch y la psicología cognitiva, es un ejemplo perfecto. Se manipulan tres características de los ejercicios (cantidad de información, tipo de regla y complejidad perceptiva) para valorar los siguientes componentes de la inteligencia fluida:
1.- Capacidad de almacenamiento de información verbal y visuoespacial.
2.- Exigencias de procesamiento ejecutivo (gestión de objetivos y abstracción).
De ese modo pueden calcularse puntuaciones a nivel individual basándose en exigencias cognitivas adecuadamente definidas. La organización perceptiva (0.79) y la cantidad de información (0.39) fueron los parámetros que permitieron explicar la dificultad de los ejercicios.
El tercer ejemplo se basa en el estudio clásico de Patricia Carpenter y sus colegas (1990) ‘What One Intelligence Test Measures’.
Los 36 ejercicios del RAPM se clasificaron según sus niveles de complejidad cognitiva de acuerdo a sus reglas y al número de ‘tokens’. Este grupo de investigación programó dos algoritmos para simular el desempeño de humanos de alto rendimiento (BETTERAVEN) y de rendimiento mediocre (FAIRAVEN). Su principal diferencia residía en la capacidad de la memoria de trabajo, que permitiría una más o menos eficiente supervisión de objetivos.
‘Matrices’ es un ejemplo reciente de Test de Inteligencia General, desarrollado en España, e inspirado en la perspectiva de Carpenter. Ese test puede ser fijo o adaptativo, y permite evaluar a personas dentro de un amplio rango de edad y de capacidad.
Sus exigencias cognitivas se basan en (a) el número de reglas o subproblemas (entre 1 y 3), (b) el tipo de regla (11 reglas), y (c) los atributos de cada regla.
Se obtuvieron puntuaciones mediante la evaluación de 12.211 participantes, pudiéndose reproducir los cambios esperados durante el ciclo vital, lo que permitió validar el constructo latente que se pretendía valorar.
Una característica interesante de este test es que los valores de fiabilidad para personas de distintas edades de la versión adaptativa fueron generalmente mejores que los obtenidos con las versiones fijas.
Vayamos con el segundo ejemplo.
Videojuegos
Alrededor de la mitad de los ciudadanos de la Unión Europea pueden considerarse jugadores. Y esa cifra aumenta a diario.
Una pregunta relevante para la psicología es: ¿es posible usar videojuegos para diseñar instrumentos fiables y válidos de evaluación psicológica?
Veamos algunos ejemplos de videojuegos comerciales que han sido seleccionados según una serie de criterios basados en la teoría:
El grupo de investigación español dirigido por la profesora Mª Ángeles Quiroga ha demostrado que es perfectamente viable medir las capacidades cognitivas a través de videojuegos.
Hay dos enfoques fundamentales: (1) elegir videojuegos comerciales que se ajusten a los criterios teóricos buscados, y (2) diseñar videojuegos desde cero.
Para desarrollar el segundo enfoque, el equipo de Quiroga ha propuesto una serie de fases resumidas con el acrónimo CODE-PPP:
COncept-DEsign-Plan-Production-Prototype
Dos ejemplos del primer enfoque son Quiroga et al. 2015 y 2019.
En el primer estudio los videojuegos elegidos fueron de los conocidos como ‘brain games’. En el segundo, en cambio, fueron ‘non-brain games’.
La inteligencia (INT) se evaluó con test estandarizados de Gf, Gc, etc., mientras que el desempeño en los videojuegos (VID) se valoró con una serie de juegos variados elegidos según los criterios en los que se estaba interesado.
La correlación de INT con VID fue 0,93 y 0,79, respectivamente.
Por tanto, la evidencia disponible apoya la perspectiva de que podemos superar el paradigma de la evaluación convencional para obtener estimaciones fiables del constructo inteligencia. Una vez sabemos que así es, podemos usar esos ‘ambientes de evaluación’ en contextos aplicados como la selección de personal, aunque las posibilidades son numerosas.
Inteligencia Artificial
El tercer ejemplo se basa en la aplicación de la IA.
¿Es posible estimar el nivel intelectual usando datos biométricos?
¿Tienen un aspecto distinto las personas de mayor y menor inteligencia?
Kanazawa analizó datos del ‘National Child Development Study’ para averiguar si esas preguntas tenían respuesta empírica.
El atractivo físico se evaluó a los 7 y a los 11 años. Quienes resultaron físicamente más atractivos tuvieron una puntuación de CI de 104, mientras que los de menor atractivo tuvieron una puntuación de 92. Es decir, casi una desviación típica de diferencia. Además, la correlación del atractivo con el CI fue de 0,4.
Su conclusión fue: “si se desea estimar la inteligencia de alguien sin administrar un test de CI, se acertará igual considerando su atractivo físico que la cantidad de años que estuvo educándose.”
Y el atractivo físico puede ser evaluado por máquinas.
Otro modo interesante de obtener información para una evaluación psicológica consiste en recurrir a redes sociales como Twitter, Instagram o Facebook.
El estudio publicado por el grupo de Michal Kosinski demostró que las valoraciones de la personalidad basadas en un algoritmo eran más precisas que las basadas en el juicio humano.
Las tres conclusiones del estudio de Youyou et al.’s (2015) fueron:
1.- Las predicciones que hace un algoritmo basándose de Facebook Likes son más precisas (r = 0,56) que las hechas por amigos de los individuos evaluados basándose en un cuestionario de personalidad (r = 0,49).
2.- Los modelos de ordenador cometen menos errores.
3.- Las valoraciones de la personalidad hechas por un algoritmo presentan una mayor validez externa al pronosticar resultados vitales tales como el uso de sustancias, las actitudes políticas y la salud física.
Por cierto, el rasgo de personalidad que se valoró con mayor precisión fue la apertura mental.
Tristemente, este grupo de investigación dejo de compartir sus datos con sus colegas en abril de 2018 por reservas éticas.
En cualquier caso, algunos científicos piensan que es imparable lo que está por venir.
Yuval Harari explica por qué en su libro ‘Homo Deus’ (2015):
“Las emociones y la inteligencia son simples algoritmos.
El individuo se está convirtiendo en un minúsculo chip dentro de un sistema gigantesco que nadie entiende.
Los humanos desean formar parte de esa potente corriente de datos porque cuando están dentro del sistema forman parte de algo mucho más grande que cada uno de ellos.
Si vives una experiencia, grábala.
Si grabas algo, súbelo a la red.
Si subes algo, compártelo.
Los algoritmos de Google y Facebook saben no solamente cómo te sientes, sino también otras miles de cosas sobre ti que ni siquiera sospechas.
¿Quieres saber quién eres realmente?
¿Has secuenciado tu ADN?
¿Oíste hablar de esos dispositivos biométricos que miden tu presión arterial y tus pulsaciones las 24 horas del día?
Cuando vayas de compras, adquiere una cámara portátil y un micrófono, graba todo lo que hagas y súbelo a la red.
Permite que Google y Facebook lean tus emails, que supervisen tus chats y tus mensajes, y registra todos tus likes y clicks.”
El largometraje ‘The Circle’ presenta un ejemplo perfecto de la sociedad que estamos creando basada en compartir nuestras vidas, en convertirla en una especie de ‘reality show’.
No podemos dar marcha atrás.
El genio ha salido de la botella y no volverá a meterse en ella.
Métrica (evaluación) Neuro-Genética
Vayamos con el último ejemplo.
¿Es posible obtener medidas fiables y válidas con significado psicológico mirando los registros cerebrales y el ADN?
Algunos científicos pensamos que la respuesta es positiva.
También sospechamos que ese es el futuro y que llegará rápido.
Gabrieli et al. (2015) publicaron una interesante revisión destacando la relevancia de la predicción para mejorar nuestra comprensión de la conducta humana.
Debemos trabajar para generar modelos realmente predictivos, lo que implica pasar por tres fases: (1) descubrimiento, (2) validación, y (3) generalización.
Esta estrategia ha sido inusual, pero la ciencia de la psicología se está moviendo en esa dirección.
La clave del artículo de Gabrieli es que los neuromarcadores pueden proveer mejores predicciones (neuroprognosis), por sí mismos o en combinación con otras medidas, que las medidas conductuales tradicionales.
Quizá se desconozca que el coste económico de la evaluación neuropsicológica de una sola persona a menudo supera con creces el coste de un registro de resonancia magnética.
Novedosas medidas conductuales podrían apoyarse en la evidencia obtenida con técnicas de neuroimagen. La psicología aplicada debe prestar atención a esos desarrollos en lugar de mirarlos con suspicacia.
Sería sensacional saber con antelación si un paciente mostrará una mejor o peor respuesta clínica a algún tratamiento.
Pero antes de llegar a esa meta será necesario obtener resultados sólidos desde la investigación básica.
Veamos tres ejemplos.
Yu Yong Choi et al. (2008) publicaron un estudio pionero en el que se observó que las diferencias estructurales y funcionales en el cerebro predicen las diferencias de cociente intelectual (CI) valoradas con test estandarizados.
Obtuvieron altos valores de predicción (R = 0,7) al combinar medidas estructurales y funcionales para estimar las puntuaciones de CI. Las diferencias de grosor cortical en el lóbulo temporal izquierdo se asociaron en mayor grado a la inteligencia verbal, mientras que las diferencias de actividad funcional bilateral se asociaron más a la inteligencia fluida. Este grupo de investigación concluyó: “las imágenes del cerebro se pueden usar para predecir rasgos complejos (…) las evaluaciones neurométricas de la inteligencia pueden convertirse en breve en un útil complemento de la evaluación psicométrica.” (p. 10328).
Siete años después, Liye Wang et al. (2015) predijeron las puntuaciones de CI a partir de señales provenientes de 15 regiones cerebrales de los lóbulos frontal, temporal y parietal. Los datos correspondieron a volúmenes regionales de materia gris y de materia blanca. El valor de pronóstico promedio fue de 0,72, lo que representa un elevado tamaño del efecto.
El tercer ejemplo es de mi propio equipo y sigue el marco propuesto por Gabrieli et al. descrito anteriormente.
Evaluamos en dos grupos independientes de personas una serie de factores cognitivos (inteligencia fluida y cristalizada, memoria operativa y control atencional) y biológicos (grosor y superficie corticales) en dos momentos separados por seis meses. Se pretendía pronosticar el desempeño en versiones adaptativas de la famosa tarea n-back evaluado 12 y 18 meses después.
Se siguieron tres fases: (1) descubrimiento, (2) validación y (3) generalización. En la primera fase se evaluaron los factores cognitivos y biológicos, así como el desempeño en la tarea n-back, en un grupo de personas (in-sample). En la segunda fase, se correlacionaron los factores cognitivos y biológicos con una versión paralela de n-back completada varios meses después. En la fase de generalización, se contrastaron los resultados observados en la fase de validación con un grupo independiente de individuos (out-of-sample).
El resultado principal reveló que las variaciones de superficie cortical en la corteza dorsolateral prefrontal derecha permiten pronosticar el desempeño en n-back de ambos grupos, mientras que los factores cognitivos no mostraron ninguna validez predictiva.
Por tanto, se concluyó que las diferencias individuales en determinados factores biológicos pueden pronosticar la conducta futura mejor que factores cognitivos que en su momento (concurrentemente) correlacionaron con esa conducta.
¿Por qué?
La respuesta a esa pregunta puede estar relacionada con lo que ya se sabe sobre las medidas del genoma (genome-metrics).
Lo que se necesita para alcanzar evaluaciones precisas que sean útiles en la práctica es averiguar cuál es el origen esencial de la individualidad psicológica. Hay muchos factores potencialmente relevantes, pero algunos son más relevantes que otros. Hay un cosmos psicológico que se debe descubrir.
Veamos tres ejemplos antes de exponer las conclusiones de mi presentación.
Al combinar información genética de más de 1 millón de personas obtenida en estudios de asociación (genome-wide association studies) Lee et al. (2018) pudieron predecir el nivel educativo. La puntuación poligenética que se calculó resumió mil trescientos SPNs que se habían relacionado con el desarrollo cerebral y la comunicación entre neuronas. Estas puntuaciones poligenéticas pronosticaron quién terminaba sus estudios universitarios.
El grupo de investigación propuso tres aplicaciones de la evidencia obtenida en esta clase de investigación:
1.- Especificar la conexión ‘Genes –> Cerebro –> Fenotipos’.
2.- Usarlas como variables de control en las intervenciones encaminadas a mejorar la inteligencia.
3.- Explorar las interacciones genes-ambientes.
Es difícil interpretar los factores ambientales cuando se ignora el hecho de que los ambientes están genéticamente cargados.
Veamos el segundo ejemplo.
Daniel Belsky et al. (2018) analizaron si las mismas puntuaciones poligenéticas descritas en el ejemplo anterior, correlacionadas con el potencial educativo, podían contribuir a explicar la movilidad social en cinco muestras de estudios longitudinales independientes.
Hicieron cálculos dentro de tres grupos de SES (bajo, medio y alto) obteniendo un patrón consistente: a mayor puntuación poligenética, mayor nivel de SES alcanzaban los individuos una vez independizados de sus familias de origen.
El último ejemplo se relaciona con el ensayo de 2018 de Robert Plomin Blueprint. How DNA makes us who we are.
El mensaje básico de ese ensayo se construye sobre el hecho de que nuestra capacidad de usar el ADN para entender quiénes somos y pronosticar en qué nos convertiremos, se ha materializado desde 2015 gracias a las mejoras en la genómica personal.
Las diferencias de ADN que heredamos de nuestros padres al ser concebidos son el origen consistente y duradero de nuestra individualidad psicológica, el plano que nos convierte en lo que somos.
Un plano incluye un plan.
El escaso 1% del ADN en el que diferimos los humanos en promedio es lo que nos hace individuos únicos –nuestros trastornos, nuestras personalidades y nuestras capacidades cognitivas.
Usando pronósticos basados en el ADN podríamos saber, desde el nacimiento, si llegaremos a padecer alguna enfermedad mental, mucho antes de que sea detectable cualquier marcador cerebral o conductual.
Las diferencias de ADN constituyen la principal fuente sistemática de las diferencias psicológicas que nos separan. Los efectos ambientales son importantes, pero también son generalmente aleatorios –asistemáticos e inestables—por lo que poco se puede hacer al respecto.
El genio del genoma ha salido de la botella y no volverá a meterse en ella.
Robert aplicó la evidencia disponible a sus propios datos genéticos, obteniendo resultados sobre nivel educativo, esquizofrenia, Alzheimer, depresión mayor y trastorno bipolar.
Las puntuaciones poligenéticas constituyen el comienzo de la genómica personal en psicología, permitiendo vislumbrar nuestro futuro. Esas puntuaciones están ya transformando la psicología clínica y la investigación psicológica, puesto que las diferencias de ADN identificables en el genoma pueden usarse para pronosticar rasgos psicológicos en cada uno de nosotros.
Plomin escribió:
“Aunque hay que considerar diversas cuestiones éticas y psicológicas, millones de personas ya han emitido su voto pagando por conocer su genoma.
La genómica ha llegado para quedarse y no tolerará normativas paternalistas que pretendan evitar que la gente se conozca a sí misma a través de sus genomas.”
Yo formo parte de ese grupo de personas curiosas desde 2013.
Vayamos con los mensajes con los que quedarse y llevarse a casa para reflexionar.
Conclusiones
1.- Evitemos reinventar la rueda.
Como propuso mi colega y amigo, Earl Hunt, debemos diseñar el futuro elevándonos sobre los hombros de los gigantes que estuvieron por aquí antes que nosotros, en lugar de hacerlo pisoteando sus caras.
2.- La psicología cognitiva pueden ayudar a mejorar la evaluación de la inteligencia mediante el uso de máquinas.
3.- Los videojuegos pueden y deben diseñarse para evaluar las capacidades intelectuales.
4.- La IA puede resumir las conductas desperdigadas por las redes sociales pero que poseen sustancia psicológica.
5.- La neurociencia y la genética molecular complementan a la información conductual. Los psicólogos deberían prestar atención a los desarrollos recientes para evitar su desconexión de esas excitantes tendencias.
El futuro es ahora.
ENGLISH VERSION
In their review for the ‘Journal of Applied Psychology’ of 100 years of research regarding the measurement of individual differences, Paul Sackett and his colleagues (2017) noted that scientists devoted sustained attention to cognitive ability (intelligence): “research on cognitive abilities has remained prominent and focused around the same topics”. This was not the case for other psychological factors such as personality and interests.
The second highlighted issue was that among the useful predictors of human behavioral differences, general cognitive ability is the reference factor. All the remaining psychological factors are compared with it for evaluating their potential relevance in practice.
The third issue was that previous research efforts deserve serious consideration.
This will help to avoid reinventing the wheel or selling old wine in new bottles (not a good idea).
Let me show, briefly, one example of what this might mean.
Joy Paul Guilford published in 1979 ‘Cognitive psychology with a frame of reference’. In this short and elegant book, Guilford applied the poorly understood Structure of Intelligence Model for organizing Cognitive Psychology.
The facets of this psychometric model were organized within the information processing flow going from the input to the output.
Modern attempts to understand why some people are smarter than others using psychological concepts and methods of the so-called cognitive approach, might benefit from what Guilford discusses in this book because of the clarity displayed for integrating what we already know with what we want to know and for pushing the field forward.
In this regard, Professor Earl Hunt wrote in 2011 for closing the ‘Cambridge Handbook of Intelligence’ edited by Robert Sternberg and Scott Kaufman:
“A great deal has been learned using the testing techniques that are widespread today
(…) but it is time to move on to new techniques of measurement if we want to obtain any major breakthrough
(…) the biggest challenge will be to expand the assessment of intelligence from observations within the conventional testing paradigm”.
My keynote addresses this main challenge discussing, briefly, four topics:
1. The cognitive system design approach (CSD) for developing intelligence tests.
2. The use and development of videogames for measuring intellectual abilities.
3. The relevance of Artificial Intelligence (AI) for getting reliable and valid estimates of the intelligence construct.
4. Neuro-Genome-Metrics, meaning the application of recent neuroscience and molecular genetics evidence for obtaining reliable and valid estimates of intellectual differences.
Let’s move to the first topic.
Cognitive System Design
Fifteen years ago, Susan Embretson published a set of predictions and speculations about the second century of ability testing in the journal ‘Measurement’.
Among other interesting things she wrote that “most fundamental principles in psychometrics and testing were available by 1930. The remainder of the last century of testing was devoted to refining these principles”.
She predicted that the same pattern will occur in the XXI century: “Further developments in model-based measurement and in applying cognitive psychology principles in testing combined with technology will guide ability testing throughout the next century”.
Cognitive psychology models and research evidence would guide test’s design. The basic steps are:
1.- Goals of Measurement
2.- Design Features
3.- Cognitive Model
4.- Evaluate Cognitive Model for Psychometric Potential
5.- Items Distributions on Cognitive Complexity
6.- Generate Items
7.- Evaluate Cognitive & Psychometric Properties
8.- Bank Items By Cognitive Processing Demands
9.- Design Fixed or Adaptive Test
10.- Validation
The problems designed for measuring intellectual abilities can be oriented towards computing person characteristic curves for interpreting scores according to the psychological processes required for successful performance. Once the required parameters are established, measurement could be done by machines (no human intervention will be necessary).
The fluid intelligence test developed by Ricardo Primi (2014) combining Rasch Modeling and Cognitive Psychology is a perfect example. Three item design features were manipulated (amount of information, type of rule, and perceptual complexity) for tapping the next fluid intelligence components:
1.- Storage capacity for verbal and visuospatial stimuli.
2.- Executive demands (goal management and abstraction).
This allows computing scores at the individual level based on well-defined cognitive requirements. Perceptual organization (0.79) and amount of information (0.39) were the parameters explaining items’ difficulty.
The third example is based on the classic study by Patricia Carpenter et al. (1990) ‘What One Intelligence Test Measures’.
The 36 RAPM items were classified according to their cognitive complexity levels based on the required rules and number of tokens.
This research group wrote two computer programs simulating high (BETTERAVEN) and average (FAIRAVEN) performance humans. Their main difference was based on their working memory capacity for ‘goal monitoring’.
‘Matrices’ is a recent example of a Test of General Intelligence, developed in Spain, based on the Carpenter et al.’s approach. It might be fixed or adaptive and allows testing humans within a wide age and ability range.
The cognitive requirements were based on (a) the number of rules or subproblems (between 1 and 3), (b) the type of rule (11 rules), and (c) attributes within rules.
The scores obtained from this test after the assessment of 12,211 participants reproduced the expected development across the lifespan, which validated the measured latent construct of interest.
One interesting feature was that the reliability of the adaptive computerized version was generally higher than the fixed-printed versions across age.
Let’s move to the second example.
Video-Games
There are around 250 million gamers in European Union. These numbers are increasing daily.
One relevant question for psychology is this: is it possible to use videogames for designing reliable and valid psychological assessment tools?
Let’s see examples of commercial videogames we have already selected according to a set of criteria based on theory.
The research group coordinated by Prof. Mª Ángeles Quiroga in Spain summarized several studies demonstrating that the measurement of cognitive abilities using videogames is quite possible.
There are two main approaches: (1) select available commercial videogames fitting the required theoretical criteria, or (2) design videogames from scratch.
For the second approach, Quiroga et al. suggests several steps captured by the acronym CODE-PPP:
COncept-DEsign-Plan-Production-Prototype
Two examples of the first approach are Quiroga et al. 2015 and 2019.
In the first study the selected videogames were mainly ‘brain games’.
In the second study the selected videogames were mainly ‘non-brain games’.
Intelligence (INT) was tested by standardized tests tapping Gf, Gc, etc., whereas videogame performance (VID) was assessed by varied games selected according to the criteria of interest.
The correlation between INT and VID was 0.93 and 0.79, respectively.
Therefore, available research supports that we can move beyond the conventional testing paradigm for obtaining reliable estimates of the intelligence construct.
Once we know that, we can use these environments in applied settings such as occupational recruitment. But the possibilities are widespread.
Artificial Intelligence
The third example is based on the application of AI.
Is it possible to estimate the intelligence level of humans using biometric data?
Do people with lower and higher intelligence look different?
Kanazawa analyzed data from the National Child Development Study.
Physical attractiveness was assessed at age 7 and 11. Those more physically attractive showed an average IQ score of 104, while those less attractive showed an average IQ score of 92. A difference equivalent to almost a full standard deviation. The computed correlation value between attractiveness and IQ was 0.4.
The conclusion was this: “If you want to estimate someone’s intelligence without giving them an IQ test, you would do just as well to base your estimate on their physical attractiveness as you would to base it on their years of education.”
Physical attractiveness can be assessed by machines.
Another exciting way for obtaining the required inputs for psychological assessment purposes are social networks such as Twitter, Instagram or Facebook.
The study published by the group led by Michal Kosinski demonstrates that computer-based personality judgments are more accurate than those made by humans.
The three key conclusions of the comprehensive study by Youyou et al.’s (2015) were:
1.- Computer predictions based on Facebook Likes are more accurate (r = 0.56) than those made by participants’ Facebook Friends using a personality questionnaire (r = 0.49).
2.- Computer models show higher interjudge agreement.
3.- Computer personality judgements have higher external validity when predicting life outcomes such as substance use, political attitudes, and physical health.
By the way, the personality trait predicted with higher accuracy was OPENNESS.
Sadly, the research group stopped sharing their data with colleagues in April 2018. Ethical issues were put on the table.
Nevertheless, some scientists think you can’t stop what’s coming.
Yuval Harari explains why on his book Homo Deus (2015):
“Emotions and intelligence are just algorithms.
The individual is becoming a tiny chip inside a giant system that nobody really understands.
Humans want to merge into the data flow because when you are part of the data flow you are part of something much bigger than yourself.
If you experience something, record it.
If you record something, upload it.
If you upload something, share it.
Google and Facebook algorithms not only know exactly how you feel, they also know a million other things about you that you hardly suspect.
You want to know who you really are?
Have you had you DNA sequenced?
Have you heard about these biometric devices that measure your blood pressure and heart rate 24 hours a day?
While you are shopping, buy a mobile camera and a micro, record everything you do, and put it online.
Allow Google and Facebook to read all your emails, monitor all your chats and messages, and keep a record of all your likes and clicks”.
The movie ‘The Circle’ shows a perfect example of the society we are creating based on sharing our lives, on making them a kind of reality show.
We cannot go back.
The genie is out of the bottle and cannot be stuffed back in again.
Neuro & Genome-Metrics
Let’s move to the final example.
Is it possible to obtain reliable and valid measures of psychological meaning looking at brain scans and to DNA?
Some scientists think the answer is yes.
Also, they believe this is the future and that it is coming fast.
Gabrieli et al. (2015) published an interesting review highlighting the relevance of prediction for refining our understanding of human behavior.
We must work for generating really predictive models which implies three research stages: (1) discovery, (2) validation, and (3) generalization.
This research strategy has been unusual, but psychological science is moving in that direction.
The main point of Gabrieli is that neuromarkers may provide better predictions (neuroprognosis) alone or in combination with other measures than traditional behavioral measures.
It might be unknown that the economic cost of a neuropsychological assessment and report for an individual often exceeds that of an MRI.
A new generation of behavioral measures could capitalize on the novel insights of neuroimaging. Applied psychology must pay attention to these developments instead of seen them as a threat.
It would be great to know in advance if a given patient will show better or worse clinical responses to some form of treatment.
But before achieving this goal, sound basic research for obtaining evidence is strongly required.
Let’ see 3 examples.
Yu Yong Choi et al. (2008) published a pioneering study demonstrating that structural and functional differences at the brain level predict IQ differences assessed by classic standardized tests.
They did obtain high predictive values (R = 0.7) when structural and functional measures were combined for estimating IQ scores. Cortical thickness variations in the left temporal lobe were more related with verbal intelligence, whereas bilateral functional activity differences were more related with fluid ability. These researchers concluded: “brain images can be used to predict complex traits (…) neurometric assessments of intelligence may soon become a useful complement to psychometric testing” (p. 10328).
Seven years later, Liye Wang et al. (2015) were able to predict IQ scores from signals within a circumscribed set of 15 brain regions across frontal, temporal, and parietal lobes.
The input data were based on gray and white matter regional volumes.
The predictive value was, on average, of 0.72, which represents a very high effect size.
The third example comes from my lab and it follows the Gabrieli et al.’s research framework described before.
In two independent groups, we assessed a set of cognitive (fluid and crystallized intelligence, working memory, and attention control) and biological (cortical thickness and cortical surface area) factors in two times separated by six months, for predicting behavioral outcomes of interest (performance on adaptive versions of the n-back task) assessed 12 and 18 months later.
We followed three stages: (1) discovery, (2) validation, and (3) generalization.
In the discovery stage, cognitive/biological factors and the behavioral outcome of interest were assessed in a group of individuals (in-sample).
In the validation stage, the cognitive and biological factors were related with a parallel version of the behavioral outcome assessed several months later.
In the generalization stage, the validation findings were tested in an independent group of individuals (out-of-sample).
The key finding revealed that cortical surface area variations within the right dorsolateral prefrontal cortex predict the behavioral outcome of interest in both groups, while the cognitive factors failed to show reliable predictive validity.
The main conclusion was this:
Individual differences in biological factors might predict future behavioral outcomes better than cognitive factors concurrently correlated with these behavioral outcomes.
Why is that?
The answer to this question may be closely related with what we already know about genome-metrics.
The main sources of the so-called psychological individuality are what we need for making precise assessments useful in practice.
There are many possible relevant factors, but some are more relevant than others. There is a psychological cosmos that we may want to discover.
Let’s see 3 examples before presenting the key conclusions of my talk.
Combining DNA information from more than 1 million people obtained from genome-wide association studies, Lee et al. (2018) were able to predict educational attainment.
The computed polygenic score included around 1 thousand and 3 hundred SNPs mainly involved in brain development and neuronal communication. These polygenic scores did predict college completion.
The research group suggested 3 applications of the INFO obtained from these kinds of studies:
1.- Specifying the path ‘Genes à Brain –> Phenotypes’.
2.- Their use as control variables of interventions that aim to improve cognition.
3.- Exploring gene-environment interactions.
Environmental factors are difficult to interpret when research studies ignore that environments include genetic INFO.
Let’s move to the second example.
Daniel Belsky et al. (2018) analyzed if the same polygenic scores for educational ‘potential’ described in the previous example account for social mobility across five independent longitudinal studies.
They did their computations within SES bands (low, middle, and high) and the obtained pattern was quite consistent: the higher the polygenic score, the greater the achieved SES at the individual level, after leaving home.
The final example is related with a recently published essay: Blueprint. How DNA makes us who we are (Robert Plomin, 2018).
The main message of this book was based on the fact that the ability to use DNA to understand who we are and predict who we will become has emerged only in the last 3 years thanks to the rise of personal genomics.
DNA differences inherited from our parents at the moment of conception are the consistent, lifelong source of psychological individuality, the blueprint that makes us who we are.
A blueprint is a plan.
The less than 1% of DNA steps that differ between us is what makes us who we are as individuals –our mental illnesses, our personalities and our mental abilities.
With DNA predictors we can forecast mental illness from birth, long before any brain or behavioral markers can be detected.
DNA differences are the major systematic source of psychological differences between us.
Environmental effects are important, but they are mostly random –unsystematic, unstable—which means that we cannot do much about them.
The genome genie is out of the bottle and cannot be stuffed back again.
Robert applied the available knowledge to his own genetic data and the results are shown in the bell curve for educational attainment, schizophrenia, Alzheimer disease, major depressive disorder, and bipolar disorder.
Polygenic scores mark the beginning of personal genomics in psychology in which our genetic futures can be foretold.
These scores are now transforming clinical psychology and psychological research because DNA differences across the genome can be used to predict psychological traits for each and every one of us.
Plomin wrote:
“Although there are many psychological and ethical issues to consider, millions of people have already voted with their credit card by paying to have their genomic fortunes foretold.
Genomics is here to stay and people will not tolerate paternalistic regulations that prevent them from learning about their own genomes”.
I follow this path since 2013.
Let’s see the key take home messages.
Conclusions
1.- Avoid reinventing the wheel.
As told by my colleague and friend, the late Earl Hunt…
we must design the future standing on the shoulders of the giants that went before instead of on their faces.
2.- Cognitive psychology might help to refine intelligence testing through the use of machines.
3.- Videogames can and should be designed for testing intellectual abilities.
4.- AI can summarize disparate behaviors available in social networks.
5.- Neuroscience and molecular genetics complement behavioral insights. Psychologists must pay close attention to recent developments for avoid disconnections with this exciting trend.
The future is now.
Roberto Colom 
Deja una respuesta