Una lección para los psicólogos educativos

A algunos les cautiva eso de ‘la práctica basada en la evidencia’, pero ¿realmente están dispuestos a aceptar esa evidencia y actuar en consecuencia?

Este post se dirige a quienes tienen la mente abierta y están preparados para cambiar su modo de hacer las cosas. Me consta que los demás seguirán a su rollo porque nadie les pedirá que respondan de sus actos, al menos por ahora.

En un reciente meta-análisis publicado en el Journal of School Psychology se concluye que la predicción de las diferencias de desempeño académico es robusta limitándose a considerar el factor general de inteligencia (g). Las demás capacidades apenas contribuyen, en términos comparativos, a ese pronóstico:

g explica más varianza de los resultados académicos que todas las demás capacidades cognitivas combinadas”.

Un par de ejemplos:

1.- La correlación de las diferencias individuales que separan a los escolares en lectura básica con g es de 0,74.

Hay margen hasta el valor perfecto de 1,0, pero no demasiado. Además, que un solo indicador se coma ¾ del pastel transmite una poderosa señal.

En cambio, los valores de correlación con respecto a las demás capacidades cognitivas (Gf –razonamiento fluido, Gc –comprensión y conocimiento, Glr –memoria a largo plazo, Gv –procesamiento visual, Ga –procesamiento auditivo, Gsm –memoria a corto plazo y Gs –velocidad mental) oscilan entre 0,01 (Gv) y 0,45 (Gc).

2.- La correlación de las diferencias individuales que separan a los escolares en matemáticas básicas con g es de 0,72.

Los valores de correlación con las demás capacidades cognitivas oscilan entre 0,02 (Gv) y 0,39 (Gf).

Puse a propósito los ejemplos más desfavorecedores para apoyar la extraordinaria relevancia de lo que g recoge. La lectura comprensiva (versus básica) y el razonamiento matemático (versus matemáticas básicas) implican un mayor impacto de g.

Esta clase de evidencia contradice la extendida práctica actual de interpretar los resultados obtenidos en los test de inteligencia según las fortalezas y debilidades concretas de los evaluados. Esa interpretación es cualitativa, no basada en la evidencia empírica sobre su verdadera relevancia cuantitativa para entender los hechos. Esa cuantificación es la que aporta el meta-análisis.

2018 - Zaboski

La crítica a esa aproximación orientada a los perfiles viene de lejos, pero se suele ignorar apelando vagamente al sentido común, sin que haya evidencias sólidas favorables a esa práctica. En el meta-análisis que estamos comentado se demuestra que lo que se sabe sobre g encaja con lo que sucede en la escuela:

Puesto que g se asocia al nivel de complejidad del procesamiento de la información, g predice mejor los resultados educativos que exigen percibir relaciones conceptuales o abstractas (comprensión lectora o razonamiento matemático) que aquellos que requieren memoria asociativa o aprendizaje rutinario (lectura básica o matemáticas básicas) (…) la validez predictiva de los test de inteligencia en el contexto educativo se debe fundamentalmente a g”.

Los resultados de este meta-análisis también apoyan el efecto Matthew, es decir, los escolares con mayor capacidad intelectual general se benefician más de la escuela a medida que pasan los años. El efecto es, por tanto, acumulativo.

Hay algo más aquí que vale la pena destacar. Los valores de predicción de las capacidades intelectuales específicas corresponden a los obtenidos sin controlar el efecto de g sobre esas capacidades. Es decir, los valores obtenidos para Gc también incluyen lo que esa capacidad valora de g, y, por tanto, no revela su genuina validez predictiva. Cuando se practica esa clase de control, las capacidades específicas apenas contribuyen, por sí mismas, con un 1 o 2% a la predicción del desempeño académico.

Este meta-análisis considera 25 estudios y el número de escolares varia entre 3.519 y 18.489 según estudio. Se debe comentar que en esos estudios se administró, generalmente, la batería de evaluación de la inteligencia Woodcock-Johnson, y, por tanto, sería necesario averiguar si sucede algo similar con otras baterías de evaluación. Es lo más probable si tenemos en cuenta los demoledores resultados de Wendy Johnson y sus colegas:

Just one g: consistent results from three test batteries.

Still just 1 g: consistent results from five test batteries.

¿Cuál es la implicación práctica inmediata de esta evidencia meta-analítica?

Usemos la comparativa a la que recurren los autores:

Un test se usa para identificar objetivamente la presencia (o ausencia) de algo.

En medicina, los análisis de sangre permiten comprobar la presencia de ciertas proteínas o la circulación de determinadas células tumorales que señalan la probable presencia de un cáncer. Si el test es positivo, entonces la presencia de cáncer se hace altamente probable.

Si se usan las capacidades cognitivas como ‘indicadores’, entonces cabe esperar una sustantiva relación con el desempeño académico; y si se pretende usar esas capacidades como indicadores de patrones, entonces patrones específicos deben ser capaces de agrupar a niños y adolescentes de un modo fiable por la presencia probable (sospecha) de dificultades de aprendizaje”.

Usar indicadores con valores menores de 0,50 dará lugar a demasiados falsos negativos y falsos positivos. Identificar con precisión exige valores sustantivos y robustos: “los resultados de nuestro meta-análisis no apoyan la generalizada recomendación de usar los indicadores concretos para la interpretación clínica. Al contrario, refuerzan el uso de la puntuación general, es decir, una estimación de g, para diagnosticar las dificultades de desempeño académico”. La recomendación es aún mas poderosa al recordar que los indicadores concretos ignoran, no aíslan, su conexión con g.

En suma, aplicar con esmero técnicas cuantitativas, en lugar de seductoras narraciones cualitativas, parece estar devolviéndonos a la casilla de salida, al lugar del que se partió al comenzar a usar test de inteligencia en las escuelas, allá por la primera parte del siglo XX.

Autores de referencia en la actualidad sobre la interpretación de las baterías de evaluación de la inteligencia, como Dawn Flanagan, Vincent Alfonso, Kevin McGrew o Joel Schneider, han subrayado el análisis de perfiles dejando en un segundo plano la puntuación que cuantifica el nivel intelectual general (g) del evaluado. El meta-análisis que se ha comentado en este post sugiere que Alfred Binet y Lewis Terman estaban en lo correcto al optar por la estrategia contraria.

7 comentarios sobre “Una lección para los psicólogos educativos

Agrega el tuyo

  1. Si bien muchos meta-análisis también tienen sus pormenores, impera el peso de sus resultados de tal forma que no se pueden pasar por alto. Sobre todo si, como aquí, concuerdan con más de un siglo de conocimiento acumulado sobre inteligencia general (factor g). Un paso siguiente para conectar esta investigación meta-analítica con la práctica psicopedagógica sería traducir el factor g en términos de CI. ¿Cuánto de g nos cuenta un CI? Lo digo porque en la práctica psicopedagógica es el CI lo que obtiene el psicólogo educativo o el psicopedagogo/pedagogo, no el factor g.

    Me gusta

  2. Entonces… si lo he entendido bien… En mi caso es más importante fijarse en que a los 14 años obtuve un CIT de 78 en el WISC-R, que en el hecho de que haya discrepancias significativas entre CIV y CIM (95 y 66), o que en el subtest Semejanzas obtuviera una PT de 13 y en el subtest Matrices del K-BIT una PT de 105 (M100, DT15).

    Lo cierto es que tengo ciertas dudas al respecto, pues es verdad que arrastro ciertas dificultades en mi vida aún hoy a mis 31 años: Tengo estudios medios, soy técnico de FP (grado medio) en Sistemas microinformáticos y Redes y he fracasado recientemente en mi intento de cursar un grado superior de programación, además de tener poca vida social, no entenderme apenas con la gente y casi no tener vida laboral… siento que la complejidad del mundo actual me supera ampliamente y nunca sé qué se supone que debo hacer. En cuanto a lo social, me pregunto si habrá relación con el hecho de haber obtenido una PT de 6 en el subtest Comprensión de la escala verbal y de 5 en el de Historietas de la escala manipulativa.

    Estos resultados los obtuve como parte de una evaluación neuropsicológica que me hizo la doctora Concha Fournier del Castillo en el año 2002 en el hospital Niño Jesús. Puedo enviarle por correo los informes que tengo escaneados de la exploración: resúmenes y hojas de los test: WISC-R, Woodcock-Muñoz… entre otros.

    Supongo, por lo que describe en el artículo… que no son convenientes las recomendaciones de Kaufman a la hora de interpretar estos resultados y que no podía apoyarme en “puntos fuertes” o discrepancias entre índices, subtests, etc y que el CIT sigue siendo unitario y tiene validez predictiva.

    Como podrá imaginar, llevo tiempo buscando respuestas y cierta guía en torno a todo esto, además de que, también es un tema que me interesa.

    No lo he comentado, pero actualmente me atiende desde hace 3 años un psiquiatra que me ha diagnosticado TDAH pero que ni siquiera se ha molestado en observar mis tests y no parece darle importancia a todo esto… incluso me llegó a comentar que “un CI de 80” es normal… (no sé desde cuando apartarse más de una desviación típica respecto a la media se considera algo normal).

    Debo decir también que he sido prematuro de 7 meses con un peso inferior a 1.500 gramos y tuve que estar intubado 24 días, además de sufrir infecciones respiratorias recurrentes durante los primeros años de vida, todo lo cual tengo entendido que incide seriamente en el desarrollo cognitivo.

    Debido a todo lo expuesto, solicité hace poco la valoración de discapacidad intelectual/trastorno de desarrollo, presentando informes y demás.

    ¿Sería tan amable de ayudarme a encontrar las respuestas que busco mientras estoy a la espera de la respuesta?. Temo que ni siquiera se van a molestar en ver los informes y que considerarán que no necesito ninguna valoración y pasarán de mi…

    Espero no haberle aburrido. Gracias por su atención.

    Me gusta

    1. Gracias por tu comentario, José.

      Te pido disculpas por mi retraso en responder.

      El CIT resume el desempeño en un abanico de pruebas ideadas para representar los elementos básicos del intelecto humano y obtener una estimación general. La validez predictiva de esa estimación es de las más elevadas con las que se cuenta en Psicología. No obstante, los valores de validez dejan bastante margen para las excepciones, de ahí que sea esencial explorar el caso individual cuando el objetivo es diagnosticar y, en su caso, intervenir.

      Te recomiendo que leas atentamente este post: https://robertocolom.wordpress.com/2019/02/08/straight-talk-about-mental-tests/

      Jensen es claro al señalar que (a) el mejor modo de averiguar si se puede hacer algo es intentarlo, independientemente del resultado en un test de CI y (b) puede haber cambios relevantes en determinados casos en la estimación del CI durante el ciclo vital por distintas razones.

      Los desequilibrios de perfil que señalas en tu caso son inusuales, no es lo que cabe esperar en general, pero pueden suceder.

      Finalmente, cómo está redactado tu comentario, sus contenidos, así como las preguntas que formulas y el modo en que lo haces no encaja con esa estimación del CIT que, según señalas, obtuviste a los 14 años. Tampoco cuadra con tus títulos académicos.

      Mi recomendación es que dejes de preocuparte por esas evaluaciones y rumiar sobre sus posibles consecuencias, en la medida de lo posible. Procura hacer y disfrutar de aquello que se te da bien.

      Saludos cordiales, Roberto

      Me gusta

  3. Muchas gracias Roberto por contestar, aquí y en el otro post.

    He tardado en verlo porque no he recibido por correo las notificaciones pertinentes.

    Acabo de leer el post que me has puesto, es interesante, seguiré las recomendaciones. De hecho creo que también leeré su libro más adelante.

    Y hablando de libros:

    Me gustaría añadir también que ya he leído tu libro “En los límites de la inteligencia” que me ha parecido fantástico, muy claro en sus explicaciones. Ahora me he puesto con el de “Tu inteligencia: Cómo entenderla y mejorarla”.

    Disculpas aceptadas, no te preocupes, valoro que te hayas tomado la molestia de leer el tocho y contestar, considerando que, entre otras cosas, tendrás mejores cosas que hacer.

    Gracias también por la valoración de mi comentario (en forma y contenido) ;).

    Sí, lo cierto es que hay discrepancias incluso entre los subtest de cada escala del WISC, así como entre los subtest del Woodcock-Muñoz y entre los demás test neuropsicológicos que me aplicaron.

    Aunque me resulta llamativo que la mayoría de las puntuaciones Z tengan un valor inferior a 0… si bien sólo 2 o 3 presentaban una puntuación inferior a -1 (de más de 20). Puedo consolarme no obstante, con las partes de “Razonamiento abstracto verbal = 1” y “Razonamiento abstracto no verbal = 0,33” correspondientes al subtest Semejanzas del WISC-R y al de Matrices del K-BIT respectivamente.

    Por otro lado, no sé si conoces esta página:

    http://www.avlisad.com.ar/test/

    Aparentemente es el test de Raven original, el cual hice el año pasado, a los 30, obteniendo un total de 52 correctas de 60 (no sé si el metilfenidato que estaba tomando en ese momento pudo influir, creo que sólo repercute en la atención). Me dio percentil 75, a un punto según el manual del percentil 90, pero son baremos antiguos:

    Si me comparo con los chicos de 17-18 años de un estudio reciente de Argentina:
    https://www.aidep.org/sites/default/files/articles/R42/Art1.pdf

    Bajaría al percentil 65. Estos chicos obtuvieron una media de 49,23 respuestas correctas, siendo la desviación típica de 6,39. Esto me da un valor para Z de 0,43 (muy semejante por cierto al de las Matrices del K-BIT de 0,33). Lo cual sería un CI de 106,5 en escala con media de 100 y desviación 15. Si de verdad es el test de Raven original y mide g… Entonces puedo estar tranquilo ;).

    En cualquier caso esto es a modo de curiosidad, me quedaré con el consejo de tu último párrafo. Mi actitud se explica en parte por mi obsesión por medir y cuantificar todo, me encanta tener una idea lo más objetiva posible sobre la magnitud de las cosas. Parece que tengo un perfil INTP, según he podido ver por ahí…

    Un saludo, Jose.

    Le gusta a 1 persona

  4. Hola de nuevo Roberto.

    Antes de nada, prometo que este comentario será el último de este hilo jeje.

    Me hacía ilusión comentarte que ya estoy bastante a tope con el libro “Tu inteligencia: Como entenderla y mejorarla”, y ya he hecho varios de los test que propone el libro, incluyendo el de CI.

    Sobre este último, es curioso que pese a no ser un test estandarizado, obtuve una puntuación equivalente a CI 100 (al tener 27 preguntas correctas, de las 40) que es muy semejante a las puntuaciones de los test de Matrices mencionados antes, que sí están estandarizados.

    Debo decir que le puse ganas, creo que estuve cerca de dos horas y sólo usé boli y papel para anotar las respuestas y posteriormente corregirlo. Me parece curioso que las series numéricas no se me diesen del todo mal, pero en cambio no fuese capaz de ver sentido a las ruletas. También me demoré mucho en algunas preguntas que me cargaban mucho la memoria… tiendo a estresarme con eso. Pese a todo, como digo, acerté 27.

    En la tabla del libro dice:

    Entre 0 y 25: CI 90
    Entre 26 y 28: CI 100
    Entre 29 y 31: CI 110
    Entre 32 y 34: CI 120
    35 o más: CI 130

    Así que dije, bueno, calculemos Z. Fue fácil sabiendo que 130 son dos Desviaciones Típicas por encima de la media y que había 9 puntos de diferencia, lo que nos da una desviación de 4,5 puntos.

    Así, el suelo del test serían 12 puntos ( Z = -3,1111… o CI 53,3 ) y el techo, los 40 puntos ( Z = +3,1111… o CI 146,6), y mi resultado, con 27 correctas: Z = 0,2222… o CI 103,3.

    Como digo, muy semejante a las matrices del K-BIT y al Raven… no sé, parece magia. 🙂

    Me gusta

    1. Gracias por el comentario. Ese test incluido en el libro fue diseñado con esmero y, por tanto, es esperable que ofrezca una estimación bastante ajustada. Por eso puede producirse la ‘magia’ que señalas. Aún así, es un test meramente ilustrativo que no puede sustituir una evaluación formal adecuadamente planificada y materializada. Saludos, R

      Le gusta a 1 persona

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

Subir ↑

A %d blogueros les gusta esto: