Los efectos perniciosos de la evaluación docente (por Francisco J. Abad)

Vivimos en los tiempos de los Ranking.

Se evalúan las Universidades, los grados, a los profesores, y a los investigadores.

La evaluación nos parece necesaria para controlar la calidad de nuestros planes de estudios, para recibir retroalimentación sobre el éxito de nuestra actividad docente o para poder certificar quién hace investigación de calidad.

En el origen de todo siempre hay una buena causa: controlar la endogamia, evitar la proliferación y degradación de los títulos, o detectar los casos más flagrantes en los que el magister no desempeña su trabajo.

Se intenta, con buena voluntad, que la evaluación sea lo más objetiva posible, diseñando sesudos documentos, extensos y precisos como el manual de nuestra lavadora, para guiarnos a todos en el camino hacía los Cielos.

Puede estimarse que miles de horas de trabajo y de energía son absorbidas en el agujero negro de la evaluación.

Cada ámbito de evaluación mencionado es un mundo, así que centrémonos en el que puede parecer más sencillo: la evaluación de la docencia.

1. ¿Cómo evaluar la docencia?

En la siguiente imagen se muestra las dimensiones de evaluación del programa DOCENTIA-UAM, programa acreditado por la ANECA, que permite al profesor recibir un informe de resultados que puede utilizar en los procesos de acreditación.

Lo que sigue no pretende ser una crítica a este programa, sino más bien una reflexión sobre la dificultad del problema, ilustrándolo con la “disección” de un programa de ejemplo.

El DOCENTIA-UAM evalúa distintas dimensiones. De las dimensiones evaluadas, el desempeño docente parece la más relevante, seguida del desarrollo de materiales didácticos. El resto de las dimensiones son ajenas a la voluntad del docente (p.ej., el encargo docente), o son meros correlatos del interés por la docencia (p.ej., formación, innovación e investigación docente), por lo que, aunque entendiendo las razones para su inclusión, las ignoraré en lo que sigue.

La metodología del DOCENTIA-UAM se basa en el uso de distintos instrumentos de recogida de información (encuestas de los estudiantes, autoinforme del profesor e información de las bases de datos institucionales), e implica a varios agentes (el propio docente, los estudiantes, el responsable académico y una comisión de evaluación). Asumo que, salvo causas excepcionales, el responsable académico tendrá poco que decir y que el docente es parte implicada. Siendo así, diría que las fuentes informativas se reducirán probablemente a tres:

• Las valoraciones de los propios estudiantes.
• Los resultados de los estudiantes.
• Los materiales del docente.

De todos ellos, el criterio realmente relevante es, sencillamente, el producto: los resultados de los estudiantes.

Los materiales pueden ser informativos, pero puntuar su calidad e idoneidad me parece complejo. En el DOCENTIA-UAM, tienen un peso importante las valoraciones de los estudiantes.

2. Las encuestas de los estudiantes

En gran medida, la evaluación del desempeño docente se basa en la opinión de los estudiantes (qué opinan sobre la Organización y la Planificación de la docencia, sobre el cumplimiento de la programación, sobre el Desarrollo de la docencia, sobre las tutorías, sobre el efecto del profesor sobre su interés por la asignatura, etc.).

 

Pero, ¿en qué medida los estudiantes proporcionan información válida para evaluar la calidad de un profesor? ¿Predice la satisfacción con el profesor la efectividad de los profesores?

Si medimos la efectividad por lo que aprende un estudiante, la respuesta, según un meta-análisis reciente comentado en este mismo blog (Uttl, White, y Wong, 2017), es negativa.

 ¿Por qué uno debería dudar de las encuestas?

A. No evalúan todos los estudiantes (a veces pocos, a veces aquellos con opiniones más extremas). En el peor de los casos pueden responder estudiantes que no asisten a las clases. En la mayor parte de los casos, tenemos un problema de datos perdidos (que no aparecerá en los estudios experimentales controlados).

B. Aunque no se puede negar que los profesores generan en los estudiantes estados subjetivos (“me motiva”, “me aburre”, “me divierte”, “le entiendo”, “me lo hace fácil”, etc.), hay cuatro problemas importantes para valorar lo que significa esa información:

b1) Los estados subjetivos son, en todo caso, medidas indirectas del producto relevante (es decir, lo que haya aprendido realmente y a largo plazo).

b2) La satisfacción depende de muchas dimensiones, a las que distintos estudiantes dan distinto peso. Así, valoran aspectos tan variados como:

• El uso del humor y, en general, la puesta en escena.
• El interés del profesor en el aprendizaje (p.ej., que repita, que vaya despacio, que explique de otra manera cuando no se le entiende, que responda a los e-mails).
• Lo fácil que el profesor les haga la materia (es decir, en qué grado el profesor consigue que aprendan mucho con poco esfuerzo).
• La organización y la responsabilidad (p.ej., que informe cómo va a evaluar, que no cambie los criterios, que sea puntual, que esté en su despacho en los horarios de tutoría).
• Sus actitudes y habilidades sociales (p.ej., simpatía, cercanía).
• Los materiales de apoyo (power-point, guías de las prácticas).
• Su cultura e inteligencia (p.ej., que cuente anécdotas interesantes, que sus conocimientos vayan más allá de la materia).
• Que evalúe de forma justa el nivel de conocimientos.
• Que dé retroalimentación, reforzando lo positivo.

Así, la respuesta a la pregunta de satisfacción global puede ser un producto de todo lo anterior. A la vez, la valoración global sesgará las respuestas a los aspectos más específicos, por un efecto ‘halo’ (si es desorganizado, se le verá más impuntual).

b3) Las valoraciones de los profesores son comparativas. En una facultad en la que todos los profesores sean excelentes, el menos excelente será puntuado más bajo.

Relacionado con lo anterior, la interpretación de la calidad no debería hacerse en términos comparativos. De lo contrario, puesto que no todo el mundo puede estar por encima de la media, siempre habrá malos profesores.

b4) Finalmente, el problema más importante es que las valoraciones de los estudiantes son un producto de la interacción entre materia, profesor y estudiante.

Por lo tanto, cualquier evaluación que no tenga en cuenta esos tres vértices servirá para poco. Es evidente que distintas materias implican distintos grados de dificultad y que los estudiantes varían en capacidad e intereses (p.ej., según la carrera específica, o el tipo de materia, troncal u optativa, de grado o de máster).

El último punto es muy importante si se pretende extraer algún tipo de información útil de dichas encuestas.

Quizás las encuestas deberían ser anónimas ante el profesor, pero no para el que analiza los datos de la evaluación. Esto tendría dos consecuencias positivas. Por un lado, el estudiante se responsabilizaría en mayor grado de lo que escribe en las encuestas. Por otro lado, podría ponderarse su valoración en función de su rendimiento global previo y de la calidad de sus evaluaciones.

La información sería mucho más rica.

3. Las calificaciones de los estudiantes

¿Son buenos los estudiantes para evaluar lo que han aprendido?

Seguramente no lo suficiente. En muchas materias puede resultarles difícil valorar lo que deberían haber aprendido. Además, la capacidad de valorar lo aprendido depende del nivel de conocimientos adquirido (los menos capaces sobrestiman la nota que se merecen y los más capaces la subestiman).

Como ponía Platón en boca de Sócrates:

“Este hombre, por una parte, cree que sabe algo, mientras que no sabe (nada). Por otra parte, yo, que igualmente no sé (nada), tampoco creo (saber algo)”

Por tanto, se requieren medidas objetivas del Rendimiento de los estudiantes en las asignaturas impartidas por el profesor.

De nuevo, la dificultad estriba en que el rendimiento depende de la dificultad de la materia, la del propio examen, así como de la capacidad e intereses del grupo evaluado.

De hecho, sabemos que una parte importante de la variabilidad en el rendimiento se debe a la propia capacidad y motivación de los estudiantes.

Desafortunadamente (o afortunadamente según se mire) si los recursos de la materia son claros y accesibles, la labor del profesor puede resultar bastante irrelevante. Podemos influir positivamente en que se apasionen por un tema, pero el aprendizaje es más o menos robusto a la incompetencia del profesor.

En cualquier caso, con los datos disponibles de cualquier Universidad, sería bastante fácil estudiar qué proporción del rendimiento se debe al profesor y qué parte al estudiante.

En conclusión, sin controlar las variables relevantes no podemos establecer comparaciones de los resultados entre profesores.

Valorar el rendimiento de un profesor es difícil si no se mantiene un histórico del rendimiento medio del alumno, y del rendimiento medio en la asignatura.

Y aun así, sin una prueba estandarizada, será difícil descartar efectos debidos a la dificultad del examen.

Así de claro:

valorar el número de aprobados como criterio de éxito es una espeluznante barbaridad.

4. Los efectos perniciosos

La mayor parte de los estudiantes valoran aprender y aprobar, ambas cosas. No se les engaña fácilmente y no compran a aquellos profesores que les aprueban, sin darles nada a cambio.

Aun así, con la presión de la evaluación, es fácil que el profesor caiga en la tentación de evitar todo aquello que le haga salir peor evaluado. Los efectos son sutiles. Evitamos entrar en los matices y las explicaciones profundas. Sin darnos cuenta, rebajamos exigencias y contenidos. Aceptamos prácticas mal redactadas y presentadas, porque decidimos evaluar sólo lo que tiene que ver específicamente con nuestra asignatura. No les pedimos demasiadas lecturas para que no se agobien y lo último –lo último—que haremos será preguntarles en el examen sobre algo que no haya sido explicado en clase.

Uno duda sobre si ese debe ser el nivel de exigencia en la universidad.

Por otro lado, les evitaremos aprendizaje memorístico alguno (dándoles los materiales). Nos hemos olvidado que para automatizar hay que memorizar.

También se hacen más prácticas grupales (que pueden difuminar la incompetencia de un estudiante particular), o se reduce la dificultad descomponiendo la evaluación en partes infinitesimales e independientes.

Se les da el conocimiento en dosis pequeñas, que olvidan con el siguiente atracón de materia.

Obviamente, nada de lo anterior es culpa de los estudiantes. De hecho, tenemos cada vez mejores estudiantes. Ellos son los más perjudicados, no solo por lo que dejan de aprender, sino también porque cada estudiante egresado será un representante de esa titulación.

Pero ellos no lo saben.