En muchas situaciones evaluativas, un puntaje general no brinda suficiente información a los estudiantes sobre lo que están haciendo bien y lo que no. Los modelos de diagnóstico cognitivo (MDCs) evalúan si los examinados tienen las habilidades necesarias para responder las preguntas de un examen, de modo que puedan obtener una retroalimentación más precisa sobre sus fortalezas y debilidades. Esto significa apostar por más palabras en lugar de números. Carlos F. Collares, profesor asistente en la Universidad de Maastricht (Países Bajos) y psicometrista del European Board of Medical Assessors (EBMA), defiende superar la unidimensionalidad para adoptar un uso más cualitativo de la psicometría moderna.

Madrid - 28 de julio de 2022. Cognitive diagnostic modelling in healthcare professions education: an eye‑opener es un artículo reciente publicado por el Prof. Collares que intenta desmitificar la llamada "era postpsicométrica". De acuerdo con este, la literatura confirma que los puntajes no son efectivos en la prevención o detección oportuna de lagunas de aprendizaje. El Prof. Collares, que forma parte del consejo asesor de Practicum Script, afirma que “la inclusión de comentarios basados en MDC en los resultados de las pruebas sumativas puede proporcionar una herramienta esencial para los estudiantes, profesores y otras partes interesadas, permitiéndoles abordar brechas específicas en los atributos cognitivos, así como ir más allá de la mera remediación de gaps de conocimiento”.

EL MDC entronca con el análisis de clases latentes. En lugar de asumir que estamos midiendo una sola dimensión o factor, el MDC relaciona un conjunto de variables multivariadas con un conjunto de variables latentes. Se llama análisis de clases latentes debido a que la variable latente es discreta. Por su parte, una clase se caracteriza por un patrón de probabilidades condicionales que indican la probabilidad de que las variables adquieran determinados valores. El resultado es un perfil multidimensional rico de qué atributos o competencias específicas se poseen y cuáles no. De esta manera, el MDC proporciona evidencia más granular y tiene potencial para guiar las decisiones de enseñanza y aprendizaje en el aula.

"Las variables latentes elegidas para medir los constructos de interés —explica el Prof. Collares— ya no son continuas, como en los modelos de respuesta al ítem, sino categóricas”. Además, el CDM estima la relación entre los atributos cognitivos de los examinados (cualquier proceso cognitivo, habilidad o competencia que se considere necesario para resolver correctamente el problema) y los diferentes atributos necesarios para resolver los elementos de la prueba. Por otra parte, el MDC permite que cualquier elemento refleje más de una variable latente al mismo tiempo. Las interacciones entre variables latentes se pueden modelar con flexibilidad, lo que confiere a este enfoque mayor autenticidad para abarcar multidimensionalidad de los ítems.

Según el Prof. Collares, “las críticas sobre los paradigmas psicométricos que se utilizan actualmente en la educación de las profesiones de la salud incluyen reclamaciones de reduccionismo, objetivación y cumplimiento deficiente de los supuestos”. Sin embargo, la limitación más importante proviene de la dificultad de los alumnos para interpretar las puntuaciones numéricas y el impacto perjudicial de estas sobre ellos. Por ejemplo, se puede asignar una buena puntuación incluso si la respuesta correcta se obtiene utilizando un proceso cognitivo incorrecto, las rutas erróneas pueden conducir a una respuesta correcta y una puntuación de cero en una escala binaria es independiente del grado de malentendido que resulte en la respuesta incorrecta.

Como sucede en la evaluación programática, un enfoque en el que la información sobre la competencia y el progreso del participante se recopila y se analiza continuamente para permitir decisiones de alto riesgo al final de una fase de capacitación, el MDC  se diferencia de los paradigmas psicométricos más antiguos al proporcionar una retroalimentación de diagnóstico significativa. Clasifica a los examinados atendiendo a su dominio o no dominio de un gran número de atributos categóricos latentes específicos. Como resultado, el aprendizaje adaptativo con fines formativos es posible y la tutorización se torna más inteligente.

Pero, ¿cómo aprobarían los alumnos en un marco de evaluación basado en el diagnóstico cognitivo? En opinión del Prof. Collares, “probablemente se otorgaría una calificación de aprobado de acuerdo con las competencias o los atributos cognitivos demostrados y no simplemente en función de la puntuación obtenida”. El número de falsos positivos y falsos negativos podría estimarse mejor e incluso reducirse. Del mismo modo, las puntuaciones asociadas con la clase latente en la que se han demostrado todos los atributos de interés podrían informar una puntuación de corte basada en el diagnóstico cognitivo. “Mis primeros intentos de usar MDC para establecer estándares sugieren que la evaluación programática no es un lujo sino una necesidad”, enfatiza el psicometrista.

Aplicabilidad a Practicum Script

El MDC  permite medir los diferentes procesos cognitivos involucrados en el razonamiento clínico. “En el artículo —expresa el Prof. Collares—, hablo de dos tipos de razonamiento: inductivo y deductivo; el quid de la cuestión es que la mayoría de las pruebas se enfocan en el razonamiento deductivo y las preguntas que requieren razonamiento inductivo pueden ser disfuncionales en los análisis psicométricos unidimensionales tradicionales”. Este enfoque ignora el fenómeno de la especificidad de la tarea. Practicum Script, en cambio, proporciona una amplia variedad de ejercicios que estimulan ambos tipos de razonamiento e incluso otro: la heurística. El simulador presenta una evaluación de todas las etapas del razonamiento clínico, todas decisivas para el futuro facultativo.

En este sentido, para el Prof. Collares, “en la valoración de la heurística disponible en los ejercicios de aplicación del conocimiento de Practicum Script queda muy claro que la competencia es específica, no genérica, lo que confirma el fenómeno de la especificidad que se viene observando hace más de 40 años. ” Para él, “en lugar de ignorar este fenómeno, el MDC nos permitió abrazarlo en Practicum Script, por lo que estoy muy orgulloso de lo que pudimos lograr con el uso del MDC  en el trabajo conjunto entre la Fundación Practicum y EBMA”.

Comprender las estructuras de conocimiento y permitir una medición detallada de atributos cognitivos complejos debería tener implicaciones claras y servir como base racional para el diseño instruccional, la evaluación formativa y la mejora de la educación en general. De lo contrario, la mejora sigue siendo en gran medida un proceso de prueba y error. El Prof. Collares considera que “un currículo basado en competencias debe enfatizar lo que se espera que hagan los alumnos en lugar de principalmente lo que se espera que sepan”. En principio, dicho plan de estudios está centrado en el alumno y se adapta a las necesidades cambiantes de los alumnos, los docentes y la sociedad.

Referencia

Collares, C. Cognitive diagnostic modelling in healthcare professions education: an eye-opener. Advances in Health Sciences Education. 2022; 27(10): 427-440.