La próxima conferencia de la Asociación Internacional para la Educación de las Profesiones de la Salud (AMEE), que tendrá lugar a finales de agosto en Basilea (Suiza), presentará el exitoso uso de Practicum Script con fines sumativos. El programa de entrenamiento del razonamiento clínico para estudiantes de medicina ha demostrado recientemente una buena fiabilidad, validez y aceptabilidad para la evaluación formativa en un piloto internacional a gran escala publicado en Medical Teacher. Esta presentación se centrará en la aplicación de Practicum Script como componente central del ECOE final de cinco facultades de medicina españolas.

Madrid, 12 de junio de 2024. Afrontar la incertidumbre clínica es un requisito clave para los médicos recién licenciados. Sin embargo, los exámenes son limitados a la hora de evaluar el juicio clínico y la gestión de la ambigüedad en la práctica clínica. Además, los ECOEs tradicionales no son capaces de medir los procesos de razonamiento más allá de los resultados observados. Reconociendo la distancia entre los requisitos para un rendimiento clínico óptimo de los graduados y los métodos de evaluación, en 2020 cinco facultades de medicina españolas integraron Practicum Script en su ECOE final para medir las habilidades cognitivas en la toma de decisiones en situaciones inciertas. ¿La conclusión? Es eficaz y tiene una buena capacidad de discriminación.

"Assessment of clinical reasoning in uncertain situations in a high-stakes OSCE: results of a multicenter experience" describe la utilidad de Practicum Script para evaluar las habilidades de razonamiento y resolución de problemas de estudiantes universitarios de último año. El examen, hoy conocido como PS-ECOE, consistió en una prueba de 3 horas con 10 casos clínicos de medicina interna, relativos a diagnósticos, investigaciones y tratamientos. Previamente, los alumnos se familiarizaron con la metodología de Practicum Script gracias a un ciclo formativo de 5 semanas consistente en otros 10 casos. Durante su entrenamiento, la retroalimentación se basó en opiniones de expertos y evidencias científicas.

Los casos utilizados para esta experiencia fueron validados por 20 internistas experimentados de 16 facultades de medicina de Estados Unidos, Latinoamérica y Europa. Los casos para el examen fueron seleccionados mediante el acuerdo de un comité interfacultativo, compuesto por profesores de medicina interna de la Universidad Francisco de Vitoria, la Europea de Madrid, la Cardenal Herrera de Castellón, la de Zaragoza y la Internacional de Cataluña (UIC). El grupo revisó el pool diseñado para un estudio piloto internacional a gran escala y eligió 10 casos relevantes, poniendo especial atención en lograr un buen equilibrio entre los dominios clínicos y los tipos de decisiones que requieren los médicos noveles.

Durante el examen, los casos clínicos se presentaron a los estudiantes de forma consecutiva, pero en un orden aleatorio para minimizar los riesgos de copia y fraude. En total, 654 estudiantes realizaron el examen PS-ECOE. Con un tiempo medio de 18 minutos por caso, se pidió a los alumnos que generaran tres hipótesis en formato de "texto libre" y las justificaran. Posteriormente, debían informar, en 5 escenarios diferentes, de cómo nuevos datos podrían afectar a la probabilidad de sus hipótesis originales.

La nota final y la calificación de los alumnos se basaron en la generación de hipótesis (GH), la argumentación de hipótesis (AH) y la aplicación de conocimientos (AC). Las estimaciones de fiabilidad de la prueba completa fueron buenas (alfa de Cronbach=0,784, IC 95%=0,765-0802; omega de McDonald= 0,828, IC 95%= 0,801-0,849). Los ítems de AC se analizaron mediante modelización diagnóstica cognitiva, que según el psicometrista del European Board of Medical Assessors, y presentador de esta comunicación, el Dr. Carlos Collares, "constituye un enfoque revolucionario que permite la clasificación diagnóstica de los examinandos sobre la demostración de un conjunto multidimensional de atributos cognitivos."

Asimismo, la precisión a nivel de prueba alcanzó el 0,67 y las notas de corte se determinaron en función de la puntuación media y las desviaciones típicas. La puntuación media fue de 7,83 (mín=4,74, máx=9,86). El rendimiento de los alumnos se clasificó en 3 niveles: bueno=31,8% (+0,5SD), satisfactorio=53,6% (+0,5SD / -1SD) y suspenso=14,6% (-1SD).

Practicum Script marca la diferencia

Los resultados sugieren que Practicum Script puede contribuir a un mejor muestreo y evaluación de las competencias clínicas de los estudiantes de último curso, complementando los defectos de los actuales formatos ECOE para evaluar los procesos de razonamiento. Más allá de los sólidos resultados psicométricos, esta metodología puede ofrecer varias ventajas a las facultades de medicina, como ahorrar tiempo y recursos en la preparación de al menos algunas estaciones del ECOE o ser utilizada ampliamente para los exámenes nacionales de licencia en los que todos los participantes pueden ser examinados simultáneamente, utilizando una metodología estandarizada y los mismos casos clínicos.

Aunque los ECOEs han demostrado ser un buen método de evaluación de algunas habilidades clínicas a través de las interacciones de los estudiantes con pacientes simulados (es decir, examen físico, comunicación, anamnesis, etc.), los formatos tradicionales también tienen importantes limitaciones para evaluar las habilidades de razonamiento. En pocas palabras, los candidatos sólo son evaluados en situaciones rutinarias y bien definidas. No se espera que muestren sus procesos de pensamiento ni la forma en que integran principios del razonamiento bayesiano para la toma de decisiones, y no se ponen a prueba las capacidades de los estudiantes para hacer inferencias en condiciones de incertidumbre. Practicum Script remedia esta laguna.