Después de un minucioso análisis psicométrico realizado por el psicometrista de la Junta Europea de Asesores Médicos (EBMA, por sus siglas en inglés) Carlos Collares, Practicum Script ha sido respaldado en términos de validez, confiabilidad y aceptabilidad. La conferencia anual de EBMA, celebrada en Helsinki (Finlandia) del 10 al 12 de noviembre, fue la oportunidad de compartir esta buena noticia con una breve comunicación del Prof. Collares, quien dejó un mensaje: “Practicum Script puede contribuir a mejorar las decisiones  de los futuros médicos al ayudar a los estudiantes a desarrollar habilidades de pensamiento efectivas para lidiar con la complejidad y la ambigüedad en la práctica clínica”.

Helsinki - 15 de noviembre de 2022. Cada año, la conferencia EBMA es una oportunidad muy valiosa para que quienes participan en la evaluación de la educación médica se reúnan, aprendan y compartan sus experiencias. Este año Practicum Script dio a conocer los resultados psicométricos de su aplicación a nivel de grado. Los hallazgos respaldan la conclusión de que “Practicum Script es un recurso útil para ayudar a los estudiantes a fortalecer sus habilidades de razonamiento clínico y su capacidad para manejar la incertidumbre en la práctica clínica, con evidencia de confiabilidad y validez, además de un alto nivel de aceptabilidad”. El Prof. Carlos Collares tomó la palabra en una intervención matinal el sábado 12 de noviembre.

En una convocatoria centrada en “Paradigmas en evaluación”, EBMA acogió el trabajo realizado junto con la Fundación Practicum, que es la desarrolladora integral del simulador de razonamiento clínico Practicum Script, para desarrollar enfoques efectivos adaptados al desarrollo de las habilidades de pensamiento clínico. Según el Prof. Collares, “actualmente no existen enfoques estandarizados para la evaluación de las habilidades de razonamiento clínico y Practicum Script representa una oportunidad única para abordar el entrenamiento cognitivo y su medición”.

De acuerdo con el hilo expositivo del Prof. Collares, Practicum Script es una solución electrónica educativa innovadora dirigida a estudiantes de medicina y anteriormente a CME/CPD. Está diseñada para fomentar el razonamiento y el aprendizaje experiencial de los usuarios a través de casos clínicos desafiantes en los que el juicio clínico de los expertos a menudo diverge. El modelo presenta una evaluación integral de las diferentes etapas de las habilidades para la toma de decisiones, desde la generación de hipótesis hasta su evaluación, que involucra un enfoque probabilístico, un modelo de retroalimentación basado en la opinión de expertos y medicina basada en evidencia, así como un debate clínico continuo entre participantes.

La investigación se centra en los datos reunidos a través del estudio multicéntrico internacional conocido como Practicum Universities. “La metodología fue simple: 1) respuesta individual de los 20 casos clínicos que componen la propuesta, 2) evaluación de la satisfacción y percepción de los estudiantes sobre los beneficios potenciales de Practicum Script y 3) análisis de datos”, detalló el Prof. Collares. Casi 2.500 estudiantes de medicina (2.457) de 21 facultades de medicina participaron de forma voluntaria en este gran esfuerzo para investigar la viabilidad del uso de Practicum Script como metodología de entrenamiento en razonamiento clínico en la enseñanza y evaluación de grado.

En cuanto a la participación de los estudiantes, 1502 estudiantes (61 % de los 2457 originales) completaron el piloto y el 89,5 % de una muestra de 380 calificó la experiencia como excelente o muy satisfactoria, mientras que el 82,1 % manifestó su disposición a incorporar la metodología a su plan de estudios. En una encuesta, los estudiantes valoraron Practicum Script como un buen modelo de simulación relevante para su futura práctica y especialmente conveniente para el aprendizaje autodirigido. En general, estuvieron de acuerdo en que ayuda con la transferencia de conocimientos teóricos a situaciones de la vida real.

Análisis de los datos

Los ítems de Practicum Script se clasificaron en tres dimensiones: generación de hipótesis (GH), argumentación de hipótesis (AH) y aplicación del conocimiento (AC)”. Las estimaciones de confiabilidad se calcularon utilizando los coeficientes alfa de Cronbach y omega de McDonald, y la validez basada en la estructura interna se obtuvo mediante análisis factorial confirmatorio (CFI, TLI, RMSEA, SRMR). Además, los ítems del dominio AC se analizaron utilizando modelos de diagnóstico cognitivo (MDC), que el Prof. Collares destaca que significa que “se creó y validó una matriz Q, basada en el tipo de atributos cognitivos necesarios para la resolución de los ítems, utilizando el método de porcentaje de varianza contabilizado”.

Las estimaciones de confiabilidad para las tres secciones fueron altas, con intervalos de confianza estrechos y el alfa de Cronbach y el omega de McDonald arrojaron valores similares (tabla 1, en inglés). El análisis factorial confirmatorio reveló índices de bondad de ajuste aceptables para el modelo de tres factores (CFI = 0,95; TLI = 0,94; RMSEA = 0,03, SRMR = 0,05). El modelo mostró correlaciones significativas de moderadas a altas entre los constructos medidos por la prueba, con un coeficiente de 0,83 para la correlación entre GH y AH, un coeficiente de 0,75 para la correlación entre GH y AC y un coeficiente de 0,71 para el coeficiente de correlación entre AH y AC.

Para Collares, “el análisis del MDC de los ítems de AC dio como resultado un buen ajuste absoluto de la prueba en términos de RMSEA (0.05) y SRMR (0.09)”.

Los resultados de este estudio demostraron un alto nivel de confiabilidad para las tres secciones de Practicum Script (GH, AH y AC) y evidencia de la validez del programa basado en su estructura interna y procesos de respuesta. En palabras del Prof. Collares, “dados los altos niveles de aceptabilidad, validez y confiabilidad de Practicum Script, se puede inferir que tiene un alto nivel de utilidad educativa para que los estudiantes de grado desarrollen sus habilidades de razonamiento clínico y para que los docentes y actores institucionales evalúen habilidades de razonamiento clínico en el grado”.