Pertinencia del uso de las Preguntas de Selección Múltiple con única respuesta (SMUR)

Como único formato en la evaluación del examen de estado para la calidad de la educación superior (ecaes), en medicina*

Gonzalo Franco Ramírez, MD.1; Irma Morales de Casallas, MD.2
1 Pediatra-Docente de la Escuela de Medicina Juan N. Corpas y jefe del
Dpto. de Pediatría de la Clínica Universitaria, del mismo nombre.
2 Pediatra-Neonatóloga-Salubrista Ambiental. Asesora y Consultora docente – asistencial:
Dpto. Pediatría-Servicio Neonatología: Clínica Universitaria Juan N. Corpas.
* Ensayo presentado por los autores, como trabajo final, en el curso de extensión.
“Formación pedagógica en las Ciencias de la Salud”, al Médico Pediatra, Docente y Tutor del tema,
Evaluación: Dr. Edgar Rojas de la Universidad Nacional. Octubre de 2003.

Introducción

Como Médicos, como Pediatras y como Docentes, con mucho años de ejercicio profesional, dedicamos más del 50% del tiempo a enseñar. En primer término a las familias y a los pacientes y en segundo lugar a los alumnos de pre y postgrado que se encuentran en formación en Medicina y Pediatría.

Dentro del proceso de enseñanza, en los dos últimos grupos, mencionados anteriormente, buscamos que adquieran capacidades o competencias en el SER, en el SABER en el SABER HACER y en la COMUNICACIÓN ADECUADA. También en estas áreas debemos evaluarlos.

La verdad es que, en épocas anteriores tenían nombres diferentes pero siempre se han referido a las actitudes, aptitudes y practicas del Ser Humano en el ejercicio de sus realizaciones como persona, como ciudadano y como profesional en formación o en especialización.

Dichas evaluaciones siempre han sido, tanto de tipo cuantitativo como cualitativo, en forma teórica o práctica, en la modalidad oral o escritas. En la realización de estas últimas.

Tradicionalmente han utilizado varios formatos de preguntas o ítems tales como:(1)

Lógicamente, los docentes han insistido siempre que lo importante en el proceso de formación de los estudiantes en general y de Medicina en particular no es prepararlos para responder y “pasar” un examen, sino, lograr con ellos y en ellos capacidades y competencias para lograr el reto que implica la definición del mantenimiento de la Salud Humana: “Completo Equilibrio Físico o Biológico, Mental y Social”.

Si bien es cierto, en el momento actual, no hemos obtenido ese completo equilibrio, si es mucho lo que podemos hacer para lograr el máximo porcentaje posible, en cada individuo de cuya Salud seamos responsables.

Por tanto, la competencia de nuestros alumnos deben llevarlos a enfocar y resolver por sí mismos o con un grupo interdisciplinario y lógicamente basados en la mejor evidencia, los principales tópicos y problemas en promoción y prevención de la Salud, en diagnóstico y tratamiento médico- quirúrgico y en habilitación – rehabilitación, en los diferentes gra-dos de enfermedad (leve, moderada o severa).

En el prólogo de “Colombia a Prueba” (2), texto recientemente publicado por la Asociación Nacional de Rectores y Colegios Privados (ANDERCOP), sus autores, consideran que la cultura de la evaluación es una condición necesaria en el camino a la excelencia.

Los docentes y estudiantes como constructores y reconstructores de conocimientos y cultura:

Son los llamados a desplegar con arraigo y entereza los desarrollos necesarios para que la evaluación mantenga la figura de evidenciar fortalezas y debilidades del proceso educativo, con el objetivo de caminar con paso seguro en el marco del mejoramiento continúo, para obtener el tan anhelado desarrollo sostenible que únicamente se hace posible, con base en trabajo sobre el valor agregado que sólo puede producir el conocimiento y que se refleja en productividad de ciencia y tecnología aplicadas a la economía para orientar a los pueblas hacia el mejoramiento de su calidad de vida.

En la serie de artículos publicados por la revista Británica de medicina, titulada en general como el ABC de la Enseñanza Aprendizaje en Medicina, correspondiente a marzo de 2003 (“Evaluación escrita”), se hace énfasis, con base al resultado de muchos estudios científicos, en que es un concepto erróneo la creencia de que el formato de las preguntas determina la evaluación del conocimiento.

Sin embargo, concluye que no es simple la elección del mejor tipo de pregunta para un examen particular y que requiere un balance cuidadoso entre costos y beneficios. Un programa de estimación del conocimiento, bien diseñado, utilizará diferentes tipos de preguntas apropiadas al contenido que va a ser evaluado (3).

De otro lado, en el documento enviado en el presenta año, por El Instituto Colombiano para el Fomento de la Educación Superior (ICFES)* y por La Asociación Colombiana de Facultades de Medicina (ASCOFAME),(4):

A las entidades de educación superior y que se titula “ORIENTACIONES BÁSICAS PARA LA ELABORACIÓN DE PREGUNTAS DE TIPO OBJETIVO EN LA EVALUACIÓN DE COMPETENCIAS EN EL ÁREA DE LA MEDICINA” = Examen de Estado para la Calidad de la Educación Superior (ECAES) en Medicina, se anota en su introducción que “… tiene por objeto apoyar a los docentes que elaboran preguntas de evaluación de tipo objetivo (específicamente de selección múltiple) destinadas a conformar las pruebas que se emplearán para llevar a cabo el ECAES en Medicina”.

En dicho documento se recuerda que a partir del año 2002 y de acuerdo a lo estipulado en los artículos 7 y 17 del decreto 1716 de 2002 de MINEDUCACIÓN, es obligatoria la presentación de estos exámenes para todos los internos.

Ante esta disyuntiva nos preguntamos si, ¿nos encontramos frente a una contradicción o en realidad se trata de un instrumento útil que nos permite complementar (no reemplazar), el proceso de evaluación del estudiante de Pregrado en Medicina?

Para aproximarnos a la respuesta, revisaremos con mayor detenimiento el documento enviado por ICFES– ASCOFAME, así como otros conceptos relacionados (5):

Según el artículo 20, del mismo decreto, los objetivos generales del ECAES en medicina son:

• Comprobar niveles mínimos de conocimientos de los estudiantes de pregrado en medicina.
• La homologación y convalidación de títulos de educación superior realizados en el exterior.

Además, al ser publicados los resultados por el gobierno nacional (artículo 10), servirán como indicadores para:

• Incentivar a las instituciones de educación superior en la tarea permanente de introducir mejoras en los programas y servicios que ofrecen.
• Orientar a la comunidad sobre calidad, cantidad y características de los programas de medicina y de los egresados de estos.
• Permitir conocer, a los potenciales usuarios de la educación superior, el rendimiento y desempeño que alcanzaron los estudiantes en el examen según las instituciones a las que pertenecen.

La acción evaluativa del ECAES revelará el estado de los internos, en cuanto a dominio de com-petencias acumuladas, hasta ese momento, en su proceso de formación como médicos.

El examen debe mirarse como una posibilidad para el mejoramiento de cada persona y de cada programa y como parte de un conjunto de instrumentos:

(«Acreditación Voluntaria de la Calidad de Programas Académicos» y el «Cumplimiento de Estándares de Calidad de Programas Académicos de Pregrado en Ciencias de la Salud»), para la evaluación de la calidad de los programas.

El examen se ha ajustado a las demandas generadas por el avance de los conocimientos científicos y pedagógicos de integración básico clínica y ha sido fortalecido con la cualificación del proceso de diseño de la pregunta y con la evaluación crítica de las aplicaciones realizadas, por el grupo de procesamiento de resultados del ICFES.

Es importante tener en cuenta que la propuesta de examen planteada en este documento no refleja la estructura curricular de las facultades de Medicina, pero si evalúa la formación que se otorga y que se espera de ellas.

La estructura actual obedece a las competencias que se espera que haya desarrollado el estudiante en su formación y que debe aplicar en su práctica.

Claro está, las susceptibles de ser evaluadas en una prueba que se realiza con papel y lápiz.

Este énfasis en lo relacionado con las competencias conduce a mirar el ECAES de una manera distinta lo cual tiene repercusiones directas en el proceso de concepción y formulación de las preguntas.

Ahora adquieren relevancia los contextos, las situaciones de la vida real y los desempeños del médico.

Se considera que para efectos de la elaboración de una prueba evaluativa como el ECAES, se debe partir de un marco de referencia definido por dos componentes:

• Las categorías que aluden a los objetos de referencia en el actuar del campo profesional del médico:

1. Atención al individuo y a la familia.
2. Acciones Médico – Legales.
3. Salud Pública y Medio Ambiente.
4. Acciones Administrativas.
5. Ética y Bioética)

• Las competencias que se refieren a los ámbitos de desempeño (Fundamentación básica, promoción y prevención, diagnóstico, tratamiento, habilitación – rehabilitación), que identifican al médico en relación con las categorías.

Se ha diseñado una Matriz o Tabla de Especificaciones en la cual se ubican en el eje horizontal las categorías y en el eje vertical las competencias que se van e evaluar (ver tabla).

Para el caso específico del ECAES se ha decidido conformar una prueba con 200 preguntas de selección múltiple con única respuesta.
A continuación se incluye la tabla:

*1: Promoción y Prevención – *2: Diagnóstico – *3: Tratamiento – *4: Rehabilitación y Habilitación – *5:Preguntas (totales correspondientes a cada porcentaje).

Las categorías definidas, obedecen al desempeño del médico en la práctica profesional, ya sea para dar respuesta a la necesidad de abordar el perfil epidemiológico y demográfico del país en función del consultante de acuerdo con la etapa del ciclo vital en que se encuentre o a situaciones del desempeño que deben hacerse explícitas tales como aspectos médico legales y éticos.
En un anexo al documento (No 3) (6), se describen las categorías, en forma detallada.

De otro lado, se entiende por competencia educativa el desarrollo de habilidades para manejar sistemas simbólicos en diferentes contextos y con sentido.

Lea También: Manejo de la Hipoxemia Neonatal Severa sin Oxigenación de Membrana Extracorpórea

A continuación se precisan los conceptos resaltados en la oración anterior:

• Habilidades :

  Capacidades de tipo cognitivo, metodológico o técnico y ético para entender y enfrentar una determinada situación. Por ejemplo: la capacidad de abstracción para entender la estructura del DNA: o la aplicación de unas reglas (por ejemplo del método clínico) para solucionar une situación de enfermedad específica.

• Sistemas Simbólicos:

Conjunto de elementos cuya interrelación representa un significado específico. Por ejemplo, los conceptos alrededor de los cuales gira un enfoque determinado de salud o la interpretación de un motivo de consulta y los hallazgos correspondientes (signos y síntomas), para definir una conducta.

• Contextos:

Los medios o circunstancias que contribuyen a otorgar significado especifico a una situación o a un sistema simbólico. Por ejemplo: La interrelación de conceptos básicos que integran une determinada concepción de salud, pueden adquirir un sentido en el caso de personas cuyo pensamiento se rige por criterios de tipo científico y otro en el caso de personas orientadas hacia un pensamiento de tipo mágico – religioso; o desarrollar una acción concreta bajo circunstancias diferentes (un hospital universitario Vs.: un hospital de primer nivel).

• Con Sentido:
  

Es el manejo de las habilidades sobre los sistemas simbólicos. Se hace con coherencia, respondiendo al significado del sistema simbólico y al objetivo que motiva la acción Por ejemplo: plantear un tratamiento que respete y tenga en cuenta la concepción de salud del paciente.

En conclusión, se puede afirmar que la concepción de competencia implica por una parte, la necesidad de comprender un sistema simbólico y por otra parte, contar con las habilidades para actuar sobre ese sistema. De ahí que otra forma de conceptualizar la competencia, afirme que es «un saber que se manifiesta en un saber hacer».

Esto quiere decir que la competencia se «hace visible» en un actuar, en un desempeño, que necesariamente supone un «saber» o fundamentación. Por ejemplo, un médico se revela como competente cuando es capaz de elegir un determinado tratamiento debidamente sustentado.

De manera tácita todos los currículos, tengan el abordaje que tengan, deben responder a la necesidad de formar en unas competencias que sustenten el desempeño profesional.

Con base en esta aproximación general sobre el concepto de competencia, desde el ángulo global del proceso de formación del médico deber considerarse cuatro tipos de competencias, a saber:

COMPETENCIAS REFERIDAS AL SER:

Tienen que ver con todas aquellas capacidades del médico en el campo de su desarrollo como persona, como actor social y como profesional que cumple un rol determinado y que en desempeño de ese rol entra en contacto con otras personas (los pacientes, por ejemplo) y con otros profesionales.

Estas capacidades implican una conciencia ética y una deontología particular. Las competencias referidas al ser se constituyen en un horizonte para entender el sentido humano de la acción del médico.

COMPETENCIAS REFERIDAS AL SABER:

Son las capacidades del médico en cuanto al dominio de unos conocimientos que desde un punto de vista científico, fundamentan su desempeño profesional. El dominio de estas competencias otorga al médico, entre otros aspectos, la posibilidad de un desarrollo clínico informado y de llevar a cabo acciones de investigación.

COMPETENCIAS REFERIDAS AL SABER HACER:

Aluden a las capacidades específicas que identificar al médico desde un punto de vista profesional propiamente dicho, diferenciándolo de otros profesionales. Se visualizan, en general, en todas aquellas acciones que desde lo clínico, lo administrativo y lo investigativo se orientan a preservar la salud y tratar la enfermedad.

COMPETENCIAS REFERIDAS AL COMUNICAR:

Tiene que ver, por una parte, con la capacidad del médico para percibir y entender necesidades específicas que en cuanto a salud y enfermedad vive y manifiesta un paciente o una comunidad y por otra parte, con la habilidad para transmitir su saber y sus acciones de manera que sean claros para los pacientes o las comunidades respondiendo de manera efectiva a sus necesidades. En esta competencia se incluye desde la capacidad para realizar una adecuada anamnesis hasta la capacidad para escribir artículos científicos, que den cuenta de sus procesos de investigación.

El ECAE, únicamente evalúa la parte cognitiva de las competencias en el Ser, en el Saber y en el Saber Hacer. Lógicamente no es posible evaluar la parte práctica en el Ser y en el Comunicar, puesto que el instrumento (examen escrito) no es apropiado para evaluarlas.

En general:

1. Las competencias que se refieren al SABER:

• Principalmente se relacionan con la FUNDAMENTACIÓN BÁSICA que debe tener el médico.
• Constituyen el conocimiento que sustenta la formación y el quehacer clínico del médico a través del desarrollo del componente de ciencias básicas aplicadas al razonamiento clínico y que tienen que ver con la estructura y función normal y anormal del ser humano y de su interacción con microorganismos, sustancias o elementos físicos del medio ambiente.

2. Las competencias que se refieren al SABER HACER:

• Principalmente se relacionan con los ASPECTOS CLÍNICOS y ADMINISTRATIVOS del desempeño del médico.
• En los dos casos, tienen que ver con el campo de acción que es más propio del médico y con el cual se le identifica social y académicamente (aspectos como anamnesis, examen físico, impresión diagnóstica, solicitud e interpretación de paraclínicos, diagnóstico,conducta terapéutica, identificación del nivel de atención que requiere el paciente, etc.).
• Las competencias específicas, necesarias para un adecuado desempeño clínico, se subdividen en aspectos relacionados con el mantenimiento y la recuperación de la salud. Es decir, con la promoción de la salud, la prevención de la enfermedad, el diagnóstico, el tratamiento, la habilitación – rehabilitación y el desempeño administrativo (liderazgo, dirección, coordinación, trabajo en equipo, planeación, evaluación, etc).
• Las preguntas específicas para el ECAES deben formularse teniendo en cuenta este marco de referencia: competencias, categorías y acciones específicas que identifican el que hacer médico (Ver la tabla correspondiente a categorías y competencias).

Orientaciones para la Formulación de las Pregunta

• Aspectos Generales:

Para hacer viable la aplicación de la tabla de especificaciones en relación con las categorías y competencias, se identificó un perfil de desempeño y posteriormente un núcleo curricular que se traduce en núcleos temáticos, enmarcados en las categorías mencionadas y que son evaluados, como se mencionó anteriormente, en función de las competencias, saber y saber hacer (aspectos cognitivos) y en las áreas de fundamentación básica, clínica y de gestión.

Por tanto, se va más allá del enfoque por asignaturas y se pasa a evaluar contenidos en función de las competencias mencionadas.

Se sugiere que al interior de las facultades se propicien espacios que permitan el trabajo conjunto entre docentes de ciencias básicas y clínicas así sea en pequeños grupos para el diseño y discusión de las preguntas de modo integral.

La realización de las preguntas, como parte de un área o asignatura, se hará, con base a la especificación inicial que aparece en este ejemplo:

Competencia a evaluar:
Diagnóstico.

Categoría:
Atención al Individuo y la Familia.

Subcategoría:
Atención Neonatal.

Núcleo Temático:
HIPOXIA NEONATAL.

Lo anterior permitiría evaluar el área de ciencias básicas desarrollando preguntas sobre FUNDAMENTACIÓN de las mismas (tales como anatomía de la circulación fetal, fisiología y bioquí-mica de la circulación pulmonar, etc.).

En el ÁREA CLÍNICA:

Desde la Promoción y Prevención (con preguntas sobre control del embarazo, detección de factores de riesgo, uso de corticoides para maduración pulmonar, entre otras).

En los aspectos de Diagnóstico (interpretación del puntaje de ÁPGAR, valoración neurológica, detección precoz de problemas asociados con alteraciones de crecimiento y desarrollo, etc.).

Tratamiento (uso de oxigenoterapia, medidas de soporte metabólico, criterios de remisión, etc.) En Habilitación (podrían tratarse aspectos de crecimiento y desarrollo, estimulación adecuada, remisión para manejo especializado, etc.).

En el área de SALUD PÚBLICA (puede hacer preguntas sobre carga de la enfermedad, acciones para disminuir los factores de riesgo, programas de salud pública, PAB, etc.).

Los aspectos de SALUD MENTAL Y ATENCIÓN FAMILIAR (las preguntas podrían estar relacionados con atención a la familia, abordaje de la crisis familiar, soporte psicosocial, elementos de Psiquiatría de enlace, etc.).

En el caso de LA ÉTICA Y LA BIOÉTICA (aspectos relacionados con el consentimiento informado, autonomía, beneficencia, no maleficencia, justicia, etc.).

Es posible que todos los núcleos temáticos no resulten pertinentes para algunas áreas o asignaturas (por ejemplo, para acciones administrativas, no aplicarían las competencias correspondientes a la dimensión clínica).

La anterior forma de abordar el diseño de las preguntas, tampoco significa que por ejemplo para el caso escogido de HIPOXIA NEONATAL, se deban incluir todas las preguntas provenientes de las diferentes áreas, sacrificando otros núcleos temáticos, al momento de diseñar el examen.

Algunos otros ejemplos anotados:

Competencia a evaluar:
Promoción y Prevención.

Categoría:
Atención al Individuo y la Familia.

Subcategoría:
Atención del adulto.

Núcleo Temático:
HIPERTENSIÓN ARTERIAL.

Competencia a evaluar:
Fundamentación Básica.

Categoría:
Acciones Médico-Legales.

Subcategoría:
Núcleo Temático:
LESIONES PERSONALES.

• Aspectos Específicos en ECAES en Medicina:

El ECAES en Medicina está conformado por preguntas de Selección Múltiple con Única Respuesta (SMUR). Este tipo de preguntas se encuentra dentro de las denominadas de «tipo objetivo»*.

Estas deben estructurarse teniendo cuanta las orientaciones que se presentan a continuación:

* El campo de las preguntas de «tipo objetivo» es muy amplio (verdadero- falso, hecho – opinión, correspondencia, selección múltiple con múltiple respuesta, etc.)

La decisión de elegir la pregunta tipo SMUR para la realización de el ECAES, se basa en que, por una parte. Ofrece muy buenas posibilidades en cuanto al control sobre la adivinación y por otra parte, la mayoría de los estudiantes de los programas de Medicina. Han trabajado con este tipo de preguntas, lo cual elimina distorsiones en el puntaje de la prueba, derivadas de la falta de experiencia en su manejo.

Pero, es necesario advertir que la denominación de «objetiva» obedece a que su calificación, prácticamente no permite equivocaciones. Y en ningún caso alude a que represente la verdad o que esté exenta de algún tipo de interpretación subjetiva.

Elementos

Para describir los elementos a tener en cuenta en la formulación de cada pregunta, se presenta el siguiente ejemplo:

Competencia a evaluar:
Aspectos Clínicos: Diagnóstico.

Categoría:
Atención al Individuo y la Familia.

Subcategoría:
Salud del niño (Adolescente).

Núcleo Temático:
ENFERMEDAD DE TRANSMISIÓN SEXUAL.
Para cada pregunta, se explican los pasos, con base al ejemplo anteriormente enunciado (Ver tabla página anterior).