Read 10binda.pdf text version

Formación médica contínua

Consideraciones sobre el Examen de Preguntas de Opciones Múltiples (Multiple choice)

MaríadelCarmenBinda

INTRODUCCIÓN

La evaluación es una etapa del proceso educacional que tiene como finalidad comprobar de manera sistemática los resultados obtenidos en relación con objetivos especificados con antelación (1) . El examen de Preguntas de Opciones Múltiples (POM) debe comenzar identificando la información o las habilidades más importantes que se desean evaluar, cuidando de mantener una estrecha correlación entre los objetivos del aprendizaje y el contenido del examen. Por su parte, éste último se debe remitir a los conceptos relevantes, evitando evaluar conocimientos triviales o controversiales. Los exámenes de POM deberían incluir tres niveles (2): a) reconocimiento de la información específica; b) comprensión y aplicación del conocimiento; c) resolución de problemas (aplicación del conocimiento y habilidades en la resolución de problemas). En la actualidad, la evaluación de la competencia clínica constituye una de las instancias fundamentales de la Educación Médica. La competencia es una estructura compleja y multifacética que agrupa destrezas, habilidades intelectuales y comunicacionales, actitudes, conocimientos, razonamiento clínico, etc., pero, lamentablemente, la mayor parte de los instrumentos que se utilizan actualmente para su evaluación, no permiten más que una visión parcial de ella (3,4). Redactar exámenes de POM parecería ser la Cenicienta de los artículos médicos, según Kieran Walsh (5), quien, luego de pasar una serie de exámenes de este tipo para obtener su MRCP (Membership of the Royal College of Physicians), se dedicó con gran éxito a su redacción, transformándose en un experto en la materia. Al encarar la redacción de las POM, nos podemos encontrar con una ardua tarea si carecemos de entrenamiento previo. Debemos ser conscientes, sin embargo, de que la escritura de estas pruebas siempre nos brindara un resarcimiento intelectual ya que aumentará significativamente nuestros conocimientos sobre el tema. Previo a la formulación de las preguntas o ítems, es fundamental conocer el tema en profundidad, transformándose esta tarea en una verdadera "puesta al día" en un área determinada.

Luego de la selección del contenido, se pueden resumir los conceptos más importantes que el alumno debe conocer, dando lugar a la formulación de tallos claros y conceptuales. Las POM son una de las formas de evaluación utilizadas en el pregrado de Medicina, en la Carrera de Especialista de Diagnóstico por Imágenes y en los exámenes de Residencias Médicas en nuestro país. Asimismo, el American Board of Radiology y los sistemas de recertificación de varios países europeos aplican módulos de auto-evaluación basados en POM, lo que ha generado un mayor requerimiento de docentes médicos entrenados en su redacción (6). Los principios y normas de redacción de las pruebas de POM están bien documentados; sin embargo, son frecuentes las interpretaciones erróneas y las violaciones de estos principios, como lo demostró un estudio reciente del National Board of Medical Examiners (7). La redacción de estas pruebas depende del desarrollo de objetivos educacionales, definiendo niveles de aprendizaje para cada objetivo, de tal manera que éstos puedan efectivamente ser evaluados. Los contenidos de aprendizaje pueden clasificarse en tres categorías esenciales: conocimientos, destrezas y habilidades. El papel de las POM es importante en la evaluación de conocimientos, limitado en la medición de destrezas y aún no bien establecido en la determinación de habilidades, siempre y cuando la respuesta sea justificada o haya una instancia de justificación de la respuesta (4). El tipo de aprendizaje más importante es el conocimiento, para lo cual debemos recordar y comprender. Los estudiantes no solo deben usar la memoria, sino que deben comprender el significado de los conceptos, principios y procedimientos. Esto los ayudará a pensar crítica y creativamente y los hará capaces de resolver problemas complejos. Para validar el dominio de una destreza, debemos observar una demostración de la misma. En este nivel, el sistema de POM presenta serias falencias. Todo el aprendizaje puede considerarse como parte del proceso de desarrollo de habilidades. Cada habilidad en sí misma es compleja, ya que se basa en los conocimientos y destrezas adquiridas en el pro-

Docente Adscripta de la Fac. Medicina UBA Docente Auxiliar de la Carrera de Especialistas en Diagnóstico por Imágenes de la USAL Jefa del Sector Tomografía Computada del Htal Ramos Mejía Médica de Diagnóstico por Imágenes del Hospital Francés de Buenos Aires Correspondencia: [email protected] Recibido Agosto 2006. Aceptado: Octubre 2006 Received: August 2006. Accepted: October 2006 © SAR-FAARDIT 2006

revista 4 2006_seccion.indd 337

12/20/06 10:10:59 AM

Página337

RAR

Volumen70

Número4

2006

Formación médica contínua

ceso educativo. De tal manera que el logro de conocimientos y destrezas no constituye el objetivo final del acto educativo, solamente el medio para conseguir un fin. Esta es la razón por la cual los exámenes que pretenden medir el nivel de aprendizaje están cada vez más enfocados en las habilidades y no en los conocimientos y destrezas. Lamentablemente los formatos de las POM tienen un papel limitado en la medición de habilidades, salvo en el formato de Conjunto de Preguntas (8).

Guía para la redacción de los exámenes de Preguntas de Opciones Múltiples

Los términos utilizados para nombrar a los diferentes componentes de los exámenes de POM son: a) Ítem: test constituido por un "tallo" y varias respuestas. b) Tallo: puede ser una sentencia o una pregunta. c) Opciones: respuestas d) Distractores: respuestas incorrectas El tallo sólo debe contener información relevante y necesaria, siendo su enunciado conciso y claro. Se debe evitar el uso de palabras o expresiones confusas que lleven a errores de interpretación. Su contenido no debe ser repetido en las preguntas. Debe tener una sola respuesta correcta y, cuando haya más de una opción correcta, se requerirá en el tallo seleccionar "la mejor respuesta". Deben evitarse las preguntas negativas como "cual de las siguientes no es.." o "todas las siguientes excepto"...ya que estas dificultan la comprensión del tallo e inducen a cometer errores. No deberían utilizarse en el tallo o en los distractores términos absolutos, como "siempre, nunca, todos, ninguno"... así como los términos frecuentemente o infrecuentemente, los cuales no tiene una misma interpretación universal. Hay que tratar de colocar dentro del tallo conceptos observables o mensurables usando términos como: determine, explique, identifique, compare. Puede incorporar diagramas, gráficos, o imágenes radiológicas. Cuando se evalué la aplicación del conocimiento, el tallo puede ser más largo. La utilización de datos clínicos e imágenes es una forma excelente de evaluar la aplicación del conocimiento en nuestra especialidad y es el modelo que deberíamos seguir en la redacción de este tipo de examen. Como guía general, los estudiantes tienen que completar 1 o 2 ítems por minuto. Los que requieran más tiempo deben ser examinados cuidadosamente para su corrección, eliminando frases o palabras confusas. Idealmente, cada ítem debería ser contestado sin la necesidad de la lectura de cada respuesta (9). Opciones: el número de opciones conviene que sea de 3 a 5; un número mayor crea confusión al alumno y aumenta el esfuerzo en la redacción del ítem. En las opciones se debe evitar incluir respuestas como "todas son correctas..." o" todas son incorrectas..." Distractores: la redacción de distractores requiere de un profundo conocimiento del tema a evaluar. Los mejores distractores son aquellos que:

1-Responden parcialmente a la verdad pero resultan incompletos para responder a la pregunta formulada. 2-Aquellos que pueden ser posibles pero que son francamente incorrectos. Una forma sencilla de construir distractores es tener como base la pregunta: ¿Cuáles son los errores comunes en la interpretación de este signo o de esta patología? Se deben cuidar los errores gramaticales y tiempos verbales, siempre más frecuentes en la formulación de los distractores que en la opción correcta. La respuesta correcta debe variar en su ubicación (a-b-c- o d) ya que existe una demostrada tendencia a colocar la respuesta correcta en b o c.

TIPOS DE FORMATOS PARA LA CONFECCIÓN DE POM

Los formatos más conocidos para la confección de las POM son(8): 1) POM convencionales 2) emparejamiento 3) verdadero - falso 4) opción alternativa 5) verdadero - falso múltiple 6) POM compleja 7) conjunto de preguntas (miniprueba). 1) POM convencionales. Es el formato más aceptado. Puede ser un enunciado parcial seguido de las opciones o puede ser presentado como una pregunta, con las opciones presentadas como respuestas. Se prefiere el formato en forma de pregunta y una variante interesante -la de la mejor respuesta-, en la cual todas las respuestas son correctas pero una es claramente verificable: "la mejor respuesta correcta". Ej.: La presencia de una opacidad con broncograma aéreo en una Rx de tórax es indicativa de: a) Neumonía b) Aspergilosis pulmonar c) TEP d) Fibrosis pulmonar 2) Emparejamiento. Ej.: Emparejar los diferentes conceptos: a)Neumonía a)Patrón en panal b)Aspergilosis pulmonar b)Oligohemia regional c)TEP c)Broncograma aéreo d)Fibrosis pulmonar d)Nódulo con signo del "Halo" 3) Verdadero-falso a) La ocupación del espacio aéreo con sangre, pus, agua o células determina la visualización de los bronquios, a lo que se denomina broncograma aéreo. V-F b) La fibrosis pulmonar se caracteriza por el broncograma aéreo. V-F 4) Opción Alternativa Ej.: ¿Cuál de los siguientes signos se observa con frecuencia en la ocupación del espacio aéreo? a) Signo de la silueta b) Broncograma aéreo 5) Verdadero ­ falso múltiple. Ej.: Dadas las siguientes opciones, marque A si la considera verdadera y B si le parece falsa:

Página338

RAR

Volumen70

Número4

2006

revista 4 2006_seccion.indd 338

12/20/06 10:10:59 AM

Formación médica contínua

a) La ocupación del espacio aéreo se caracteriza por presentar broncograma en la Rx de tórax. .................................A .................................B b) La aspergilosis pulmonar es frecuente en el paciente inmunocompetente. ..................................A ..................................B c) La fibrosis pulmonar es la evolución natural de los procesos virales. ...................................A ...................................B d) Una Rx de tórax normal descarta el TEP. ....................................A ....................................B 6) POM compleja. Ej.: Este formato no es aconsejable ya que es engorrosa su confección y su lectura. ¿Cuál de los siguientes es considerado un signo de neumonía en la TC de tórax? 1-El broncograma aéreo. 2-Imagen con densidad de partes blandas. 3-Visualización de los márgenes vasculares. A) 1 y 2 B) 1 y 3 C) 2 y 3 7) Conjunto de preguntas (miniprueba): es el formato más novedoso y es el que tiene mayor posibilidades de medir el conocimiento en sus niveles más altos al plantear la solución de problemas o el pensamiento crítico. El conjunto de preguntas presenta una breve descripción del cuadro clínico, seguido de 2 a 12 preguntas en cualquier formato de POM (6). A la exposición del cuadro clínico se le pueden agregar imágenes (Rx, TC, RMI, ecografías, etc.) Ej. Paciente de 27 años con buen estado de salud previo, se presenta con fiebre, escalofríos y tos productiva teñida de estrías sanguinolentas: a) En la Rx de tórax se observa: 1-Ocupación del espacio aéreo en lóbulo superior derecho, con abombamiento de la cisura. 2-Mediastino superior ensanchado. 3-Lesión cavitada apical derecha. b) El hemograma revela: 1-15.000 GB 2- 3.000 GB 3- 7.000 GB c) El diagnóstico es: 1- TBC 2-Linfoma 3-Neumonía neumocócica Este formato de POM, al plantear un caso clínico con distintas posibilidades diagnósticas, intenta no solo evaluar el conocimiento, sino el razonamiento y la solución de problemas, acercándose mucho al

POEM (Prueba Objetiva, Estructurada, Multi-ítem, de Base Común para la evaluación de la Competencia Clínica). Esta prueba constituye una importante alternativa como instrumento de evaluación, aplicado actualmente en el examen final integrado del ciclo clínico de la Facultad de Medicina de la UBA, habiendo sido validado por el Dr. Carlos Brailovsky en el año 2003. Tiene la ventaja de poder ser administrado a gran cantidad de alumnos al mismo tiempo, evaluar la competencia clínica y garantizar validez y confiabilidad de acuerdo con los estándares científico-estadísticos vigentes, con alto impacto en el cuerpo docente, a un costo razonable (9).

CONCLUSIONES

El proceso de evaluación educativa consiste en determinar si los objetivos educacionales propuestos han sido alcanzados y, para ello, debe funcionar como un importante mecanismo de autorregulación y control de calidad de los programas de educación. El examen de Preguntas de Opciones Múltiples constituye una valiosa herramienta para la calificación del alumno cuando está correctamente diseñada y aplicada, cuidando siempre de mantener una estrecha correlación entre los objetivos del aprendizaje y el contenido del examen. Por último, es necesario no olvidar que la evaluación es un proceso dinámico que comienza mucho antes de tomar un examen y finaliza mucho tiempo después...

Bibliografía

1-Lafourcade P. Evaluación del aprendizaje. Buenos Aires: Ed. Kapelusz.1974. 2-Chew F S. Writing multiple choice questions for AJR integrative Imaging. AJR: 2005; 185: S195 3-Braylovsky C. Educación médica, evaluación de las competencias. Aportes para un cambio curricular en la Argentina 2001.UBA. Secretaria de Asuntos Académicos. OPS/ OMS.2001: 103-121 4- Cejas C, Álvarez P. Evaluación de los Resultados del Aprendizaje. Revista Argentina de Radiologia 2006;70(2):149-155. 5- Walsh K. Advice on writing multiple choice questions (MCQs) .BMJ Career Focus 2005; 330:25-27. 6- Collins J. Education Techniques for Lifelong Learning. Writing multiple-choice questions for Continuing Medical Education activities and self-assessment modules 1 Radiographics 2006; 26:543-551. 7-American Board of Radiology. Diagnostic Radiology requirements. http://www.theabr.org/DR_MOC_Req.htm.Accessed January 18,2006 8-Haladyna TM, Haladyna R, Soto CM. Preparación de preguntas de opciones múltiples para medir el aprendizaje de los estudiantes. OEI-Revista Iberoamericana de Educación 2001; 1-17 9-Dresch S, Dastugue M, Parafioriti E, Lanosa G, Torino M. Examen final integrado del ciclo clínico. Análisis y perspectivas. Prens. Med. Argent. 2005;92:319-327.

revista 4 2006_seccion.indd 339

12/20/06 10:11:00 AM

Página339

RAR

Volumen70

Número4

2006

Information

3 pages

Find more like this

Report File (DMCA)

Our content is added by our users. We aim to remove reported files within 1 working day. Please use this link to notify us:

Report this file as copyright or inappropriate

891372