Cees Van der Vleuten descriu cinc criteris per a determinar la utilitat d'un mètode particular d'avaluació:

1fiabilitat (el grau en que la mesura sigui correcta i reproduïble),

2validesa (si l'avaluació mesura el que pretén mesurar),

3impacte educatiu (impacte en el futur aprenentatge i la pràctica),

4acceptació (dels estudiants i professors), i

5factibilitat (els costos: per a l'alumne individual, la institució i la societat en general).

Cal tenir en compte però, que aquests criteris no son inherents o intrínsecs a l’instrument en sí, sinó que son influïts també per d’altres variables de l’aplicació en el context concret en què s’utilitza.

Sigui com sigui, tots els mètodes d'avaluació tenen fortaleses però també limitacions. Així, és l’ús de múltiples observacions i de diversos mètodes d'avaluació diferents amb el temps, que pot compensar les falles i/o mancances en un o altre mètode i ajustar a la realitat els resultats de l’avaluació.

A mode d’eina (caixa d’eines), la taula següent recull 8 dels instruments més emprats per a l’avaluació en educació medica, amb una descripció breu de les seves indicacions i algunes de les seves limitacions i particularitats:

(Cliqueu la imatge per baixar-vos la taula completa)

Article sota Avaluació a l'eFormació

Models d'avaluació i el seu interés en Educació Mèdica

L’avaluació en educació medica (de fet, en qualsevol tipus d’educació) constitueix un camp molt ampli i alhora complexe d’estudi i d’aplicació.  Molt ampli ja que el concepte incideix i es relaciona en àmbits i aspectes tan diversos com poden ser la satisfacció de la formació, l’avaluació d’aprenentatges i/o la certificació, els sistemes de garantia de la qualitat dels programes i ensenyaments, les polítiques educatives, etc.  Complexe en el sentit que cal tenir-hi en compte variables sovint de naturalesa diversa.

Per parlar de models d’avaluació en aquestes ratlles però, centrarem el terme en l’avaluació d’accions formatives, en l’avaluació d’aprenentatges i competències professionals.

Podríem dir que, d’alguna manera, l’avaluació sempre ha estat present en la formació: des d’una llarga tradició educativa que reduïa els processos d'avaluació a la certificació dels aprenentatges i que relacionava l'avaluació amb els sistemes de control, fins a l’actual concepció de l’aprenentatge en que l’educació s’orienta a partir dels resultats de l’aprenentatge, que no son més que les competències previstes ja avaluades.

Amb l’actual concepció però, l’avaluació no només hi és present, sinó que forma part intrínseca de la formació.  Així, cal planificar el sistema d’avaluació de forma imbricada a la planificació de la formació.

Planificar un sistema d’avaluació per a la formació s’orienta a partir d’algunes preguntes clau: "què", "per a què", "qui", "quan" i "com" s’avalua.

L’ús de models teòrics ajuda en la definició de l’objecte d’avaluació, és a dir, a respondre la primera de les preguntes clau, el "què" s’avalua?.

Existeixen molts i diversos models.  Alguns dels més usats pels educadors (i pels educadors en ciències de la salut) serien el Model de Kirkpatrick (1959), el de Miller (1990) o la Taxonomia de Bloom (1956) revisada als anys 90 pels seus deixebles en Lorin Anderson i en David R. Krathwhol.  Vegem-ne una breu caracterització de cada un d’ells.

Models d’avaluació

Model de Kirkpatrick (1959)

Donald Kirkpatrick desenvolupa el seu model centrat sobretot en la formació de postgrau i el desenvolupament professional (DP). L’objecte d’avaluació d’aquest model és l’acció formativa al complet.

Segons l’autor, hi ha 4 nivells a tenir en compte alhora d’avaluar una formació:

• Nivell 1. Reacció (avaluació de la reacció o satisfacció). 
  Informa sobre el grau de satisfacció dels participants en una formació.
• Nivell 2. Aprenentatge (avaluació de la competència).  
  Avalua el nivell d’assoliment dels aprenentatges previstos en la formació, de la competència adquirida.
• Nivell 3. Conducta (avaluació de la conducta o transferència).  
  Avalua la transferència dels aprenentatges adquirits en un procés de formació cap al lloc de treball del participant.
• Nivell 4. Resultats (avaluació de resultats o impacte).
  Avalua l’impacte de la formació en la població i la societat.

Els dos primers nivells, satisfacció i aprenentatge, s’apliquen de forma directa a l’acció formativa, i son, per tant, relativament fàcils de valorar.

L’avaluació es complica en el nivell 3.  A banda de la competència professional, hi ha molts altres factors que influeixen en la qualitat de l’acompliment laboral i que fan que no sigui possible establir una relació causal biunívoca entre aquesta qualitat i la formació rebuda.

I si atribuir canvis en la conducta professional conseqüència de la formació ja és difícil, molt més ho és l’intent d’avaluar l’impacte que una formació té a la societat, on les variables biaix es multipliquen.

Piràmide de Miller (1990)

En l’àmbit de l’educació medica i referit a l’avaluació de la competència professional, l’esquema més difós i seguit és el de la Piràmide de Miller.

Segons Miller, hi ha 4 nivells de la competència professional:

• Nivell 1. Saber (knowlege).  
  Correspon a la primera part cognitiva de la competència i representa el coneixement en abstracte.
• Nivell 2. Saber com (competence).  
  Encara dins el nivell cognitiu de la competència, aquest estadi fa referència al coneixement contextualitzat, i inclou habilitats del tipus de presa de decisions i raonament clínic.
• Nivell 3. Mostra com (performance).  
  Aquest estadi inclou ja el comportament, l’habilitat.  Fa referència a un comportament contextualitzat però  en contextos simulats (no reals)
• Nivell 4. Fer (action).
  En el vèrtex superior de la piràmide, Miller hi situa l’expressió completa de la competència: el fer i en contextos reals.

Notar que la piràmide de Miller fa referència als Nivells 2 i 3 que citava Kirkpatrick.  Miller es centra en l’avaluació de la competència professional:; Kirkpatrick fa extensiva l’avaluació a tota l’acció formativa.

L’actual gran repte de l’avaluació, al que s’enfronten els educadors i els especialistes en l’avaluació de la competència professional, és aquesta avaluació del darrer estadi de la Piràmide de Miller, l’avaluació del fer professional en contextos reals.

Taxonomia de Bloom (1956) i la seva revisió per part de Anderson i Krathwohl (90’s)

Al 1956, el psicòleg Benjamin Bloom va desenvolupar una taxonomia d’objectius educatius, l’estructura del qual representa el procés d’aprenentatge en els seus diferents nivells. La taxonomia inclou només la dimensió cognitiva dels diferents dominis psicològics (cognitiu, afectiu i psicomotor) i categoritza i ordena les habilitats de pensament i objectius. Així, la proposta de Bloom és un continu que parteix de les  habilitats d’ordre inferior i va cap a les d’ordre superior. Bloom descriu cada categoria amb un substantiu i les ordena en orde ascendent, d’inferior a superior.

Als anys 90, Anderson i Krathwolh, deixebles de Bloom, revisen aquesta taxonomia.

Un dels aspectes claus d’aquesta revisió és l’ús de verbs en lloc de substantius per a cada categoria. L’altre, el canvi en la seqüència d’aquestes dins la taxonomia. Un altre element a destacar és que, en la revisió, els autors consideren superior la creativitat a l’avaluació dins el domini cognitiu. La taxonomia de Bloom (i la seva revisada) es centra en aprenentatges específics relacionats amb l’àrea del coneixement.  D’altres dominis més transversals, com podria ser tot l’espectre de la comunicació (col·laborar, negociar, debatre, moderar,…) es consideraren presents a totes les categories de Bloom. Sigui com sigui, l’ús d’aquesta taxonomia permet engrunar les habilitats de pensament en una seqüència progressiva.  Cada estadi permet associar-hi activitats específiques d’aprenentatge i, per tant, activitats que siguin instruments d’avaluació per a valorar-ne el seu assoliment.

Vegem doncs com l’ús de models teòrics, pel fet d’estructurar, sistematizar i caracteritzar el procés formatiu, ajuda no només en la definició de l’objecte d’avaluació (el què s’avalua?) sinó que també orientarà en els possibles instruments que siguin adequats per a portar-la a terme, permetent prendre decisions per a la millora que, en definitiva, és la finalitat última de l’avaluació.

Consulteu també:

• Nolla-Domenjó, M. (2009). “La evaluación en educació médica. Principios básicos”. Viguera Editores, S.L, EDUC MED 2009: 12(4) 223-229.
• Miller, G. (1990) Invited Rewiews. “The Assessment of Clinical Skills/Competence/Performance”
• Churcher, A. (Eduteka). “Taxonomia de Bloom per a l’era digital”.

Instruments d'avaluació a l'ABP

Els instruments d'avaluació són aquells mecanismes que ens permeten obtenir informació sobre la situació d'aprenentatge de l'aprenent.

Dins d'un procés formatiu (com ho és el mètode ABP), avaluem les competències a partir dels objectius d'aprenentatge en què aquestes es descomposen (objectius de coneixement, de procediment i d'actitud). Així, depenent del tipus d'objectius, l'avaluació es servirà d'uns o altres instruments adequats.

Els instruments d'avaluació poden ser variats i han de respondre a les característiques dels objectius d'aprenentatge proposats. Una acció formativa de caràcter conceptual ha d'incloure una avaluació de coneixements, mentre que una acció formativa més instrumental o procedimental ha d'anar encaminada a comprovar si s'han adquirit o no determinades habilitats.

Per a l'avaluació formativa

Així, en l'ABP, per a l'avaluació formativa, l'instrument utilitzat és l'observació. Es tracta d'una descripció de l'observat, exempta de judicis de valor personals, que ha de permetre identificar fortaleses però també aspectes a millorar per a tots i cada un (l'estudiant, el grup, el tutor) dins el procés formatiu.

Aquesta avaluació es realitza de forma contínua en les diferents sessions de tutoria i es concreta en la tercera sessió de la situació.

Es pot fer a través d'una rúbrica o un check list que reculli els aspectes o comportaments concrets observables de les competències que es treballen en l'ABP. A partir de les observacions i en comparació amb el comportament esperat, cal una reflexió (i auto-reflexió), en qualitatiu, sobre els aspectes forts i aquells susceptibles de millora.

Per tal de "triangular" les observacions per a una major fiabilitat, cada estudiant rep tres observacions: la seva pròpia, la del grup d'iguals i la del tutor.

En finalitzar totes les situacions que afecten el grup d'objectius marcats, el tutor, juntament amb l'estudiant, realitzarà un informe de l'abast d'objectius assolit.

Igualment, l'observació de progrés de l'aprenentatge es pot fer a partir de la taula següent però buida, on l'estudiant i el tutor poden anar anotant el grau d'assoliment de cada un dels objectius per a cadascuna de les situacions.

Per a l'avaluació sumativa

L'avaluació sumativa ha de permetre assegurar que l'estudiant és competent independentment del grup (ja que és l'avaluació que "compta" per la seva acreditació).

Per certificar l'estudiant en el procés formatiu, cal avaluar tant les competències transversals (en les diferents dimensions treballades en l'ABP: responsabilitat, habilitats comunicatives, habilitats d'aprenentatge, habilitats interpersonals) com les competències específiques relacionades amb la disciplina d'especialitat.

Per a l'avaluació dels dominis transversals (principalment habilitats d'aprenentatge i comunicació) i dels dominis més teòrics de l'especialitat, l'instrument utilitzat és el mateix cicle d'aprenentatge de l'ABP però en individual: es presenta a l'estudiant una situació-problema (a tots els estudiants la mateixa, encara que per separat) a partir de la qual ha d'identificar els seus propis temes o àrees d'estudi (en un nombre determinat). A partir d'ells, ha de treballar (normalment uns dos dies) en el seu estudi i, posteriorment, en un segon moment de "examen", haurà de respondre una pregunta (preparada pels experts en la matèria) per a cada tema identificat.

Un instrument que es presenta com molt idoni per a aquesta avaluació (i s'inclouria també en l'avaluació formativa), seria l'elaboració d'un portfoli per l'estudiant durant tot el procés formatiu. Un portfoli recolliria les evidències d'aprenentatge de l'estudiant així com també el seu procés reflexiu de metacognició (i no m'estendré en la seva descripció detallada aquí).

Igualment, l'avaluació sumativa pot utilitzar algun altre instrument d'avaluació per a les competències específiques si es considera oportú. Aquest instrument ha de ser coherent al nivell de competència que s'avaluï i/o la tipologia d'objectius d'aprenentatge. Si el nivell de competència treballada al ABP per a les competències específiques és només un nivell conceptual, pot usar-se el MCT (Multiple Choise Test), o les preguntes curtes, o l'informe, etc. Si el nivell de competència treballat en ABP inclou procediments i actituds, les simulacions (les ACOEs en Medicina) poden ser un bon instrument.

L'avaluació sumativa final serà el resultat de totes les avaluacions realitzades: avaluació formativa del procés, avaluació per ABP individual, portfolio, altres instruments. La ponderació i necessitat del que es realitzi de cada un dels aspectes per a l'avaluació final dependrà de la institució proveïdora de la formació i la importància que aquesta doni a cadascun dels aspectes de la formació integral del professional.

A títol d'exemple, en el Grau de Medicina de la Universitat de Girona, la ponderació es realitza en un 40% el procés d'ABP, entre un 20-40% l'ABP individual i la resta a partir d'avaluacions de concepte a partir del test i les preguntes curtes. Totes les avaluacions han d'haver estat superades per explicar a la final.

Potser l'avaluació sumativa pateix feedbacks massa quantitatius. Seria interessant considerar, a la sumativa també, proporcionar feedback qualitatiu per part de l'expert.

L'avaluació per a grups grans d'ABP pot realitzar-se, amb indicadors, a partir de la resolució lliure d'un ABP individual. De tota manera, podria ser interessant també introduir alguna dinàmica no presencial a través d'un entorn virtual d'aprenentatge per a poder realitzar també una avaluació formativa de seguiment del procés de resolució. Per a aquesta modalitat (i per a totes), proposaria un feedback qualitatiu de l'informe i l'avaluació final realitzat amb comentaris personalitzats.

Taula dels elements claus de l'avaluació

(Clica la taula per engrandir-la)

Article sota l'Avaluació en eFormació