Cees Van der Vleuten descriu cinc criteris per a determinar la utilitat d’un mètode particular d’avaluació:

1fiabilitat (el grau en que la mesura sigui correcta i reproduïble),

2validesa (si l’avaluació mesura el que pretén mesurar),

3impacte educatiu (impacte en el futur aprenentatge i la pràctica),

4acceptació (dels estudiants i professors), i

5factibilitat (els costos: per a l’alumne individual, la institució i la societat en general).

Cal tenir en compte però, que aquests criteris no son inherents o intrínsecs a l’instrument en sí, sinó que son influïts també per d’altres variables de l’aplicació en el context concret en què s’utilitza.

Sigui com sigui, tots els mètodes d’avaluació tenen fortaleses però també limitacions. Així, és l’ús de múltiples observacions i de diversos mètodes d’avaluació diferents amb el temps, que pot compensar les falles i/o mancances en un o altre mètode i ajustar a la realitat els resultats de l’avaluació.

A mode d’eina (caixa d’eines), la taula següent recull 8 dels instruments més emprats per a l’avaluació en educació medica, amb una descripció breu de les seves indicacions i algunes de les seves limitacions i particularitats:

(Cliqueu la imatge per baixar-vos la taula completa)

Article sota Avaluació a l’eFormació

Models d’avaluació i el seu interés en Educació Mèdica

L’avaluació en educació medica (de fet, en qualsevol tipus d’educació) constitueix un camp molt ampli i alhora complexe d’estudi i d’aplicació.  Molt ampli ja que el concepte incideix i es relaciona en àmbits i aspectes tan diversos com poden ser la satisfacció de la formació, l’avaluació d’aprenentatges i/o la certificació, els sistemes de garantia de la qualitat dels programes i ensenyaments, les polítiques educatives, etc.  Complexe en el sentit que cal tenir-hi en compte variables sovint de naturalesa diversa.

Per parlar de models d’avaluació en aquestes ratlles però, centrarem el terme en l’avaluació d’accions formatives, en l’avaluació d’aprenentatges i competències professionals.

Instruments d’avaluació a l’ABP

Els instruments d’avaluació són aquells mecanismes que ens permeten obtenir informació sobre la situació d’aprenentatge de l’aprenent.

Dins d’un procés formatiu (com ho és el mètode ABP), avaluem les competències a partir dels objectius d’aprenentatge en què aquestes es descomposen (objectius de coneixement, de procediment i d’actitud). Així, depenent del tipus d’objectius, l’avaluació es servirà d’uns o altres instruments adequats.

Els instruments d’avaluació poden ser variats i han de respondre a les característiques dels objectius d’aprenentatge proposats. Una acció formativa de caràcter conceptual ha d’incloure una avaluació de coneixements, mentre que una acció formativa més instrumental o procedimental ha d’anar encaminada a comprovar si s’han adquirit o no determinades habilitats.

Per a l’avaluació formativa

Així, en l’ABP, per a l’avaluació formativa, l’instrument utilitzat és l’observació. Es tracta d’una descripció de l’observat, exempta de judicis de valor personals, que ha de permetre identificar fortaleses però també aspectes a millorar per a tots i cada un (l’estudiant, el grup, el tutor) dins el procés formatiu.

Aquesta avaluació es realitza de forma contínua en les diferents sessions de tutoria i es concreta en la tercera sessió de la situació.

Es pot fer a través d’una rúbrica o un check list que reculli els aspectes o comportaments concrets observables de les competències que es treballen en l’ABP. A partir de les observacions i en comparació amb el comportament esperat, cal una reflexió (i auto-reflexió), en qualitatiu, sobre els aspectes forts i aquells susceptibles de millora.

Per tal de “triangular” les observacions per a una major fiabilitat, cada estudiant rep tres observacions: la seva pròpia, la del grup d’iguals i la del tutor.

En finalitzar totes les situacions que afecten el grup d’objectius marcats, el tutor, juntament amb l’estudiant, realitzarà un informe de l’abast d’objectius assolit.

Igualment, l’observació de progrés de l’aprenentatge es pot fer a partir de la taula següent però buida, on l’estudiant i el tutor poden anar anotant el grau d’assoliment de cada un dels objectius per a cadascuna de les situacions.

Per a l’avaluació sumativa

L’avaluació sumativa ha de permetre assegurar que l’estudiant és competent independentment del grup (ja que és l’avaluació que “compta” per la seva acreditació).

Per certificar l’estudiant en el procés formatiu, cal avaluar tant les competències transversals (en les diferents dimensions treballades en l’ABP: responsabilitat, habilitats comunicatives, habilitats d’aprenentatge, habilitats interpersonals) com les competències específiques relacionades amb la disciplina d’especialitat.

Per a l’avaluació dels dominis transversals (principalment habilitats d’aprenentatge i comunicació) i dels dominis més teòrics de l’especialitat, l’instrument utilitzat és el mateix cicle d’aprenentatge de l’ABP però en individual: es presenta a l’estudiant una situació-problema (a tots els estudiants la mateixa, encara que per separat) a partir de la qual ha d’identificar els seus propis temes o àrees d’estudi (en un nombre determinat). A partir d’ells, ha de treballar (normalment uns dos dies) en el seu estudi i, posteriorment, en un segon moment de “examen”, haurà de respondre una pregunta (preparada pels experts en la matèria) per a cada tema identificat.

Un instrument que es presenta com molt idoni per a aquesta avaluació (i s’inclouria també en l’avaluació formativa), seria l’elaboració d’un portfoli per l’estudiant durant tot el procés formatiu. Un portfoli recolliria les evidències d’aprenentatge de l’estudiant així com també el seu procés reflexiu de metacognició (i no m’estendré en la seva descripció detallada aquí).

Igualment, l’avaluació sumativa pot utilitzar algun altre instrument d’avaluació per a les competències específiques si es considera oportú. Aquest instrument ha de ser coherent al nivell de competència que s’avaluï i/o la tipologia d’objectius d’aprenentatge. Si el nivell de competència treballada al ABP per a les competències específiques és només un nivell conceptual, pot usar-se el MCT (Multiple Choise Test), o les preguntes curtes, o l’informe, etc. Si el nivell de competència treballat en ABP inclou procediments i actituds, les simulacions (les ACOEs en Medicina) poden ser un bon instrument.

L’avaluació sumativa final serà el resultat de totes les avaluacions realitzades: avaluació formativa del procés, avaluació per ABP individual, portfolio, altres instruments. La ponderació i necessitat del que es realitzi de cada un dels aspectes per a l’avaluació final dependrà de la institució proveïdora de la formació i la importància que aquesta doni a cadascun dels aspectes de la formació integral del professional.

A títol d’exemple, en el Grau de Medicina de la Universitat de Girona, la ponderació es realitza en un 40% el procés d’ABP, entre un 20-40% l’ABP individual i la resta a partir d’avaluacions de concepte a partir del test i les preguntes curtes. Totes les avaluacions han d’haver estat superades per explicar a la final.

Potser l’avaluació sumativa pateix feedbacks massa quantitatius. Seria interessant considerar, a la sumativa també, proporcionar feedback qualitatiu per part de l’expert.

L’avaluació per a grups grans d’ABP pot realitzar-se, amb indicadors, a partir de la resolució lliure d’un ABP individual. De tota manera, podria ser interessant també introduir alguna dinàmica no presencial a través d’un entorn virtual d’aprenentatge per a poder realitzar també una avaluació formativa de seguiment del procés de resolució. Per a aquesta modalitat (i per a totes), proposaria un feedback qualitatiu de l’informe i l’avaluació final realitzat amb comentaris personalitzats.

Taula dels elements claus de l’avaluació

(Clica la taula per engrandir-la)

Article sota l’Avaluació en eFormació

Concepte de feedback

Centrats en la formació, el feedback seria aquell procés en què estudiant/s i professor comparteixen informació (reforç positiu i correccions i millores) amb la finalitat de realitzar els ajustos necessaris en el procés d’aprenentatge per assolir els objectius formatius.

“El feedback és essencial per promoure l’aprenentatge i assegurar que s’assoleixen els objectius d’aprenentatge”.

Tipus de feedback

Principalment, distingim entre dos tipus de feedback:

Formal: reunions periòdiques, pactades, sobre temes concrets
Informal: més immediat, el generat després d’una acció concreta.

Tot i que també podríem parlar d’altres tipus de feedback: individual (entre l’estudiant i el seu professor; presencial o escrit); grupal (entre un grup d’estudiants i el professor, requereix dinàmica de grups); màquina-persona (quan el feedback es programa automatitzat en la interacció de l’estudiant), entre iguals (quan l’intercanvi d’informació es realitza entre estudiants)

Diferències entre el feedback i l’avaluació

A diferència de l’avaluació (que pot ser formativa o sumativa), el feedback sempre és formatiu.

Així doncs, el feedback ha de ser realitzat durant l’acció formativa perquè les conclusions que se’n derivin puguin ser aplicades abans de la finalització de la mateixa.

Feedback estructurat i centrat en qui aprèn

Quatre són les idees bàsiques per a aquest tipus de feedback:

1 Auto-reflexió per part de l’estudiant

2 Centrat en qui aprèn

3 Preparació prèvia dels temes a tractar

4 Relació de confiança entre l’estudiant i el professor

Es tracta doncs de reunions estructurades i centrades en l’estudiant que requereixen:

• Tractament de temes concrets i pactats prèviament
• Espai i temps també pactat per facilitar la reflexió prèvia
• És convenient tractar primer els punts positius per passar després als que s’han de millorar ia les mesures correctores si fos el cas.
• És important que sigui l’estudiant qui valori el seu procés en primer lloc (l’autoreflexió: punts forts, punts a millorar), i el professor pot valorar i/o validar en un segon moment.
• Les conclusions de la sessió han de ser explícites, i comportar un compromís per part de l’estudiant

Habilitats que s’utilitzen

• El feedback estructurat ha de desenvolupar les següents habilitats:
• Respecte i interès
• Involucrar a l’estudiant en el seu procés d’aprenentatge
• Centrar en casos concrets, reals
• Llenguatge formatiu, no avaluatiu
• Evitar valoracions usant l’experiència del professor com a llei
• Centrar en comportaments que puguin canviar
• Sessions curtes, entre 10-20 minuts
• Realització de feedback a situacions immediates o pròximes en el temps

Beneficis del feedback

• Reforça la relació professor-estudiant i reafirma la figura del docent 
• Crea un àmbit de treball sistemàtic, organitzat i pactat 
• Entrena al professor i l’estudiant en una metodologia:

Centrada en qui aprèn, potenciant l’autoreflexió
Crea l’hàbit de preparació prèvia
Reunions eficients, gestió del temps

• És un instrument formatiu

Cost del feedback

L’únic cost que implica el feedback és el de temps.

Article sota Avaluació en l’eFormació