Per Lauvås og Roar Pettersen
Studentevaluering[1] av undervisning må fra nå av inngå som en naturlig del av vår virksomhet. Mangt og mye kan vi fortsatt beslutte på fritt grunnlag, men ikke dette. I Kvalitetsreformens grunnlagsdokumenter (Mjøsutvalgets innstilling, St.meld. nr 27 2000-2001 m fl) ligger det klare forventninger og i NOKUTs[2] kriteriesett[3] er disse forventninger enda klarere uttalt. Som vanlig er det ganske enkle forestillinger som legges til grunn. Det å samle inn studenters svar på kursvurderingsskjemaer, lage tabellariske oversikter og aggregere data på flere nivåer ser ut til å være den modellen som legges til grunn. Vi bør gjøre arbeidet bedre enn det hr Hvermannsen kan få til.
Vår høgskole har laget egne retningslinjer for slik evaluering (http://www.adm.hiof.no/~fa/adm/puls/eval_pri.doc). Det virker imidlertid verken som om retningslinjene er kjent for våre lærere eller at de brukes i noen særlig grad. Dette notatet er ment å skulle være en mer konkret og praktisk ’håndbok’ som er basert på disse retningslinjene.
Vi vil forslå at Høgskolen i Østfold tar sikte på å gjennomføre to hovedformer av studentvurdering. Den første er en desentralisert form der den enkelte lærer pålegges en forpliktelse å gjennomføre en eller annen form for evaluering av egen undervisning som instrument for å utvikle den i samråd og samarbeid med sine studenter. Den andre er en mer omfattende – og dermed mindre frekvent – form for evaluering der studentenes vurderinger kan sammenliknes på tvers av studier, over tid og med tanke på å indentifisere de utfordringene som høgskolen må ta på alvor og gjøre noe aktivt med. I den andre formen er sammenlikning på tvers av avdelinger – gjerne også med andre studier i inn- og utland – en hovedintensjon, mens i den første formen er det utviklingsdimensjonen lokalt som settes i fokus. Hensikten er å etablere et forpliktende samarbeid mellom studenter og lærere om å forbedre undervisningen.
Den enkelte lærer skal gjennomføre vurdering av sin undervisning, relativt hyppig. Dette er vurdering som læreren skal rapportere om, men ikke fra, dvs det skal rapporteres at vurderingen er gjennomført men ikke om resultatene som er framkommet. Tanken er at det er læreren som skal bruke vurderingen som et aktivt instrument for å utvikle egen undervisning underveis og slik at studentene som deltar, skal nyte godt av de forbedringene som kommer ut av vurderingen. Læreren må sikres en klar eiendomsrett til de dataene som framkommer, og læreres personvern må sikres ved at data ikke spres. Studentene, på sin side, har rett til innsikt i resultatene fra dataene de har bidratt med og til at disse resultatene leder til handling.
Det er bare to tidspunkter som ikke er aktuelt: (a) før kurset er startet og (b) til slutt/ etter at kurset er avsluttet. To hovedvarianter finnes:
Løpende vurdering under hele forløpet, f eks slik: (a) det utpekes en referansegruppe som læreren har møter med underveis eller (b) læreren bruker et (kort) kursvurderingsskjema som gis til et utvalg blant studentene (nytt utvalg hver gang), besvares og leveres inn før sesjonen avsluttes, studeres av læreren som gir sin tilbakemelding om konsekvenser ved neste anledning.
Punktvurdering der læreren samler inn data én gang, sent nok til at studentene har et grunnlag å vurdere ut fra og tidlig nok til at den vurderingen de deltar i, kan (og bør!) få konsekvenser for dem selv.
Studentene har krav på å bli informert - og å holdes løpende informert – om slike evalueringer som dette. De skal kjenne til intensjonene, planene og opplegget og vite de inviteres å bidra til. De skal også involveres i opplegget (se nedenfor).
Et forhold bør understrekes spesielt sterkt. Det må aldri være slik at studentene forespeiles mer enn det de får. Studentene kan lett få det inntrykket at nå kan det bli mulig å endre på alt mulig de måtte være misfornøyde med, mens det så langt fra er tilfellet. Ble en ny studieplan vedtatt forrige år, er det bare tull å gi det inntrykket at revidering av planen (kanskje til og med slik at disse studentene kan få studere under den reviderte planen) er en åpen mulighet. Det er langt bedre å gjøre studentene kjent med hva som regnes som faste størrelser og hva det kan være realistisk å endre på hvis en evaluering skulle tilsi det enn å måtte forklare dette i etterkant, gjerne etter at studentene er kommet dit at de forventer mer enn det som er realistisk.
Til gjengjeld må det være slik at det man faktisk forespeiler studentene når det gjelder hva som er intensjonen med evalueringen, må realiseres med mindre det er tungtveiende grunner som tilsier at så ikke er mulig. Altså: Bedre å gi små forhåpninger og innfri dem fullt ut enn å forespeile mye og slett ikke innfri dem.
Mulighetene er mange, f eks:
Er det få studenter, kan alle få uttale seg. Med mange, bruk utvalgsprinsippet. Sørg for at de som kommer med i utvalget, også bidrar med data, så langt det mulig; det er mye bedre å få svar fra alle i et lite utvalg enn fra en ’normal’ svarprosent i et stort utvalg (eller i hele populasjonen).
Det må aldri bli slik at vi lager et for ambisiøst opplegg for studentevaluering og setter oss elv i den posisjon at vi ikke klarer å gjennomføre ambisjonen på en meningsfull måte. Vi må ikke samle på oss mer data enn det vi har analysemessig kapasitet til å håndtere eller operasjonell kapasitet til å sette ut i livet. Og studentene må aldri få så mye oppgaver – og så mange skjemaer – at de slutter å ta dem på alvor. Det kan derfor være at vi – på avdelings- og seksjonsnivå – lager rullerende planer, f eks slik at ikke alle kurs evalueres slike intensivt hvert semester.
Det er viktigere hvor mye konstruktiv utvikling vurderingen avstedkommer enn hvor ’riktige’ resultatene (dataene, konklusjonene og konsekvensene) blir. Det er helt avgjørende at datagenerering, -innsamling, -analysering og konkludering skjer i så raskt tempo som mulig. Jo fortere studentene erfarer at det de ytrer, fører til noen konsekvenser som de ser er i tråd med det som er kommet fram, jo bedre.
Men studentevaluering av undervisning må aldri føre til noen form for ’democrazy’ eller at lærerne abdiserer fra rollen som lærer. Studentene skal gi uttrykk for hva de synes og det skal tas på alvor. Men det er lærer(ne) som skal treffe beslutninger om hvilke konsekvenser evalueringen skal få på grunnlag av en helhetsvurdering der studentenes erfaringer, kritikk, ønskemål og synspunkter inngår med tyngde. Det skal altså være like lite lov å overse studentenes studentenes vurderinger som å legge seg ukritisk flat for dem.
Resultater fra studentvurderinger skal behandles med stor aktsomhet og varsomhet. Det er uholdbart med ukontrollert spredning og mangelfulle rutiner når det gjelder tilgang og bruk. Studentene har ikke rett til å kreve full åpenhet omkring deres vurderinger av enkeltlærere, like lite som lærerne kan behandle informasjon om enkeltstudenter på en slik måte. Det studentene har full rett til å kreve, er at slike evalueringer skal bli brukt som det aktive instrument for utvikling og forbedring som intensjonen med dem går ut på. Det er altså helt legitimt for studenter å bringe spørsmålet videre og oppover i systemet når deres involvering i vurdering av (det de oppfatter er) dårlig undervisning, ikke blir tatt på alvor og ikke fører til noe som helst. Men det er slett ikke like legitimt å offentliggjøre deres vurderinger av enkeltlærere.
Det bør være mye offentlighet om evalueringene i den forstand at det gjøres allment kjent at evaluering skal foretas, hvordan den skal gjennomføres, hvordan resultatene skal brukes og hvilke konsekvenser som trekkes av den og som settes ut i livet. Men en slik offentlighet må begrenses til ikke å uthule rettssikkerhet og personvern.
I motsetning til det som ofte legges til grunn på dette feltet, må vi stå fast på at evalueringene er et instrument for utvikling og ikke som karakterisering av enkeltlæreres dyktighet. Det må være helt OK at vi kan komme til å gjøre feil (som enkeltlærere, lærergrupper og som institusjon) og f eks ikke makte å få et nytt opplegg til å fungere ved første gangs realisering. Det som derimot ikke skal være OK er å la være å gjøre noe med det som ikke fungerer godt nok. Det må altså være OK å komme i skade for å gi dårlig undervisning men aldri å la være å forbedre den – når problemene kommer for en dag.
På den ene siden: Jo mer studentene involveres i evalueringen, jo mer får de anledning til å prege den, jo mer eierforhold får de til den, jo mer seriøst tar de den og jo bedre vil den kunne fungere. På den andre siden: Studentene må ikke overlates alt det arbeidet som egentlig hører til lærernes og administrasjonens ansvar. Prinsippet er enkelt å formulere og vanskelig å konkretisere: Involver studentene mest mulig men ikke slik at de sitter med hele ansvaret og hele arbeidsbyrden!
Det prinsipielle er også her enkelt å formulere, generelt sett: Det nivået som gjennomfører evalueringen (lærere, studenter) eier resultatene men har rapporteringplikt oppover i systemet. Overordnet organ skal ha rapport om at evaluering er gjennomført med så pass detaljering at det er tilstrekkelig dokumentasjon. Slik rapportering bør ikke være for omfattende men bør inneholde (a) hvordan evalueringen er gjennomført, (b) hvilke forhold som ble definert som viktige å gjøre noe med, (c) hvilke tiltak som ble bestemt iverksatt og (d) hvilke erfaringer som ble gjort. Rapporteringen bør i det minste være så pass detaljert og omfattende at det er mulig for studentene å ta saken opp i de tilfellene da lærer(ne) skulle finne på å underslå informasjon som studentene mener burde komme overordnede organer tilkjenne, f eks når deres kritikk blir oversett/ bagatellisert eller når inadekvate tiltak blir satt ut i livet.
Den formen vi har beskrevet over, foregår som del av undervisningen. Men studentevaluering bør også omfatte andre ulike institusjonelle nivåer. Det kan dreie seg om vurdering av bestemte studier eller utdanninger (f eks lærer-/ dataingeniør-/sykepleierutdanning) og/eller om større/mindre kurs- eller undervisningsblokker/bestemte fag som inngår i studiet.
Institusjonell evaluering blir gjerne gjennomført som summativ vurdering: den skjer etter at et undervisningsprogram er avsluttet - ofte med standardsskjemaer vedtatt på et relativt høyt nivå i organisasjonen. Denne evalueringsformen har ikke alltid den store betydningen for arbeidet med konkrete utviklingsarbeider og dokumentert forbedringsarbeid[9].
Institusjonell evaluering er hovedsakelig basert på kvantitativ datainnsamling ved hjelp av standardsskjemaer. Den plasserer seg ganske nær det NOKUT ønsker seg. Resultatene er enkle å aggregere; de foreligger som tilsynelatende entydige og klare indikatorer som kan sammenliknes.
Noen problematiske punkter hefter ved denne evalueringsstrategien:
· Parametere som fokuserer ensidig på studenters tilfredshet, gir assosiasjoner til ”kunden har alltid rett”. Implisitt i metaforen ”studenten som kunde” ligger kundens rettmessige krav på at de forhold som er årsak til eller gjenstand for eventuell misnøye, bør/må rettes så fort som mulig. I det minste bør tilfredshet i forhold til studentevaluering av undervisnings- og læreprosesseer problematiseres i forhold til en klientmetafor eller ”studenten som klient”. En klient har pr. definsjon krav på en profesjonell assistanse og hjelp i form av en faglig sett kvalifisert praksis - men tilbudet eller tiltaket er ikke nødvendigvis det klienten i første omgang hadde tenkt seg - eller er mest fornøyd med[10]. Kort og godt: Vurdering av tilfredshet/fornøydhet vil ha ulik betydning alt etter hvilken metafor vi legger til grunn, både når vi konstruerer spørreskjemaer, og når vi tolker de data vi får.
· Studentevaluering er ressurskrevende. Institusjonell evaluering med fokus på kontroll, rangering og ”pliktrapportering” kan lett komme i konflikt med enkeltlæreres mer utviklingsorientert evaluering av egen undervisning. Det er imidlertid mulig - i en viss forstand - å oppløse motsetningsforholdet og forfølge en ”Ole-Brumm-strategi”, der vi sier ”ja takk, begge deler”. En mulig ”både-og” strategi sikter både på kvalitetssikring og -kontroll - og - kvalitetsutvikling og forebedring samtidig.
· Det kan være klokt å skille mellom standardskjemaer og standardiserte spørreskjemaer/ inventorier[11]. En vanlig innvending mot standardskjemaer er at de ikke tilfredstiller de mest elementære standarder i psykometrisk forstand, dvs. at man vet lite om skjemaenes validitet og reliabilitet. Det er altså usikkert om får inn data som forteller noe om det man hadde til hensikt å få mer informasjon om, - og videre: om data hentet inn på ulike tidspunkt/i ulike situasjoner faktisk er sammenliknbare.
Vi foreslår at vår høgskole benytter ”Erfaringer med
studiet” -
en norsk versjon av CEQ: Course Experience Questionnaire.
CEQ er et standardisert spørreskjema som siden tidlig 1990-tall har inngått som en av flere kvalitetsindikatorer (performance indicators) i et nasjonalt evalueringsprogram for universiteter i Australia[12].
Spørreskjemaet består av 31 utsagn/items som samlet etterspør studentenes erfaring med/opplevelse el. persepsjon av studiet/læringsmiljøet - som setter fokus på fem kritiske dimensjoner som har betydning for og er nært knyttet til så vel studenters læringsorientering som deres læringsresultater/prestasjoner:
Skjemaet skåres på en 5-punktsskala (Likert skala), der 5=Helt Enig, 3= nøytral skåre og 1=Helt Uenig.
CEQ tilfredstiller stort sett de forhold som er problematisert ovenfor: Det er relativt lite resursskrevende å administrere. Det er forankret i pedagogisk teori om læring og undervisning (grovt sett sammenfallende med kvalitetsreformens pedagogiske intensjoner) som gir retningslinjer for konsistent tolkning av data. Det er først og fremst et verktøy som sikter på kvalitetsutvikling og forbedring av lærings- og undervisningsprosesser. Det har tilfredstillende psykometriske kvaliteter. Og det finnes i norsk versjon[13].
Erfaringene fra Australia viser at skjemaet også kan anvendes på en måte som tilfredstiller rapporteringskravet fra sentrale kvalitetsorganer. Men det advares mot å bruke gjennomsnitts-verdier på CEQ-faktorene som entydige, klare direkte sammenliknbare mål på kvalitet på tvers av ulike utdannings- og institusjonskontekster[14]. Sammenlikninger på basis av CEQ-skårer bør først og fremst skje i forhold til samme utdanning/studieprogram over tid og/eller mellom samme utdanning/studieprogram på ulike institusjoner. Det er slike formål CEQ opprinnelig ble utviklet for, et kvalitetsutviklende verktøy - ikke for kvalitetskontroll i snevrere forstand[15].
En begrensning knyttet til standardiserte spørreskjemaer av type CEQ, er at de rapporterer om relativt sett generelle og ’globale’ trekk ved undervisning og studieprogrammer. Vi får ikke direkte anvisinger om hva som bør gjøres, hvilke konkrete tiltak og intervensjoner som er relevante. Imidlertid kan data fra CEQ leses som sterke indikatorer på hvilke sider og aspekter som bør kartlegges og evalueres nærmere.
På denne bakgrunn foreslår vi at Høgskolen i Østfold gjennomfører en årlig undersøkelse av et statistisk representativt utvalg (~ en tre- eller firedel) av studentene[16]. I tillegg til CEQ-instrumentet åpnes det for muligheter til å legge til noen få spørsmål om forhold som er spesielt aktuelle på det aktuelle tidspunkt. Det legges stor vekt på å få svar fra alle som blir trukket ut til utvalget. Resultatene gis avdelingsvis, evt med en ytterligere nedbrytning når det anses meningsfullt. Det utarbeides en rapport fra undersøkelsen.
[1] I det følgende bruker vi ’evaluering’ og ’vurdering’ om hverandre. Den som leter etter den dypere mening i at vi alternerer mellom disse betegnelsene, leter altså forgjeves.
[2] Nasjonalt organ for kvalitet i utdanning
[3] http://nokut-no.inforce.dk/graphics/NOKUT/IMAGES/Norsk_utdanning/forskrifter_kriterier/NOKUTs_forskrift_vedlegg_1.pdf
[4] Vi er skeptiske til standardskjemaer. Når man lager sitt eget, tenk på å holde formatet nede; bare spør om det du er interessert i å få vite – ikke alt mulig annet man kan spørre om i samme slengen, bare spør om slike ting som det kan være aktuelt å endre på – og ikke om faste størrelser osv. Bruk gjerne plattformer som gjør det lett å lage skjemaet, evt også å besvare det elektronisk. Ved Høgskolen i Østfold har vi fått lagt en ikke-kommersiell plattform (som også kan brukes til å lage tester, prøver, kanskje til og med eksamensoppgaver) fra Danmarks Tekniske Universitet på vår egen server (http://quiz.ia.hiof.no). Man kan også se på opphavsstedet: http://www.quizcomposer.dk.
[5] Skriver studentene logg som del i undervisnings-/læringsprosessen, er det ulike måter å få adgang til dette materialet i vurderingssammenheng.
[6] Studentene får i oppdrag å skrive de 3 siste minuttene av en undervisningsøkt, f eks under 3 headinger (Hva er flott? Hva fungerer dårlig? Forslag til forbedringer?).
[7] Be om frivillige medlemmer til en gruppe (~ 4 medlemmer) eller plukk ut. Møt dem regelmessig og få høre hva medlemmene selv synes og hva de har plukket opp fra sine medstudenter. Skriv referater selv eller la det gå på omgang mellom gruppemedlemmene. Skift ut medlemmer i ref.gr. slik at flere kan få sjansen til å delta. Lag mye oppmerksomhet (uten mye tidsbruk!) om evalueringen, særlig om de konsekvenser som trekkes – og som deretter igjen skal evalueres.
[8] Avgjørende hvordan du lanserer ideen og hvordan du senere viser til – og trekker konsekvenser av – det som du får vite fra de brevene du får. Dette er en vanskelig balansegang mellom en privat og en offentlig sfære! Igjen: skal studentene oppfatte dette som noe annet enn privat korrespondanse, må du vise hvordan noe fra det private løftes fram i det offentlige rom på en ordentlig og meningsfull måte.
[9] Se for eks. Vidar Gynnild (2002): Studentevaluering av undervisning. Norsk Pedagogisk Tidsskrift, nr. 1/2002-
[10] Ibid.
[11] Som dermed også nyanserer vår skepsis til standardkjemaer, jfr fotnote 3.
[12] For en oversikt, se: The Course
Experience Symposium 1998, www.detya.gov.au/archive/higered/eippub/99
[13] jfr. Evalueringstudie av en norsk versjon av CEQ: Erfaringer med studiet; R. Pettersen (under arbeid).
[14] Se Bowden & Marton (1998):
The University of Learning.
[15] Se
Entwistle & Ramsden: Understanding Student Learning (1983); Ramsden
(1999) Bedre undervisningsstrategier; se også Bowden & Marton (1998).
[16] Første gang kan det være aktuelt å spørre alle studentene for å få en best mulig baseline for senere jamførelser.