Åpent seminar om kvalitet, kvalitetsutvikling og kvalitetssikring

Referent: Anton Havnes

Rektoratet, SEFIA, SPS og PUS inviterer til en åpen seminarrekke om kvalitetssikring og kvalitetsutvikling høsten 2004. Det vil bli arrangert tre åpne seminarer i høst (14. september, 12. oktober og 9. november) og tre til våren (informasjon om tidspunkt kommer seinere). Tema for det første seminaret var Hva er kvalitet? Hva er kvalitet i utdanning? Seminaret samlet 33 deltakere fra de fleste avdelinger ved HiO.

Jon Frode Blichfeldt, nytilsatt som professor og leder ved Pedagogisk utviklingssenter, var første innleder. Han la spesiell vekt på å problematisere kvalitetsbegrepet og satte opp følgende modell:

Kvalitet:	At noe er (viser seg å være) i overensstemmelse med det som er foregitt (f.eks. at en bil som er i kjørbar stand fungerer i tråd med forskrifter)	(og innebærer et begrep om ærlighet og tillit)
Hva noe er:	Bestemmes intersubjektivt mellom aktører på samme eller ulike nivå.	(og innebærer et begrep om stabilitet og foranderlighet)
Bestemmelsen forutsetter:	Dialoger/samtaler/forhandlinger innenfor eller mellom nivåer.	(og innebærer et begrep om spilleregler)
Dialoger/samtaler forutsetter:	Tid og rom.	(og et begrep om økonomi/ressursbruk)

Tabell 1. Kvalitet

Avgjørelsen av hva kvalitet er, eller grad av kvalitet, står også i spenningsfeltet mellom ulike hensyn. På den ene siden har vi den faglige relevansen som må avgjøres av de med fagekspertise innen området som er gjenstand for kvalitetsvurdering. Parallelt med faglige vurderinger har vi også de samfunnsmessige. Faglighet må ses opp imot likhetsidealer, verdier og kjøreregler som gjelder i storsamfunnet. Det er ikke bare opp til enhver faggruppe selv å avgjøre kvalitet, man er til en viss grad underlagt samfunnsmessige, sosiale og politiske vurderinger. Det tredje hensynet som vurderingen av kvalitet må ses i forhold til er effektivitet, som særlig gjelder økonomi og ressurser. Kvalitet kan ikke etterstrebes for enhver pris. Dette kan illustreres gjennom følgende modell:

I modellen er den stiplete linjen vesentlig. Kvalitet må ses som en dynamisk relasjon mellom komponentene i modellen, der alle de tre faktorene virker sammen. Det vil kunne være ødeleggende for kvalitet om begreper autoritært forankres ensidig i en av dimensjonene, at ett sett begreper, en bestemt verdi eller teori definerer de andre.

Et vesentlig kriterium for ”god kvalitet” kan være at man sikrer en kontinuerlig diskusjon om hva ”god kvalitet” kan bety eller bør være.

Kvalitet kan også forstås ut fra at det fastsettes noen grenser for hva som er akseptabelt. Vi står da overfor spenningsfeltet mellom fastsetting av spesifikke standarder for kvalitet knyttet til forutsigbarhet og åpenhet for det uforutsigbare. Dette ble illustrert gjennom følgende modell:

Vinkelen er ment å illustrere et ”handlingsrom” avgrenset av uakseptable utviklingstrekk eller kjennetegn: Dit vi ikke vil – eller skal. Det gjelder altså å finne en dynamisk balanse mellom standardisert forutsigbarhet på den ene siden, og ”kaos” på den andre, der pendlingen mellom grensene kan være verdifull (ikke bare en trygg sti i midten) – så lenge grensene ikke overskrides.

Trond Ålvik kom mer spesifikt inn på hva vi kan forstå med kvalitet i utdanning. Han tok utgangspunkt i to svært forskjellige tilnærminger til kvalitet.

Kvalitet er i hvilken grad en oppnår å oppfylle de forventinger og mål en setter for en aktivitet/prosess eller et produkt. Kvalitetssikring er systematiske tiltak for å sikre at dette skjer.

Kvalitet kan være en fornemmelse – bevisstheten om, eller følelsen av at noe må forandres. Dette er den upresise og interessante forutsetningen for mye konkret forandringsarbeid. Kvalitetsmålene åpenbarer seg i arbeidet med forbedringer. De kan ikke alltid forhåndsdefineres som mål og legges inn som styringsparametre i formaliserte programmer og prosjekter; de er ofte spontane og blir synlige i kreative prosesser og problemløsningssammenhenger.

Interessant nok, sa Trond, stammer den første beskrivelsen fra Gudmund Hernes og den andre fra NHO. En viktig forskjell mellom beskrivelsene er at i det ene tilfellet er kvalitet grad av oppfyllelse av mål eller forventninger som er satt opp på forhånd. I det andre tilfellet forutsettes det at målene og forventningene også utvikles underveis i forløpet. Dette er et prinsipielt viktig skille som vil ha betydning for hvordan arbeidet med kvalitetsutvikling og kvalitetssikring legges opp.

Konkretisering av hva kvalitet er ser også ut til å være problematisk. Trond viste til en undersøkelse fra Danmark hvor foreldre ble bedt om å si hva de la i kvalitet i skolen. Eksempler på svar var:

At læreren ikke kommer for seint til timen
At eksamensgjennomsnittet er høyt
At det stilles krav til de dyktigste elevene
At elevene har mange undervisningstimer
At late lærere får sparken
At elevene og lærerne behersker edb.

Hvis kvalitet var en tydelig ”størrelse” ville en forvente at ulike måter å undersøke kvalitet på ville gi tilsvarende resultater. En undersøkelse der ulike mål for kvalitet ble sammenholdt viste imidlertid en påfallende lav grad av samsvar. Evalueringer basert på foreldres vurderinger, elevers vurderinger, lærernes vurderinger, ledelsens vurderinger og tester gav ikke entydige svar. En mulig grunn til ulike syn på kvalitet kan være at man er uenig om hva man skal se etter. Trond pekte på tre ulike referanserammer som blir mye brukt:

Kvalitet knyttes til oppnåelse av faste standarder. Kvalitet anses som tilfredsstillende når produktet eller tjenesten tilfredsstiller disse forhåndsbestemte standardene.
Kvalitet knyttes til brukertilfredshet. Kvalitet anses som tilfredsstillende når brukeren eller kunden er fornøyd med det hun/han får.
Kvalitet knyttes til ekspertskjønn. Det må en ekspert til for å bedømme om en tjeneste eller et produkt holder høy standard.

Trond avsluttet med å påpeke at når kvalitetsbegrepet er så komplekst som tilfellet synes å være, så bør man være forsiktig med å tømre det altfor fast, og heller gå inn i dialog. Hva mener den som bruker ordet ”kvalitet” med det, og hva tenker vedkommende på når hun/han hevder at noe har (eller mangler) kvalitet?

Trine Grønn, dekan ved Avdeling for helsefag, presenterte arbeidet med å utvikle et system for kvalitetsutvikling og kvalitetssikring ved HF. Hun redefinerte Jon Frode Blichfeldts modell (Figur 2) og la vekt på en dimensjon mellom standardisering og kaos:

Dagens situasjon er preget av diskusjon om kvalitet på utdanningene som er mer preget av kaos enn av standardisering, og det trengs en større grad av standardisering og rutiner for å få til en bedre diskusjon. Ved HF legges det derfor opp til mer systematikk i en modell for sikring og utvikling av kvaliteten på utdanningene som er preget av både en ”top-down”- og en ”bottom-up”-strategi. Som ledd i en ”bottom-up”-prosess legges det opp til:

Lærere og studenter evaluerer fortløpende undervisningen etter fastlagt plan for utdanningen. Evalueringen kan foretas som dialog eller som spørreskjema (elektronisk eller papir).
Lærerne diskuterer evalueringene med studentene som har evaluert og eventuelle tiltak iverksettes så snart som mulig. Gjennomført evaluering og tiltak rapporteres i fastsatt mal og godkjennes av lærer og studentrepresentanter.
Rapporten skal gjøres tilgjengelig for de studentene som gjennomførte evalueringen (gjennom ClassFronter).
Lærer leverer fortløpende sine rapportskjemaer til studieleder som elektronisk dokument.

Fra avdelingens side legges det opp til (top-down)

Avdelingsadministrasjonen kjører felles elektronisk evaluering av utvalgte studieår og studier.
Hvilke studier eller deler av studier som skal evalueres fastsettes i avdelingens planverk.

Planverket som det her refereres til er avdelingens kvalitetssikringssystem. Det er et system basert på premissene som er lagt av HiO-styret. I tillegg til det som er nevnt ovenfor skal fokus her være på:

Å frambringe data som sier noe om kvalitet og kvalitetsutvikling innenfor de ulike kvalitetsområdene (undervisningskvalitet, programkvalitet, resultatkvalitet, inntakskvalitet, rammekvalitet, styringskvalitet, relevanskvalitet – se NOKUTs kvalitetsbegrep).
Å beskrive hvordan avdelingen skal arbeide for iverksetting av tiltak for kvalitetsforbedring og oppfølging av tiltak.
Beskrivelser av ansvars- og rollefordeling i kvalitetssikringssystemet på HF.

Det legges også vekt på at systemet skal være en tydelig del av avdelingens årshjul og styringssløyfe og at systemet er enkelt, entydig og lett tilgjengelig. Det skal være inkludert i den daglige virksomheten og alle tilsatte og studenter skal ha god kjennskap til systemet.

Prorektor Unni Knutstad var fjerde og siste innleder. Hun la vekt på et kvalitetssystem som

fanger opp hva studentene mener om kvalitet
engasjerer fagekspertene i dialog om kvalitet i utdanningene og som fører til kvalitative forbedringer av studietilbudene
imøtekommer samfunnets krav og forventninger.

Et dilemma er, mente hun, om en skal bygge opp et system utenfor primærvirksomheten (utdanningsvirksomheten) eller om en skal bygge opp et system som er integrert i primærvirksomheten. Hun var enig med Trine i at det er nødvendig med et mer systematisk arbeid med evaluering av studietilbudene og oppfølging av disse evalueringene og la særlig vekt på hvordan systemet som er utviklet ved HiO legger opp til å styrke arbeidet med kvalitet på en måte som er integrert i den daglige utdanningsvirksomheten. Det legges vekt på at lærerne skal være i dialog med studentene og at dialogen skal ta utgangspunkt i mer systematisk informasjon om studentenes opplevelser av studiet. I tillegg legges det opp til at lærerne skal lage rapporter basert på dialogen med studentene. Rapportene sendes til studieleder og skal inngå i den årlige medarbeidersamtalen. I tillegg skal rapportene gjøres til gjenstand for diskusjon i lærergruppa – på for eksempel utdannings- eller fagseksjonsnivå.

Det legges vekt på dialog og systematisk rapportering. Avdelingsstyret behandler årlig rapport om kvalitetsutviklingen ved avdelingen. Det rapporteres årlig til høgskolens styre. Oppfølging skjer videre gjennom å drøfte kvalitet i styringsdialogene mellom styreledere (rektor og dekaner).

I diskusjonen ble det trukket fram ulike sider og dilemmaer ved kvalitetssikringssystemet som ser ut til å bli utviklet ved HiO:

Er det en fare for at det legges opp til et system som i sin konsekvens særlig er rettet inn mot å reprodusere systemet – altså et status quo?
Er HiO i ferd med å utvikle et system om studenttilfredshet – mer enn et system om utvikling og sikring av kvalitet?
Hvilken vekt skal legges på styrking av den faglige diskusjonen i forhold til rapportering?
Er en dialog om kvalitet tilstrekkelig – eller trengs det noen tydeligere parametre å rette diskusjonen opp mot?
Hva er intensjonen med å rapportere og hva skal rapportene brukes til?
Kan ulike oppfatninger om hva kvalitet er bunne i at ulike grupper har ulike interesser knyttet til utdanning?
I hvor stor grad bør en innen HiO ha systemer som har felles elementer og i hvor stor grad bør det være fritt opp til avdelingene å lage sine egne opplegg.
Er det en fare for evalueringstretthet blant både lærere og studenter – og hvordan kan en slik tretthet forebygges?

Øivind Frisvold, dekan ved JBI, skisserte i diskusjonen et sentralt dilemma knyttet til utvikling av kvalitetssikringssystem. Han trakk fram to ulike lærertyper. Vi kan tenke oss én type lærer som legger seg i selene for å innfri studentenes forventninger – enkel og grei forelesning, tilgjengeliggjøring av relevant stoff, innretning mot hva som kreves til eksamen osv., altså en som legger stoffet til rette for relativt enkel læring for studentene. En annen, mer ”kaotisk” lærertype, er den som ikke legger opp til en struktur som på samme måte er gjennomsiktige for studentene. For ham/henne vil strukturen mer være i selve det faglige stoffet og først framstå for studentene når de jobber med stoffet. Vil et kvalitetssikringssystem legge opp til å styrke den første lærertypen og svekke den andre? Hva blir konsekvensene? Er det en utvikling vi ønsker? Altså: Ønsker vi å utvikle studiene i en retning der strukturen i fagfeltet gjøres lettest mulig tilgjengelig for studentene, bl.a. med den konsekvensen at studenten skal se den lettere og lærerne må legge mye arbeid i å gjøre den synlig? Eller ønsker vi å utvikle studiene i retning av der det forutsettes at studentene i stor grad må tilegne seg strukturen i fagfeltet gjennom eget arbeid med stoffet?

Mette Tollefsrud, studieleder ved førskolelærerutdanningen, la vekt på et annet sentralt spørsmål. HiO er en mangslungen institusjon og det kan være vanskelig å bli enige om ett opplegg for kvalitetssystem. Siri Almås, prosjektleder for kvalitetssikringssystemet ved HF etterlyste imidlertid klarer sentrale retningslinjer for hvilket system HiO skulle etablere, og her fikk hun følge av dekanen.

Lars Inge Terum, SPS, pekte på at vurdering av kvaliteten på utdanningene trenger en eller annen form for standard som man kan se praksis opp imot. ”Hva funker,” kan være en slik standard, men ikke det eneste. Studenttilfredshet kan være ett annet. Men kvalitetsbegrepet er så sammensatt at en må tenke nøye gjennom hvilke kriterier en skal prioritere å evaluerer praksis i forhold til. Hvis ikke risikerer vi at opplegget med kvalitetssikring og kvalitetsutvikling bare blir ”et ytre skall” som ikke griper inn i den virksomheten som utdanningen er, og skal forberede til.

Trond Ålvik oppsummerte diskusjonen med følgende modell:

Det ser ut til å være enighet om at dialogen om kvalitet i utdanningene ved HiO er for svak, mente han. Det er ønskelig å få til en mer kvalifisert diskusjon, og det er her kvalitetssystemet kan bidra med relevant informasjon som kan bidra til en slik kvalifisert diskusjon. Tronds poeng var at det ikke finnes noe endelig svar på kvalitetsspørsmålet. All informasjon kan imidlertid ha verdi dersom ambisjonen er å bevege seg fra ren ”synsing” til en mer kvalifisert diskusjon.

NESTE SEMINAR HOLDES 12. OKTOBER.

Oppdatert: 05. oktober 2004
Redigert av: Anton Havnes