Kapittel 3 Evaluering og kvalitetsutvikling – mulige modeller

Faser i en kvalitetsutviklingsprosess
Dimensjoner ved en evaluering som er viktig for resultatet av prosessen:

Formålsavklaring (obligatorisk)
Organisering (obligatorisk)
Datainnsamling/systematisering (obligatorisk)
Selvevaluering
Ekstern evaluering
Oppfølging

Formål

Man kan identifisere mange ulike formål med en kvalitetsutviklingsprosess, for eksempel kvalitetskontroll, forbedre kvaliteten, tildele akademisk status. Et formål basert på utvikling vil ha mange fordeler framfor et formål basert på kontroll. Det er enklere å motivere personalet og studenter til å delta når de kan bidra til å forbedre sin egen arbeidssituasjon. Det kan også bidra til godt samarbeidsklima.

Studenter, fagpersonalet og administrasjon er ressurser det er viktig å engasjere i prosessen. Engasjement kan stimuleres gjennom allmøter.

Huskeliste for kartlegging i et forprosjekt:

Hvorfor bør endringer finne sted?
Hvilke forhold ved studiet eller læringsmiljøet bør man umiddelbart endre?
Hvilke problemer har man vanskelig for å gjøre noe med?
Hva er lettest å gjøre?
Hva krever minst ressurser å gjennomføre?
Hva er det mulig å gjennomføre innen en bestemt tidsfrist?
Hvor stor er enigheten når det gjelder problembeskrivelser og muligheter?

Etter at forskjellige grupper har fått anledning til å uttale seg bør innspillene systematiseres og eventuelle dilemmaer og ulike synspunkter synliggjøres skriftlig. Dette dokumentet bør igjen sendes på høring. Målet med dette må hele tiden være å sørge for tilpasning til lokale behov. En kvalitetsutviklingsprosess vil kunne ha konsekvenser som berører fundamentale forhold som demokrati på arbeidsplasser, medbestemmelsesrett og ansvarsfordeling mellom fagpersonalet og administrasjon. For å unngå konflikter bør kritikere lyttes til fra første stund. En løsning for noen kan bety en forverring for andre. Når enighet ommå er oppnådd bør ikke målene endres uten at det foreligger en god grunn.

Organisering:Handlingsalternativer i en kvalitetsutviklingsprosess:

STØRRELSE

Når lærestedet er stort:

Vurder å splitt opp prosjektet i ulike faser over lengre tid. Vurder å etablere egne kommunikasjonskanaler, egne internettsider, nyhetsbrev. Ved milepæler, innkall til allmøter.

Når lærestedet er spredt geografisk:

Etabler egne prosjektgrupper for enkelte geografiske enhet. Sørg for at alle har tilgang til samme informasjon til samme tid. Etabler felles prosjektgruppe med representanter for alle enhetene som i fellesskap styrer prosjektet.

KOMPLEKSITET

Når lærestedet har mange og forskjellige disipliner og fagområder:

Kall inn til allmøter og lag grupper som bryter ned disiplin og faggrenser.

Når det er mange interessenter:

Innhent informasjon om hvordan interessentene ser på lærestedet og hva de mener kan forbedres/utvikles. Inviter til felles møter mellom representanter for næringsliv og organisasjoner og lærestedets egne tilsatte. Synliggjør eventuelle uenighet, og foreslå konkrete samarbeidstiltak med ulike parter.

LEDERE

Når ledere er uinteresserte:

Gi dem litteratur om emnet, ta initiativ til reiser til læresteder som har hatt vellykkede prosesser, identifiser problemområder som er viktige, og inkluder dem i prosessen.

DELTAKELSE/INTERESSE

Når ansatte er for travle eller uinteresserte:

Start beskjedent. Innhent ulike oppfatninger og eventuelle årsaker til likegyldigheten og synliggjør dem. Bruk økonomiske eller faglige intensiver for å vekke interesse. Start med de som tross alt er interessert. Prøv å vekke interessen hos respekterte fagpersoner. Start med å arrangere frivillig seminarer.

Når ansatte har mistanke om skjult agenda:

Start med allmøter og konfronter ledelse og kollegium/styre med de ansattes synspunkter. Bekreft formålet muntlig og skriftlig gjennom hele prosessen. La alle saksdokumenter og all informasjon holdes åpent for innsyn.

FORANDRING

For maksimal effekt:

Bruk intensiver, sett av ressurser og tid, inkluder forskningsinnsatsen i prosessen, tilpass prosessen til lokale behov, trekk inn personale som er sentrale i oppfølging tidlig i prosjektet, sørg for at ledelsen er oppdatert, interessert og orientert. Inkluder studentene i arbeidet. Sørg for at studenter regelmessig introduseres for hvordan arbeidet med kvalitet kan drives.

For minimal effekt:

La en person ta alt ansvar for prosessen. La færrest mulig ansatte få oppgaver i forbindelse med prosjektet. Ikke informer om prosjektet internt på lærestedet. Ikke sett av ressurser og tid. Ikke inkluder studentene i arbeidet.

HISTORIE

Når tidligere erfaringer ikke er positive:

Grip fatt i svakhetene og konfronter de involverte med dem i starten av prosjektet. Vis hvordan dette prosjektet er annerledes. La praksis følge intensjoner.

Når evaluering blir rutine:

Relater prosessen til ansattes problemer. La prosessen være fleksibel i forhold til ansattes arbeidssituasjon og problemstillinger. Bruk de ansattes erfaringer. Bruk intensiver. Legg vekt på å effektivisere prosessen, slik at tid kan frigjøres.

POLITISERING

Når lærestedene har høy grad av åpne konflikter:

Prøv å identifisere innholdet i konfliktene. Vurder nøye hvorvidt man bør utsette prosessen. La respekterte personer uten sterke interesser lede prosessen. Start i liten målestokk med et lite antall personer.

Når lærestedene har høy grad av skjulte konflikter:

Synliggjør ulike meninger og synspunkter. Inkluder mange i arbeidet, distribuer informasjon og rapporter til alle. Bruk intensiver.

ERFARING/KULTUR

Når erfaringene med og synspunkter på evalueringsarbeid er få:

Innhent gjesteforelesere med erfaring, besøk læresteder med erfaring, bruk eksterne personer med erfaring i prosjektgruppen.

Når datainnsamlingen er ufullstendig/problematisk:

Utsett prosessen til problemene er løst. Sentraliser den ekspertisen som finnes, driv opplæring, søk eventuelle minimumsløsninger, engasjer ledelsen i problematikken, la eventuelle løsninger bli et eget mål for prosessen.

Datainnsamling:
Innsamling, systematisering og utnytting av kvantitative data er ofte den prosessen som gir mest verdifull informasjon under arbeidet.
Det å kunne tallfeste virksomheten og se endringer over tid skaper en klarere visjon om hvor man er og hvor man er på vei. Velfungerende data som er tilgjengelig for innsyn og som kan sammenlignes på tvers av fag og avdelinger, skaper motiverende effekter og er kvalitetsutvikling i seg selv.
Hvorfor er gjennomstrømningen lavere på vårt fag enn det andre faget? Hvorfor har karaktergjennomsnittet falt de siste tre årene?
Minst fem datakilder bør vurderes:

Kvantitative data om studenter og resultater knyttet til den enkelte utdanning, for eksempel opptakstall, gjennomstrømning, karakterer, frafall, stryk.
Kvantitative data om studenter og deres oppfatning av lærestedet.
Data knyttet til studentevalueringer av undervisning.
Spørreundersøkelse eller intervjuer med fagpersonalet og sensorer.
Spørreundersøkelse eller intervjuer med avtakere av studentene og med uteksaminerte kandidater.

Om bruken av kvantitative og kvalitative data:
Selv om kvantitative data må samles inn er det viktig at datainnsamlingen ikke bare er konsentrert om å kvantifisere læringsmiljø og institusjon. Kvantitative data bør alltid kombineres med kvalitativ informasjon. Kvantitative data er likevel et meget godt utgangspunkt for å stille gode spørsmål.
Studentevalueringer av undervisningen:

Alle læresteder er pålagt å drive evaluering av undervisningen. En grundig analyse av den undervisningen som foregår er en viktig informasjonskilde. Det gir verdifull innsikt i studentenes synspunkter på den utdanningen de går på og den undervisingen de mottar. En kilde for organisering og bruk av studentundersøkelser er Handal 1996.

Spørreundersøkelser:

En annen kilde er spørreundersøkelser eller intervjuer av fagpersonalet. En slik undersøkelse kan avdekke hva som fungerer dårlig og hva som fungerer godt, interesser for endring og utvikling, oppfatning av nasjonalt utviklingstrekk og faglige standarder.

Undersøkelser om utdanningene eller lærestedene gjennom spørreundersøkelser eller intervjuer med avtakere av kandidater. Slik informasjon gir innblikk i hvilket rykte og status et lærested har og hvor relevant omgivelsene synes utdanningene og lærestedet er.

Huskeregler for datainnsamling:

Innhent kun data som man faktisk trenger og ikke bruk tid og energi på data som det bare kan være kjekt å ha.
Det skaper irritasjon blant studenter og fagpersonalet hvis man ber om data og opplysninger som senere ikke blir benyttet.
Hvis data skal være nyttig for senere bruk, må de omformes til meningsfull informasjon. Det krever analyser og fortolkning.
For å skape motivasjon for senere datainnsamling må informasjonen raskt rapporteres til fagpersonalet og studenter, og det må synliggjøres at informasjonen faktisk brukes i beslutningssammenheng.

Man bør lete etter muligheter for å kombinere datainnsamling med andre aktiviteter. Det er også lurt å bruk de IT baserte studieadministrative systemene som finnes.

Forskningsarbeid blant tilsatte og studenter er også muligheter.

Datainnsamlingen bør minimum omfatte:

De data og den informasjon departementet årlig krever av lærestedene gjennom den ordinær rapporteringen
Data som sier noe om både utgangspunkt, prosesser og resultater.

Begrunnelse for innsamling av data og spredning av informasjon om resultatet:

Man bør kunne begrunne valg av data. Man bør være kritisk til å ta med nye indikatorer. Hvis man kan samle inn et datamateriale som kan gi innsikt når det gjelder holdninger, motivasjon og kunnskap før og nå vil man få et godt utgangspunkt. Formål og organisering av datainnsamlingen må tenkes nøye igjennom. Hva skal man bruke dataene til? Hva kan man bruke dataene til? Hvordan skal dataene gjøres tilgjengelig for ansatte og studenter? For spredning av informasjon er egne internettsider velegnet.

Innsamling og bearbeiding av informasjon og data er nærgående og følsomme prosesser. Enkeltpersoner må beskyttes. Det kan gjøres ved å understreke at arbeidet for å utvikle kvalitet foregår på institusjonsnivå. Informasjon om aktiviteter i et miljø bør aggregeres og anonymiseres. Før man iverksetter større datainnsamlinger kan det være fornuftig å skissere og avtale hvordan informasjonen og kunnskapen som evalueringen frembringer skal håndteres.

Forslag til etiske retningslinjer:

Ikke innhent data og informasjon hvor det er usikkerhet knyttet til lovligheten, grad av systematisering eller til kopling av persondata.
Ikke innhent informasjon og data som ansatte ikke vil at man skal innhente.
Ikke spre informasjon eller data uten å verifisere dem først.
La alltid de som data er innhentet fra, eller de som på annen måte er berørt av informasjonen, få anledning til å uttale seg om den før den offentliggjøres.
Være ærlig og ikke underslå eller fordreie opplysninger.
Opplysninger på individnivå skal alltid aggregeres og anonymiseres
La all informasjon og alle data være fritt tilgjengelig.
Ikke bruk informasjonen i andre sammenhenger eller til andre formål enn opprinnelig spesifisert uten å få en godkjenning fra de som informasjonen gjelder eller berører.

Til diskusjon:

Hvordan kan vi konkretisere formålet med kvalitetsarbeidet?
Hvordan etablerer vi forståelse for kvalitetsarbeid?
Hvordan bør vi informere om kvalitetsarbeidet?
Hvordan sikrer vi klare ansvarslinjer og myndighetsområder?
Hvordan bør vi organisere arbeidet slik at de er i samsvar med og hensiktsmessig i forhold til målsettingene?
Hvordan kan vi velge ut de data som er mest hensiktmessig for prosjektets målsettinger?
Hvordan gir vi studenter og ansatte best mulig tilbakemelding om analysene av datamaterialet?
Hvordan kopler vi datamaterialet til de ordinære beslutningsprosessene?