Kapittel 4 Selvevaluering

 

Selvevaluering er prosessen hvor man internt på lærestedet vurderer og analyserer den informasjon som er framkommet gjennom datainnsamling og systematisering.

 
I en selvevaluering bør alle de fem dimensjonene av kvalitet vurderes. 

1. Kvalitet som det unike
2. Kvalitet som bestemte standarder
3. Kvalitet som relevans
4. Kvalitet som økonomi
5. Kvalitet som endring

 

Prosjektgruppa bør på forhånd og gjerne på et allmøte drøfte og ta stilling til hvilke temaer de fem dimensjonene skal analyseres i forhold til.

 
Uansett hvilke tema som inkluderes eller ekskluderes fra en slik liste, er det viktig at evalueringen gir et helhetsbilde av aktiviteten på en gitt utdanning eller lærested. Et slikt helhetsbilde bør som et minimum inkludere vurderinger av: Menneskene, utdanningen og organisasjonen.  
De 12 temaene som presenteres i boka har blitt brukt i nasjonale evalueringer av fag i Norge. Temaene fungerte veldig bra for samtlige utdanninger selv om utdanningene var svært ulike. Ulike teama og dimensjoner for et kvalitetsutviklingsprosjekt: 

	Kvalitet som det unike	Kvalitet som bestemte standarder	Kvalitet som relevans	Kvalitet som økonomi	Kvalitet som endring/ utvikling
Målsettinger
Lærere/fagpersonale
Ledelse og administrasjon
Studenter
Ressurser og fasiliteter
Studieprogram og kurs
Pensum
Undervisning og eksamen
Forskningstilknytning
Organisasjon og læringsmiljø
Ytre relasjoner
Resultater

 

Temaene bør ses i sammenheng. For eksempel bør spørsmål knyttet til pensum relateres til studentenes faglige forutsetninger og resultater.

 
Nedenfor er temaene sett i forhold til ulike kvalitetsdimensjoner og forsøkt operasjonalisert som spørsmål en evalueringen bør besvare. Målsettinger: 
Er undervisning og aktiviteter som finner sted i samsvar med utdanningas målsettinger? Bruker lærerne og ledelsen målsettingene? Kjenner de målsettingene? Er målene hensiktsmessige? Er de gode styringsinstrumenter? Er de nok presise? Er de for ambisiøse?

Det er viktig å bli klar over om målsettingene er relevante i forhold til framtidige behov.

 

	Målsettinger
Kvalitet som det unike	Gir målsettingene studentene og ansatte noe å strekke seg etter? Gir målene uttrykk for ambisjoner?
Kvalitet som bestemte standarder	Kan målsettingene operasjonaliseres og gjøres til gjenstand for evaluering for å se hvorvidt de oppnås?
Kvalitet som relevans	Samsvarer målsettingene med den utdanningen som gis?
Kvalitet som økonomi	Gir målsettingene utrykk for et ønsket om sosial, kulturell eller økonomisk verdiskaping?
Kvalitet som endring og utvikling	Når gikk man sist kritisk gjennom målsettingene? Tar de høyde for samfunnsmessige utviklingstrekk?

 Lærere og fagpersonalet 
Hensiktmessige og formelle kvalifikasjoner hos personalet er en nødvendig forutsetning for kvalitet. Sentralt her er rekrutteringen av fagpersonalet og forutsetninger for dette; det gjelder undervisningskvalifikasjoner og forskerkvalifikasjoner. I evalueringer av hele utdanningsprogram er det viktig at lærernes kvalifikasjoner tilsvarer utdanningens kompetanseområder slik at en dekker alle fag og områder. Vedlikehold av kompetanse er viktig. Det gjelder etter/videreutdanning og doktorgrader. 

	Lærere og fagpersonalet
Kvalitet som det unike	Eksisterer det spisskompetanse i personalet? Er motivasjon og ambisjoner høye?
Kvalitet som bestemte standarder	Har staben formelle forsknings- og undervisningskvalifikasjoner?
Kvalitet som relevans	Har personalet relevante kvalifikasjoner?
Kvalitet som økonomi	Utnyttes personalet effektivt i undervisning og veiledning?
Kvalitet som endring og utvikling	Har personalet uutnyttet kompetanse? Hva er behovene i framtida? Eksisterer det rekrutteringsstillinger?

 

I arbeidet med å samle inn data kan det være hensiktsmessig at hver enkelt av personalet utformerer en kortfattet vita med opplysninger om:

 

• Høyete akademiske grad/godkjent kompetanse
• Pedagogisk utdanning og antall år med undervisningserfaring
• Antall år med arbeidserfaring fra sektoren som utdanningen retter seg mot
• Publikasjoner
• Fagområder vedkommende underviser innenfor.

 Ledelse og administrasjon 
Skal utdanning utvikles og kvaliteten opprettholdes er det viktig at både administrativ og faglig ledelse er engasjert og avsetter tid til faglig utvikling. Er ledelsen aktive pådrivere i den faglige utviklingen eller overlates dette til den enkelte lærer? Tar ledelse ansvar for kvalitetssikring og utvikling på lærestedet? Er ledelsen aktiv i utviklingen av nye mål og strategier? Hvordan er samarbeidet mellom faglig og administrativ ledelse? Gis lederne utviklingsmuligheter? Betingelse for utøvelse av lederskap er viktig. 

	Ledelse og administrasjon
Kvalitet som det unike	Er ledelsen og administrasjonen pådrivere i utvikling av utdanningen?
Kvalitet som bestemte standarder	Er den administrative kapasiteten tilstrekkelig?
Kvalitet som relevans	Arbeider ledelsen og administrasjonen med de riktige tingene?
Kvalitet som økonomi	Utfører de sine oppgaver effektivt? Har man kontinuerlig oversikt over virksomheten?
Kvalitet som endring og utvikling	Hvordan kan de administrative rutinene bli bedre? Utnyttes IT i styring og administrasjon? Er betingelsene for ledelse til stede?

 Studentene 
Å studere rekrutteringen i forhold til målsettingene om lik rett til utdanning og andre mål er viktig. Det kan være studentenes alder, kjønn, geografiske tilhørighet og karakternivå. I arbeidet med rekruttering vil kunnskap om hvordan studentene får kjennskap til utdanningen og lærestedet være interessant.  

	Studentene
Kvalitet som det unike	Er studentene motivert og interessert i utdanningen Har de spesiell kjennetegn?
Kvalitet som bestemte standarder	Har studentene gode nok forkunnskaper? Er de formelt kvalifiserte?
Kvalitet som relevans	Rekrutterer man de studentene man ønsker? Når man eventuelle målgrupper?
Kvalitet som økonomi	Skjer opptak og rekruttering av studenter effektivt? Klarer man å fylle opp alle studieplassene?
Kvalitet som endring og utvikling	Har sammensettingen av studentene blitt endret? Bør man endre rekrutteringspolitikken?

 

Fakta og informasjon om studentene må kvantifiseres. Et minimum av statistikk bør derfor utarbeides:

 

• Kjønn og alder
• Hel- og deltidsstudenter
• Fordeling på studienivå
• Rekrutteringsprofil
• Antall søkere og endringer i søkermønsteret
• Opptakskrav

 Ressurser og fasiliteter 
Det materielle utstyret for faglig utvikling bør være tilstede. Det gjelder lokaler og materielle ressurser som utgjør de fysiske rammene for utdanningen.  

	Ressurser og fasiliteter
Kvalitet som det unike	Muliggjør rammebetingelsene et høyt faglig nivå?
Kvalitet som bestemte standarder	Er forholdene mellom lokaler og ressurser, og antall studenter tilfredsstillende?
Kvalitet som relevans	Er lokalene hensiktmessige?
Kvalitet som økonomi	Er lokaler og ressurser utnyttet effektivt? Bør man satse på økt ekstern utleie og finansiering?
Kvalitet som endring og utvikling	Hvordan er ressursbehovet framover? Trenger man nytt teknisk utstyr?

 Studieprogram og kurs 
Utgjør utdanningen og kurs en helhet? Er det tilstrekkelig progresjon? Har program og kurs tilstrekkelig lærerkrefter og ressurser til å sikre et høyt og stabilt nivå på utdanningen? Legges det opp til en aktiv studentrolle?
 

	Studieprogram og kurs
Kvalitet som det unike	På hvilken måte skiller kursene og utdanningen seg fra tilsvarende utdanninger? Utnyttes det lokale potensialet i utdanningen?
Kvalitet som bestemte standarder	Holder alle utdanninger og kurs et akseptabelt faglig nivå?
Kvalitet som relevans	Dekker utdanningene og kursene spesifikke behov? Eksisterer det muligheter på arbeidsmarkedet for uteksaminerte kandidater? Er oppbyggingen av utdanningen i samsvar med den faglige utviklingen?
Kvalitet som økonomi	Overlapper ulike kurs og moduler hverandre? Er studieløpet effektivt lagt opp? Er utdanningen godkjent ved andre læresteder?
Kvalitet som endring og utvikling	På hvilken måte revideres og evalueres ulike kurs og utdanninger? Eksisterer det rutiner for godkjenning av nye kurs/spesialiseringer?

 Pensum 
Å studere relevansen av pensum opp mot studiets målsettinger og eventuelle avtakerinteresser er noe av kjernen i en evaluering av en utdanning. Et pensum innenfor høyere utdanning må holde faglige standarder: Er pensum oppdatert? Hvordan inkluderes forskning? Inneholeder pensum fremmedspråklig internasjonal litteratur? Hvordan er balansen mellom teori og praksis? 

	Pensum
Kvalitet som det unike	Er pensum sammensatt på en måte som utfordrer studentene?
Kvalitet som bestemte standarder	Holder pensum et godkjent akademisk nivå? I hvilken grad er utenlandsk litteratur på pensum?
Kvalitet som relevans	Avspeiler pensum målsettinger i studie- og læreplaner? Er eventuelle praksisferdigheter inkludert?
Kvalitet som økonomi	Er pensum overlappende? Gir pensum mulighet for effektiv innlæring?
Kvalitet som endring og utvikling	Hvilke rutiner finnes for å revidere og oppdatere pensum?

 Undervisning og eksamen 
Undervisning og eksamen er ofte det mest sentrale og kommer ofte mest i fokus ved en evaluering. Det er viktig å se på dette isolert men også i sammenheng med utdanningens målsettinger, oppbygging og resultater. Viktige spørsmål er derfor om undervisningsformene reflekterer ferdigheter og kunnskaper studentene skal tilegne seg. Studentevalueringer av undervisningen er en måte å forbedre og kvalitetssikre undervisningen på. Hvordan sikrer man oppfølging av disse evalueringene og hva brukes evalueringene til? 

	Undervisning og eksamen
Kvalitet som det unike	Holder undervisningen et høyt akademisk nivå? Underviser også de dyktigste og mest erfarne fagpersonene?
Kvalitet som bestemte standarder	Hvordan kvalitetssikres undervisning og eksamen?
Kvalitet som relevans	Relateres undervisningen og eksamen til studiets målsettinger?
Kvalitet som økonomi	Er frammøte på undervisningen høyt og stabilt? Gir de nåværende undervisnings- og eksamensformene den mest effektive innlæringen?
Kvalitet som endring og utvikling	Hvordan oppdateres undervisning og eksamen? Utføres det pedagogisk utviklingsarbeid?

 Forskingstilknytning 
Utdanningen skal være forskningsbasert, det vil si at studentene skal bli kjent med nyere forskningsarbeider og forskningsresultater og selv kunne drøfte og vurdere verdien av den forskningen som bedrives. Har de som underviser forskningskompetanse? På hvilken måte får lærerne oppdatert sine kunnskaper på forskningsfeltet? Drives det forskning på lærestedet? Tas studentene med på forskningsrelaterte prosjekter? Er vitenskapsteori og vitenskapsfilosofi en del av undervisningen, og forskningsmetode? 

	Forskningstilknytning
Kvalitet som det unike	Skapes det noe nytt og særpreget ved å kople utdanning og forskning? Rekruttere man de beste forskningsrekruttene?
Kvalitet som bestemte standarder	Skriver studentene et minimum av oppgaver og essays? Undervises det i forskningsrelatert emner?
Kvalitet som relevans	Er forskningen som utføres relevant for utdanningen? Er forskningen som utføres relevant for avtakere av kandidatene?
Kvalitet som økonomi	Utnyttes studentene som en ressurs i lærestedets forsknings- og utviklingsarbeid? Legges forskerutdanningen effektiv opp?
Kvalitet som endring og utvikling	Oppdateres fagpersonale og studentene i de nyeste forskningsmetoder og teknikker?

 
Organisasjon og læringsmiljø 
Vurdering av kultur, verdier og holdninger som dominerer i utdanningen eller ved lærestedet er verdifull informasjon for en kvalitetsforbedringsarbeid. Engasjement? Er miljøet preget av samarbeid eller konflikter? Hvordan løses konflikter? Hvordan er arbeidsmiljøet? 
Hvordan er studentene motivert? Hvordan fungerer den faglige veiledningen og studieveiledningen? Er lærerne tilgjengelige for studentene? Å måle studentenes motivasjon kan være vanskelig, men det finnes indikatorer, for eksempel tid brukt på studiet og til ulike aktiviteter ved lærestedet. Eksisterer det sosiale og kulturelle aktiviteter som gir grunnlag for et godt læringsmiljø? 
Hvor godt fungerer organisasjonen? Finnes det rutiner for oppfølging av enkeltmedarbeidere, medarbeidersamtaler osv? 

	Organisasjon og læringsmiljø
Kvalitet som det unike	Oppleves miljøet eller lærestedet som nytenkende og kreativt?
Kvalitet som bestemte standarder	Eksisterer det formelle prosedyrer og rutiner for å forbedre læringsmiljøet?
Kvalitet som relevans	Er aktiviteter og rutiner for å forbedre miljøet relatert til studiets formelle målsettinger
Kvalitet som økonomi	Tilrettelegges studier og miljøet ut i fra studentenes behov? Hvilken service ytes for å lette studentenes studiesituasjon?
Kvalitet som endring og utvikling	Deltar studentene aktivt i utviklingen av organisasjon og læringsmiljø? Tar man vare på og belønner de som er pådrivere for et godt miljø?

 

Ytre relasjoner 
En kartlegging og drøfting av hvilke relasjoner et lærested har til sine omgivelser kan gi nye utviklingsimpulser. Samarbeider lærestedet med næringslivet, organisasjoner og offentlig forvaltning? Lærestedets grad av internasjonalisering med utvekslingsavtaler for studenter og lærere og andre aktiviteter som sikrer faglig utvikling?
 

	Ytre relasjoner
Kvalitet som det unike	Har lærestedet eller utdanningen kontakt med ledende norske og utenlandske læresteder Eksisterer det utvekslingsavtaler med disse for studenter og fagpersonalet?
Kvalitet som bestemte standarder	Har lærestedet eller studiet internasjonale og norske samarbeidspartnere?
Kvalitet som relevans	Eksisterer det kontakt og kommunikasjon med næringsliv, offentlige institusjoner og andre organisasjoner i samfunnet?
Kvalitet som økonomi	Klarer lærestedet å trekke til seg eksterne ressurser? Synliggjør lærestedet sine kandidater?
Kvalitet som endring og utvikling	I hvilken grad søkes det aktivt nye nasjonale og internasjonale kontakter?

 Resultater 
Lærestedene forvalter store ressurser og disse bør brukes rasjonalt og kostnadseffektivt. Kvantitative nøkkeltall bør drøftes.

Resultater er også uttrykk for hva studentene skal kunne etter endt studium. Har de en utdanning som er etterspurt?

Bruker lærestedene ressursene på en effektiv måte? Kan en forbedre resultatet ved å bruke ressursene på en mer effektiv måte? Kan en søke eksterne ressurser? Hvem foretar ressursdisponeringen?

 

	Resultater
Kvalitet som det unike	Oppnår studentene gode resultater? Er karaktergjennomsnittet høyt? Er studentene tilfreds med sin utdanning?
Kvalitet som bestemte standarder	Følger produksjon av studiepoeng og kandidater normert tid?
Kvalitet som relevans	Får studentene relevant arbeid etter studiet? Oppfatter de studiet som nyttig for senere arbeid?
Kvalitet som økonomi	Hvordan er gjennomstrømningen? Tar studentene samme eksamen flere ganger?
Kvalitet som endring og utvikling	Hvordan er resultatet sett over tid?

 Kvantitative nøkkeltall som bør dokumenteres:  

• Studieprogresjon
• Resultater
• Avbrudd
• Fullføring

 
Selvevalueringsrapport 
Skal en slik rapport være nyttig må den ha en form som gjør den lett å bruke. Noen generelle råd: 

• Skriv kontinuerlig
• Legg tallmateriale og dokumentasjon i egne vedlegg bakerst. Lag figurer eller diagrammer som illustrerer poengene
• Prøv å foreta en analyse av styrker og svakheter, trusler og muligheter. Hva er man flink til? Hva kan forbedres?
• Skrive kort, ikke mer enn 20-40 sider
• Avslutt med egne anbefalinger til tiltak

 Vær klar over: 

• Problemer med taus kunnskap, erfaringer og forestillinger om virksomheten som personer utenfra har vanskelig for å forstå. Skriv ut problemstillingene.
• Utfordre eksterne evaluatorer til å svare på konkrete problemstillinger man vil ha svar på.

 Alternative selvevalueringsmodeller: 
Alternative selvevalueringsmodeller som er langt mindre omfattende er mulig. For eksempel seminar over en dag, minievaluering. Arbeidsformen er grupper og plenum. Det man kan oppnå med denne formen er å vekke nysgjerrighet og identifisere mulig forbedringspunkter.  Til diskusjon: 

• Hvordan kartlegger vi hvilke temaer selvevalueringen skal fokusere på?
• Hvordan velger vi temaer for selvevalueringen?
• Hvordan får vi til en hensiktmessig selvevaluering ut fra de ressursene og tidsbegrensningene som eksisterer?
• Hvordan sikrer vi at ulike delanalyser ses i en helhetlig sammenheng?
• Hvordan sikrer vi at selvevalueringen ikke bare blir rent beskrivende, men også en analyserende prosess?
• Hvordan kan vi gjøre selvevalueringen meritterende for dem som deltar?