Kapittel 4 Selvevaluering
Selvevaluering er prosessen hvor man internt på lærestedet vurderer og analyserer den informasjon som er framkommet gjennom datainnsamling og systematisering.
I en selvevaluering bør alle de fem dimensjonene av kvalitet vurderes.
- Kvalitet som det unike
- Kvalitet som bestemte standarder
- Kvalitet som relevans
- Kvalitet som økonomi
- Kvalitet som endring
Prosjektgruppa bør på forhånd og gjerne på et allmøte drøfte og ta stilling til hvilke temaer de fem dimensjonene skal analyseres i forhold til.
Uansett hvilke tema som inkluderes eller ekskluderes fra en slik liste, er det viktig at evalueringen gir et helhetsbilde av aktiviteten på en gitt utdanning eller lærested. Et slikt helhetsbilde bør som et minimum inkludere vurderinger av: Menneskene, utdanningen og organisasjonen.
De 12 temaene som presenteres i boka har blitt brukt i nasjonale evalueringer av fag i Norge. Temaene fungerte veldig bra for samtlige utdanninger selv om utdanningene var svært ulike. Ulike teama og dimensjoner for et kvalitetsutviklingsprosjekt:
Kvalitet som det unike | Kvalitet som bestemte standarder | Kvalitet som relevans | Kvalitet som økonomi | Kvalitet som endring/ utvikling | |
Målsettinger | |||||
Lærere/fagpersonale | |||||
Ledelse og administrasjon | |||||
Studenter | |||||
Ressurser og fasiliteter | |||||
Studieprogram og kurs | |||||
Pensum | |||||
Undervisning og eksamen | |||||
Forskningstilknytning | |||||
Organisasjon og læringsmiljø | |||||
Ytre relasjoner | |||||
Resultater |
Temaene bør ses i sammenheng. For eksempel bør spørsmål knyttet til pensum relateres til studentenes faglige forutsetninger og resultater.
Nedenfor er temaene sett i forhold til ulike kvalitetsdimensjoner og forsøkt operasjonalisert som spørsmål en evalueringen bør besvare. Målsettinger:
Er undervisning og aktiviteter som finner sted i samsvar med utdanningas målsettinger? Bruker lærerne og ledelsen målsettingene? Kjenner de målsettingene? Er målene hensiktsmessige? Er de gode styringsinstrumenter? Er de nok presise? Er de for ambisiøse?
Det er viktig å bli klar over om målsettingene er relevante i forhold til framtidige behov.
| Målsettinger | |
| Kvalitet som det unike | Gir målsettingene studentene og ansatte noe å strekke seg etter? Gir målene uttrykk for ambisjoner? |
| Kvalitet som bestemte standarder | Kan målsettingene operasjonaliseres og gjøres til gjenstand for evaluering for å se hvorvidt de oppnås? |
| Kvalitet som relevans | Samsvarer målsettingene med den utdanningen som gis? |
| Kvalitet som økonomi | Gir målsettingene utrykk for et ønsket om sosial, kulturell eller økonomisk verdiskaping? |
| Kvalitet som endring og utvikling | Når gikk man sist kritisk gjennom målsettingene? Tar de høyde for samfunnsmessige utviklingstrekk? |
Hensiktmessige og formelle kvalifikasjoner hos personalet er en nødvendig forutsetning for kvalitet. Sentralt her er rekrutteringen av fagpersonalet og forutsetninger for dette; det gjelder undervisningskvalifikasjoner og forskerkvalifikasjoner. I evalueringer av hele utdanningsprogram er det viktig at lærernes kvalifikasjoner tilsvarer utdanningens kompetanseområder slik at en dekker alle fag og områder. Vedlikehold av kompetanse er viktig. Det gjelder etter/videreutdanning og doktorgrader.
| Lærere og fagpersonalet | |
| Kvalitet som det unike | Eksisterer det spisskompetanse i personalet? Er motivasjon og ambisjoner høye? |
| Kvalitet som bestemte standarder | Har staben formelle forsknings- og undervisningskvalifikasjoner? |
| Kvalitet som relevans | Har personalet relevante kvalifikasjoner? |
| Kvalitet som økonomi | Utnyttes personalet effektivt i undervisning og veiledning? |
| Kvalitet som endring og utvikling | Har personalet uutnyttet kompetanse? Hva er behovene i framtida? Eksisterer det rekrutteringsstillinger? |
I arbeidet med å samle inn data kan det være hensiktsmessig at hver enkelt av personalet utformerer en kortfattet vita med opplysninger om:
- Høyete akademiske grad/godkjent kompetanse
- Pedagogisk utdanning og antall år med undervisningserfaring
- Antall år med arbeidserfaring fra sektoren som utdanningen retter seg mot
- Publikasjoner
- Fagområder vedkommende underviser innenfor.
Skal utdanning utvikles og kvaliteten opprettholdes er det viktig at både administrativ og faglig ledelse er engasjert og avsetter tid til faglig utvikling. Er ledelsen aktive pådrivere i den faglige utviklingen eller overlates dette til den enkelte lærer? Tar ledelse ansvar for kvalitetssikring og utvikling på lærestedet? Er ledelsen aktiv i utviklingen av nye mål og strategier? Hvordan er samarbeidet mellom faglig og administrativ ledelse? Gis lederne utviklingsmuligheter? Betingelse for utøvelse av lederskap er viktig.
| Ledelse og administrasjon | |
| Kvalitet som det unike | Er ledelsen og administrasjonen pådrivere i utvikling av utdanningen? |
| Kvalitet som bestemte standarder | Er den administrative kapasiteten tilstrekkelig? |
| Kvalitet som relevans | Arbeider ledelsen og administrasjonen med de riktige tingene? |
| Kvalitet som økonomi | Utfører de sine oppgaver effektivt? Har man kontinuerlig oversikt over virksomheten? |
| Kvalitet som endring og utvikling | Hvordan kan de administrative rutinene bli bedre? Utnyttes IT i styring og administrasjon? Er betingelsene for ledelse til stede? |
Å studere rekrutteringen i forhold til målsettingene om lik rett til utdanning og andre mål er viktig. Det kan være studentenes alder, kjønn, geografiske tilhørighet og karakternivå. I arbeidet med rekruttering vil kunnskap om hvordan studentene får kjennskap til utdanningen og lærestedet være interessant.
| Studentene | |
| Kvalitet som det unike | Er studentene motivert og interessert i utdanningen Har de spesiell kjennetegn? |
| Kvalitet som bestemte standarder | Har studentene gode nok forkunnskaper? Er de formelt kvalifiserte? |
| Kvalitet som relevans | Rekrutterer man de studentene man ønsker? Når man eventuelle målgrupper? |
| Kvalitet som økonomi | Skjer opptak og rekruttering av studenter effektivt? Klarer man å fylle opp alle studieplassene? |
| Kvalitet som endring og utvikling | Har sammensettingen av studentene blitt endret? Bør man endre rekrutteringspolitikken? |
Fakta og informasjon om studentene må kvantifiseres. Et minimum av statistikk bør derfor utarbeides:
- Kjønn og alder
- Hel- og deltidsstudenter
- Fordeling på studienivå
- Rekrutteringsprofil
- Antall søkere og endringer i søkermønsteret
- Opptakskrav
Det materielle utstyret for faglig utvikling bør være tilstede. Det gjelder lokaler og materielle ressurser som utgjør de fysiske rammene for utdanningen.
| Ressurser og fasiliteter | |
| Kvalitet som det unike | Muliggjør rammebetingelsene et høyt faglig nivå? |
| Kvalitet som bestemte standarder | Er forholdene mellom lokaler og ressurser, og antall studenter tilfredsstillende? |
| Kvalitet som relevans | Er lokalene hensiktmessige? |
| Kvalitet som økonomi | Er lokaler og ressurser utnyttet effektivt? Bør man satse på økt ekstern utleie og finansiering? |
| Kvalitet som endring og utvikling | Hvordan er ressursbehovet framover? Trenger man nytt teknisk utstyr? |
Utgjør utdanningen og kurs en helhet? Er det tilstrekkelig progresjon? Har program og kurs tilstrekkelig lærerkrefter og ressurser til å sikre et høyt og stabilt nivå på utdanningen? Legges det opp til en aktiv studentrolle?
| Studieprogram og kurs | |
| Kvalitet som det unike | På hvilken måte skiller kursene og utdanningen seg fra tilsvarende utdanninger? Utnyttes det lokale potensialet i utdanningen? |
| Kvalitet som bestemte standarder | Holder alle utdanninger og kurs et akseptabelt faglig nivå? |
| Kvalitet som relevans | Dekker utdanningene og kursene spesifikke behov? Eksisterer det muligheter på arbeidsmarkedet for uteksaminerte kandidater? Er oppbyggingen av utdanningen i samsvar med den faglige utviklingen? |
| Kvalitet som økonomi | Overlapper ulike kurs og moduler hverandre? Er studieløpet effektivt lagt opp? Er utdanningen godkjent ved andre læresteder? |
| Kvalitet som endring og utvikling | På hvilken måte revideres og evalueres ulike kurs og utdanninger? Eksisterer det rutiner for godkjenning av nye kurs/spesialiseringer? |
Å studere relevansen av pensum opp mot studiets målsettinger og eventuelle avtakerinteresser er noe av kjernen i en evaluering av en utdanning. Et pensum innenfor høyere utdanning må holde faglige standarder: Er pensum oppdatert? Hvordan inkluderes forskning? Inneholeder pensum fremmedspråklig internasjonal litteratur? Hvordan er balansen mellom teori og praksis?
| Pensum | |
| Kvalitet som det unike | Er pensum sammensatt på en måte som utfordrer studentene? |
| Kvalitet som bestemte standarder | Holder pensum et godkjent akademisk nivå? I hvilken grad er utenlandsk litteratur på pensum? |
| Kvalitet som relevans | Avspeiler pensum målsettinger i studie- og læreplaner? Er eventuelle praksisferdigheter inkludert? |
| Kvalitet som økonomi | Er pensum overlappende? Gir pensum mulighet for effektiv innlæring? |
| Kvalitet som endring og utvikling | Hvilke rutiner finnes for å revidere og oppdatere pensum? |
Undervisning og eksamen er ofte det mest sentrale og kommer ofte mest i fokus ved en evaluering. Det er viktig å se på dette isolert men også i sammenheng med utdanningens målsettinger, oppbygging og resultater. Viktige spørsmål er derfor om undervisningsformene reflekterer ferdigheter og kunnskaper studentene skal tilegne seg. Studentevalueringer av undervisningen er en måte å forbedre og kvalitetssikre undervisningen på. Hvordan sikrer man oppfølging av disse evalueringene og hva brukes evalueringene til?
| Undervisning og eksamen | |
| Kvalitet som det unike | Holder undervisningen et høyt akademisk nivå? Underviser også de dyktigste og mest erfarne fagpersonene? |
| Kvalitet som bestemte standarder | Hvordan kvalitetssikres undervisning og eksamen? |
| Kvalitet som relevans | Relateres undervisningen og eksamen til studiets målsettinger? |
| Kvalitet som økonomi | Er frammøte på undervisningen høyt og stabilt? Gir de nåværende undervisnings- og eksamensformene den mest effektive innlæringen? |
| Kvalitet som endring og utvikling | Hvordan oppdateres undervisning og eksamen? Utføres det pedagogisk utviklingsarbeid? |
Utdanningen skal være forskningsbasert, det vil si at studentene skal bli kjent med nyere forskningsarbeider og forskningsresultater og selv kunne drøfte og vurdere verdien av den forskningen som bedrives. Har de som underviser forskningskompetanse? På hvilken måte får lærerne oppdatert sine kunnskaper på forskningsfeltet? Drives det forskning på lærestedet? Tas studentene med på forskningsrelaterte prosjekter? Er vitenskapsteori og vitenskapsfilosofi en del av undervisningen, og forskningsmetode?
| Forskningstilknytning | |
| Kvalitet som det unike | Skapes det noe nytt og særpreget ved å kople utdanning og forskning? Rekruttere man de beste forskningsrekruttene? |
| Kvalitet som bestemte standarder | Skriver studentene et minimum av oppgaver og essays? Undervises det i forskningsrelatert emner? |
| Kvalitet som relevans | Er forskningen som utføres relevant for utdanningen? Er forskningen som utføres relevant for avtakere av kandidatene? |
| Kvalitet som økonomi | Utnyttes studentene som en ressurs i lærestedets forsknings- og utviklingsarbeid? Legges forskerutdanningen effektiv opp? |
| Kvalitet som endring og utvikling | Oppdateres fagpersonale og studentene i de nyeste forskningsmetoder og teknikker? |
Organisasjon og læringsmiljø
Vurdering av kultur, verdier og holdninger som dominerer i utdanningen eller ved lærestedet er verdifull informasjon for en kvalitetsforbedringsarbeid. Engasjement? Er miljøet preget av samarbeid eller konflikter? Hvordan løses konflikter? Hvordan er arbeidsmiljøet?
Hvordan er studentene motivert? Hvordan fungerer den faglige veiledningen og studieveiledningen? Er lærerne tilgjengelige for studentene? Å måle studentenes motivasjon kan være vanskelig, men det finnes indikatorer, for eksempel tid brukt på studiet og til ulike aktiviteter ved lærestedet. Eksisterer det sosiale og kulturelle aktiviteter som gir grunnlag for et godt læringsmiljø?
Hvor godt fungerer organisasjonen? Finnes det rutiner for oppfølging av enkeltmedarbeidere, medarbeidersamtaler osv?
| Organisasjon og læringsmiljø | |
| Kvalitet som det unike | Oppleves miljøet eller lærestedet som nytenkende og kreativt? |
| Kvalitet som bestemte standarder | Eksisterer det formelle prosedyrer og rutiner for å forbedre læringsmiljøet? |
| Kvalitet som relevans | Er aktiviteter og rutiner for å forbedre miljøet relatert til studiets formelle målsettinger |
| Kvalitet som økonomi | Tilrettelegges studier og miljøet ut i fra studentenes behov? Hvilken service ytes for å lette studentenes studiesituasjon? |
| Kvalitet som endring og utvikling | Deltar studentene aktivt i utviklingen av organisasjon og læringsmiljø? Tar man vare på og belønner de som er pådrivere for et godt miljø? |
Ytre relasjoner
En kartlegging og drøfting av hvilke relasjoner et lærested har til sine omgivelser kan gi nye utviklingsimpulser. Samarbeider lærestedet med næringslivet, organisasjoner og offentlig forvaltning? Lærestedets grad av internasjonalisering med utvekslingsavtaler for studenter og lærere og andre aktiviteter som sikrer faglig utvikling?
| Ytre relasjoner | |
| Kvalitet som det unike | Har lærestedet eller utdanningen kontakt med ledende norske og utenlandske læresteder Eksisterer det utvekslingsavtaler med disse for studenter og fagpersonalet? |
| Kvalitet som bestemte standarder | Har lærestedet eller studiet internasjonale og norske samarbeidspartnere? |
| Kvalitet som relevans | Eksisterer det kontakt og kommunikasjon med næringsliv, offentlige institusjoner og andre organisasjoner i samfunnet? |
| Kvalitet som økonomi | Klarer lærestedet å trekke til seg eksterne ressurser? Synliggjør lærestedet sine kandidater? |
| Kvalitet som endring og utvikling | I hvilken grad søkes det aktivt nye nasjonale og internasjonale kontakter? |
Lærestedene forvalter store ressurser og disse bør brukes rasjonalt og kostnadseffektivt. Kvantitative nøkkeltall bør drøftes.
Resultater er også uttrykk for hva studentene skal kunne etter endt studium. Har de en utdanning som er etterspurt?
Bruker lærestedene ressursene på en effektiv måte? Kan en forbedre resultatet ved å bruke ressursene på en mer effektiv måte? Kan en søke eksterne ressurser? Hvem foretar ressursdisponeringen?
| Resultater | |
| Kvalitet som det unike | Oppnår studentene gode resultater? Er karaktergjennomsnittet høyt? Er studentene tilfreds med sin utdanning? |
| Kvalitet som bestemte standarder | Følger produksjon av studiepoeng og kandidater normert tid? |
| Kvalitet som relevans | Får studentene relevant arbeid etter studiet? Oppfatter de studiet som nyttig for senere arbeid? |
| Kvalitet som økonomi | Hvordan er gjennomstrømningen? Tar studentene samme eksamen flere ganger? |
| Kvalitet som endring og utvikling | Hvordan er resultatet sett over tid? |
- Studieprogresjon
- Resultater
- Avbrudd
- Fullføring
Selvevalueringsrapport
Skal en slik rapport være nyttig må den ha en form som gjør den lett å bruke. Noen generelle råd:
- Skriv kontinuerlig
- Legg tallmateriale og dokumentasjon i egne vedlegg bakerst. Lag figurer eller diagrammer som illustrerer poengene
- Prøv å foreta en analyse av styrker og svakheter, trusler og muligheter. Hva er man flink til? Hva kan forbedres?
- Skrive kort, ikke mer enn 20-40 sider
- Avslutt med egne anbefalinger til tiltak
- Problemer med taus kunnskap, erfaringer og forestillinger om virksomheten som personer utenfra har vanskelig for å forstå. Skriv ut problemstillingene.
- Utfordre eksterne evaluatorer til å svare på konkrete problemstillinger man vil ha svar på.
Alternative selvevalueringsmodeller som er langt mindre omfattende er mulig. For eksempel seminar over en dag, minievaluering. Arbeidsformen er grupper og plenum. Det man kan oppnå med denne formen er å vekke nysgjerrighet og identifisere mulig forbedringspunkter. Til diskusjon:
- Hvordan kartlegger vi hvilke temaer selvevalueringen skal fokusere på?
- Hvordan velger vi temaer for selvevalueringen?
- Hvordan får vi til en hensiktmessig selvevaluering ut fra de ressursene og tidsbegrensningene som eksisterer?
- Hvordan sikrer vi at ulike delanalyser ses i en helhetlig sammenheng?
- Hvordan sikrer vi at selvevalueringen ikke bare blir rent beskrivende, men også en analyserende prosess?
- Hvordan kan vi gjøre selvevalueringen meritterende for dem som deltar?