Notat
Til: USITs ledelse
Fra: Gunnar J Schei
Dato: Opprinnelig forfattet 16.05.06, oppdatert 06.06.06 og 29.06.06
Emne: Plagiatkontroll ved UiO
1. Hvorfor plagiatkontroll?
Økt bruk av og tilgang til elektroniske oppgaver er med på å skape et behov for plagiatkontroll av innleverte oppgaver ved UiO. Dette fordi
- Erfaringer i fagmiljøene tyder på at omfanget av fusk er større nå enn det har vært tidligere. Flere miljøer (se pkt 2 under) etterlyser et verktøy for å kunne sjekke hvorvidt innleverte oppgaver er skrevet av studentene selv eller ikke.
- Det finnes websider hvor det foregår kjøp og salg av oppgaver. Dette gjelder både grunnskole, videregående opplæring og høyere utdanning. Det finnes også eksempler på websider hvor man kan kjøpe ph.d.-grader. Se feks denne siden. Det finnes også eksempler på sites som selger ferdige doktoravhandlinger.
Dette notatet undersøker behovet for støtte til fuskproblematikk ved UiO. Det ses også på ulike leverandører av plagiatkontrolsystemer, og i tillegg presenteres igangsatte pilotforsøk med Ephorus på UiO.
Avslutningsvis anbefales det hvordan UiO bør handle for å få på plass et system for plagiatkontroll i løpet av høsten.
2. Etterspørsel ved UiO
En rekke miljøer ved UiO har tatt kontakt med DML-gruppen for å høre hvilke erfaringer vi har med verktøy for plagiatkontroll, eller for å undersøke hvilke planer som eksisterer rundt innkjøp av slike systemer. Vi kan konkludere med at det finnes et klart uttalt behov for plagiatkontrollsystemer ved UiO. Videre følger en oversikt over de henvendelsene som er registrert:
Rektor ved UiO uttalte i Østlandssendingen 09.11.2004 at det vil bli innført datasystem for å avdekke juks ved UiO, ved innsending av eksamensbesvarelser over nett.
Studiedirektør Monica Bakken har uttalt seg i mai 06 til Aftenposten om plagiering og plagiatkontroll
I desember -05 henvendte Cecilie Ødegård fra Pedagogisk forskningsinstitutt (PFI) seg til DML da de opplevde juks som et problem ved digital innlevering av eksamen. De hadde tatt flere studenter for juks da de gjennomførte stikkprøver ifm sensur høsten -05. PFI ønsket seg et elektronisk plagiatkontrollsystem, men også en avklaring av de juridiske forholdene rundt bruken av et slikt system. Ifølge PFI skal Øyvind Nystøl ved UV ta dette opp i et egnet fakultetsorgan. Pr juni 06 har DML ikke hørt noe mer om det sist nevnte.
Erik Røsæg fra Juridisk fakultet, Nordisk institutt for sjørett, spurte samme måned om DML hadde kjennskap til hvorvidt det finnes noen planer på UiO for innkjøp av programmer som avslører plagiat. Røseg nevnte leverandørene TurnItIn og Safe Assignment, og spurte om vi hadde oversikt over andre systemer på markedet.
I februar -06 mottok DML nok en henvendelse fra Juridisk fakultet, denne gangen fra Odd Erik Pedersen i IT-avdelingen. Det kom fram at 3.avdeling Jus har benyttet Ephorus (se kap 3 under) på eget initiativ høsten -05. Videre har de vært i kontakt med Studieavdelingen, representert ved Kirsti Mortensen og Torbjørn Grønner, for å forhøre seg om muligheten for at UiO kjøper inn et plagiatkontrollsystem sentralt.
IT-avdelingen på Humanistisk fakultet (HF) v/ Marius Wiltil melder at man tar 10-20 studenter for fusk hvert semester, men at problemet nok er større. Videre tror han at tilstedeværelsen av et plagiatkontrollsystem vil kunne virke preventivt.
Jan Engh fra Universitetsbiblioteket (UB) har også meldt interesse for plagiatkontrollsystemer. Han er fagreferent i språkvitenskap og informatikk for humanister ved UB, og er interessert i å vite hva som finnes av plagiatoppdagere, og hvordan de virker.
3. Leverandører av plagiatkontrollsystemer
Ephorus
Ephorus er et webbasert verktøy for plagiatkontroll av tekst, utviklet i Nederland. Tjenesten søker i databaser for å avsløre forsøk på å plagiere andres arbeider. Det søkes på www, i litteraturdatabaser (forlag etc) og i Ephorus-databasen. Sistnevnte inneholder innleverte studentarbeider. Det understrekes at tekstbasert gjenkjenning medfører at systemet ikke er optimalt for gjenkjenning av formler, programkode etc. Dette er med andre ord et verktøy utelukkende basert på tekstgjenkjenning i prosatekster.
Ephorus er pr juni 06 det eneste systemet for plagiatkontroll som har integrasjon med Fronter. Utviklingskostnadene for dette ble betalt av Fronter og Universitetet i Bergen (UiB), totalt kr 50 000. Her finnes informasjon om Ephorus på UiB. I tillegg til integrasjon med Fronter er det mulig å sjekke dokumenter for plagiat mot Ephorus sin database via et webgrensesnitt. Mer informasjon om Ephorus finnes på USITs internweb. Kontaktperson hos Ephorus er Joep Chappin.
Prisoverslag:
|
Antall studenter |
Pris pr student pr år (pr lisens) |
|
1 - 2000 |
14 NOK |
|
2000 - 4000 |
12 NOK |
|
4000 og oppover |
10 NOK |
Urkund
Urkund
er et plagiatkontrollsystem utviklet i Sverige, som benyttes i stor
skala i svensk UH-sektor. Det likner svært på
Ephorus ift søk og brukergrensesnitt, søker
på internett, forlagsmateriale og studentmateriale. Det
finnes mulighet for å logge på en webside og vaske
dokumenter der, men den vanligste fremgangsmåten er at studenter
sender dokumenter til læreren og dokumentene vaskes da
automatisk mot Urkund sin database.
Det finnes ikke integrasjon med Fronter pr juni 06, men dette er utviklet og vil bli tilgjengelig i Fronter versjon 62, som settes i produksjon på UiO i løpet av august 06. Som det framgår av tabellen under, er Urkund det klart dyreste systemet.
Prisinformasjon:
|
Tilknytningsgrad |
Pris pr student pr år. |
|
Når et institutt tilslutter seg |
50 SEK (42 NOK) |
|
Når et fakultet tilslutter seg |
40 SEK (33 NOK) |
|
Når hele campus tilslutter seg |
30 SEK (25 NOK) |
Minimumsavgift er 12 000 SEK pr år.
SafeAssignment
Leveres av Sciworth Inc., et kanadisk selskap. Informasjon finnes her. Har integrasjon med Blackboard, og fungerer her relativt likt som Ephorus i Fronter. Det er imidlertid ikke mulig å sjekke besvarelser via et webgrensesnitt, slik som med Ephorus og Urkund. BI bruker dette systemet.
Dersom man ikke har Blackboard har man muligheten til å kjøpe systemet MyDropBox Suite. Dette er et slags mini-LMS med muligheter for innlevering og samarbeid. Med mindre UiO velger å kjøpe Blackboard vil dermed denne løsningen være lite hensiktsmessig.
Prisinformasjon: MyDropBox Suite inneholder 3 moduler, Safeassignment, Re:Mark og Peer Re:mark. Dette koster 0,90 USD pr student pr år. Sciworth Inc. har tilbudt UiO et semester gratis utprøving av MyDropBox Suite. Kontaktperson på Sciworth er Anna Yashkina
|
Antall studenter |
Pris pr student pr år |
|
5 000 (10% rabatt) |
0,81 USD (ca 5 NOK) |
|
30 000 (35% rabatt) |
0,585 USD (ca 4 NOK) |
Turnitin
Turnitin leveres av iParadigm, og er sannsynligvis det ledende plagiatkontrollverktøyet på verdensbasis. Det finnes integrasjon med Blackboard (og WebCT). Systemet brukes i følge iParadigm av over 1000 institusjoner i over 80 land. Det finnes også mulighet for å vaske besvarelser via et webgrensesnitt.
Integrasjonen med LMSer likner mye på Ephorus i Fronter, det samme gjelder webgrensesnittet. I følge iParadigm baserer TurnItIn seg på API løsninger, noe som skal gjøre det relativt greit å integrere TurnItIn med de øvrige webbaserte tjenestene. I følge Dag Torp på Fronter kostet det 50 000 NOK å integrere Fronter og Ephorus, og man må regne med en tilsvarende utviklingskostnad dersom man ønsker integrasjon med Turnitin.
Jeg har hatt noe korrespondanse med James Thorley på Northumbria Learning.
Prisinformasjon: Campuslisens 1000 GBP + 0,50 GPB pr student
|
Antall studenter |
pris pr student pr år. |
|
5 000 |
0,7 GBP (ca 8 NOK) |
|
30 000 |
0,53 GBP (ca 6 NOK) |
4. Pilotforsøk med Ephorus
Etter oppdrag fra Hallgerd Benan, samt med bakgrunn i etterspørsel fra UiO-miljøer, satte DML i gang begrensede forsøk med Ephorus. Etter avtale med Fronter og Ephorus fikk UiO 1000 lisenser vederlagsfritt for utprøving våren 2006.
Ved utvelgelse av pilotmiljøer tok vi utgangspunkt i de miljøene som hadde meldt interesse for plagiatkontrollsystemer. Videre var det et poeng å ikke benytte samme testmodell som UiB. Der testet de Ephorus på Ex.phil, om lag 3000 studenter, noe som viste seg å være relativt vanskelig å administrere.
Testmiljøene fikk i mars -06 tilgang til Ephorus og prøvde ut Ephorus våren 06 via innleveringsverktøyet i Fronter.
De utvalgte testmiljøene er
- UTVIT 1000 ved Det utdanningsvitenskapelige fakultet (UV). Dette er grunnemnet for pedagogikk og spesialpedagogikk med om lag 500 studenter.
- JUR3000 ved Juridisk fakultet. Har om lag 300 studenter
- Institutt for kulturstudier og orientalske språk (IKOS). Ephorus skal her brukes på 2 emner med om lag 50 studenter på hvert emne.
- HEM 4210 som er en del av Master in Higher Education ved UV. Dette studiet har om lag 20 studenter, og all undervisning og innlevering foregår på engelsk.
Noen sentrale erfaringer:
- Som default får man for hver studentbesvarelse som vaskes automatisk en e-post hvor det bekreftes at oppgaven er levert. Dette oppleves som unødvendig, men lar seg fjerne ved å endre innstillingene ved pålogging hos Ephorus. Denne defaultinnstillingen bør endres, slik at man kan velge å få bekreftelse pr epost. Et alternativ kan være at man får en bekreftelse pr tidsenhet, med en liste over alle innleverte oppgaver.
- Ephorus med defaultinnstillinger gir veldig mange treff, dvs tilbakemelding fra Ephorus om at oppgaver mistenkes for plagiat. På UTVIT1000 fikk man over 200 treff (av ca 500), mens man på IKOS fikk 68 treff av totalt 99.
- 200 treff betyr da 200 epost tilbake til den som sendte inn oppgavene. Dette oppleves som lite hensiktsmessig på store emner, men funksjonaliteten kan skrus av ved pålogging på Ephorus. Da vil man i så fall måtte logge seg på Ephorus for å administrere treffene.
- Det ser ut til at trefflikhet på om lag 25-30% eller høyere gir relevante funn. Det betyr at tekster som i følge Ephorus innholder 30% samsvar med andre tekster på web, i databaser etc, ved nærmere gjennomgang ser ut til å kunne være faktiske tilfeller av fusk. En treffprosent på feks 20 kan man oppnå dersom to dokumenter inneholder mange av de samme referansene og referanselistene.
- Stig Mikalsen ved IKOS oppsummerer erfaringene med Ephorus i en velskrevet og eksemplarisk rapport (.doc)
- En viktig erfaring fra IKOS som ikke er nevnt i punktene over er at administrasjon av systemet ikke ser ut til å genererer mye merarbeid for de involverte.
g
5. Hvem har kjøpt Ephorus i Norge?
De følgende relevante organisasjonene har kjøpt Ephorus:
Høgskoler:
|
Universiteter:
Andre
|
6. Konklusjon og anbefalinger
1. Det finnes et behov for verktøy til støtte for plagiatkontroll på UiO. Det må derfor initieres et prosjekt som har som mål å føre fram til en anskaffelse av et slikt system. Dette prosjektet er det Studieavdelingen som må lede og eie.
2. Studieavdelingen må i det minste adressere følgende temaer:
- Juridiske aspekter ved innføringen av et digitalt plagiatkontrollsystem
- Endringer i reglementer
- Lisensbehovet - pris, etc
- Eierskapet til dataene UiO sender til Ephorus
- Anonymisering av kilder
3. USIT bør bidra med følgende:
- Brukerstøtte
- Teknisk utprøving
- Strøtte til gjennomføring av pilot
4. Pilotprosjektet med Ephorus bør fortsette høsten 2006. Det kan da være aktuelt å prøve Ephorus på et større emne. De følgende miljøene har signalisert at de ønsker å fortsette:
- Jur.fak, JUR1000 og JUR3000, totalt behov for 600 lisenser
- IKOS, totalt behov for 300 lisenser
- PFI, utvit1000, totalt behov for 400 lisenser
5. Pilotprosjektet bør undersøke flere plagiatkontrollsystemer. Ut i fra den tilgjengelige informasjonen virker det fornuftig også å prøve ut TurnItIn, da dette systemet oppleves som det beste av konkurrentene til Ephorus. Man må her undersøke:
- hva det vil koste og hvor lang tid det vil ta å få på plass en integrasjon med Fronter.
- en sammenlikning av de to systemene gjennom å vaske de samme dokumentene.
g
7. Framdriftsplan
| # | Sak/ Innhold | Frist | Ansvar |
|---|---|---|---|
| 1 | Notat om støtte plagiatkontroll levert USITs ledelse | 30.06.06 | DML/Gunnar Schei |
| 2 | Studieavdelingen overtar prosjektansvaret | ASAP, senest primo august | USIT/STA |
| 3 | Møte mellom UiO og Ephorus | 22.08.06 | USIT/STA/Gunnar Schei |
| 4 | Fortsatt pilotforsøk med plagiatkontrollsystemer, Ephorus og Turnitin | igangsettes etter pkt 3 er gjennomført og lisenser avklart | STA, USIT bistår med det tekniske |
| 5 | Oppsummering av erfaringer fra pilot høst 06 | 01.12.06 | STA |
| 6 | Beslutning ift valg av system tatt | 15.12.06 | STA |
| 7 | Tjenestedokumentasjon på plass | 05.01.07 | USIT/STA |
| 8 | Tjeneste etablert | 15.01.07 | STA |
Redaksjon: DML-gruppen, dml-gruppen@usit.uio.no
Forfatter: Gunnar J Schei, g.j.schei@usit.uio.no
Dokument opprettet: 23.04.2006, endret: 29.06.2006, verifisert: 29.06.2006Administrer dette dokumentet