smartlearning logo

Hvad ét kursus med 4.000 kursister har lært os om dataarbejde

Af Mette Søgaard, IT-didaktisk designer

I februar 2019 gik SmartLearning online med censorkurset og i foråret 2021 passerede vi 4000 kursister. Derfor vil jeg fortælle lidt om kurset.

Oprindeligt blev censorkurset bestilt af Uddannelses- og Forskningsministeriets Styrelse for Forskning og Uddannelse og vi fik en række dessiner fra styrelsen vedr indholdet i kurset.

Kurset blev bestilt efter et udvalgsarbejde, som du kan læse om i “Et fremtidssikret censorsystem”. SmartLearning blev valgt, fordi vi allerede dengang havde omfattende erfaring med at producere materiale til og udbyde online uddannelser.

Ud over dessinerne fik SmartLearnings direktør Tue Bjerl Nielsen og jeg, Mette Søgaard, som er IT-didaktisk designer, også lov at trække på en ‘arbejdsgruppe’, dvs en medarbejder fra styrelsen og tre erfarne censorformænd udvalgt af styrelsens medarbejdere blandt frivillige censorformænd.

Samtidig fik jeg meget frie hænder og jeg greb muligheden for at sætte undervisningsrummet op, så jeg kunne undersøge om forskellige kursistgrupper havde forskellige forudsætninger og dermed også forskellige behov. Mit mål var, at det skulle foregå i baggrunden uden at forstyrre kursisterne unødigt. Opsætningen blev altså en måde at organisere kurset på, så det ville lette min planlagte undersøgelse af data.

 

Kursisternes forudsætninger, kortlagt med test af paratviden

Inden kursusmaterialet gennemgås, får kursisterne stillet 18 quizspørgsmål udvalgt tilfældigt blandt 20-35 spørgsmål alt efter om de har valgt at blive testet i Erhvervs- og Professionsrettede, Kunstneriske, Maritime videregående uddannelsers eller Universiteternes lovgivning. Paratvidenquizzen kan kun tages én gang.

De fire grupper, som er baseret på lovgivning, kalder jeg for fire grupper.

 

Gruppe 1 paratviden

Gruppe 1, Paratviden 

 

Gruppe 2 paratviden 

Gruppe 2, Paratviden

 

X-aksen viser hvor mange kursister, der havde fra 0-18 korrekte svar i quizzen om paratviden og Y-aksen hvor mange kursister med det antal korrekte svar, altså hvor mange quizspørgsmål hvor mange kursister kan svare rigtigt på inden gennemgang af kursusmaterialet. Dermed har vi kortlagt omfanget af den viden kursisterne bringer med til kurset.

Kun de to største grupper beskrives hér, da der ikke er data nok fra de to mindste af de fire grupper til at tallene kan bruges til noget fornuftigt på grund af statistisk usikkerhed.

 

Test af viden efter selvundervisning

Efter at have gennemgået kursusmaterialet, får kursisterne stillet 18 tilfældigt udvalgte spørgsmål om de samme fire forskellige emner fra poolen af 20-35 spørgsmål.
Afslutningstesten bliver først åbnet, når alle emner som minimum er set af kursisten og kan prøves flere gange, hvis første forsøg ikke er tilfredsstillende.

Her er vist det bedste resultat af afslutningstesten pr kursist af de fuldførte gange.

 

Gruppe 1 afslutningstest

Gruppe 1, Afslutningstest 

gruppe 2 afslutningstest 

Gruppe 2, Afslutningstest

 

X-aksen viser igen fra 0-18 korrekte svar og Y-aksen hvor mange kursister med det antal korrekte svar.

Hvis man sammenligner gruppe 1’s test af paratviden med gruppe 1’s afslutningstest og det samme for gruppe 2 kan man se, at kursisterne er bedre til at svare korrekt anden gang.

 

Men vi kan dykke længere ned i tallene

Ud over om grupperne får øget viden i løbet af kurset har jeg også organiseret quizspørgsmålene, så det lægger op til test af undervisningsmaterialets tilstrækkelighed. Det kræver nogle lidt andre tanker om det tekniske design end fx hvis quizspørgsmålene ‘blot’ skal bruges til evaluering af kursister.

Kursisterne får stillet 18 spørgsmål, som dækker fire forskellige emner. To af emnerne er forskellige (men lignende) fordi der er forskellig lovgivning og forskellig definition af niveaubeskrivelserne i kvalifikationsrammens krav for de fire områder. To af emnerne er ens; god opførsel som censor og karakterskalaen er ens for alle.

Opdelingen i fire emner muliggør, at undervisningsmaterialets tilstrækkelighed kan testes i forhold til de fire emner:


Gruppe 1 Områdespecifik lovgivning Karakterskalaen, fælles Kvalifikationsrammen, specifik God adfærd
Paratviden (n=2.320) 75% korrekte svar 70% korrekte svar 78% korrekte svar 65% korrekte svar
Afslutningstest (n=1.630) 94% korrekte svar 95% korrekte svar 94% korrekte svar 93% korrekte svar

Gruppe 2 Områdespecifik lovgivning Karakterskalaen, fælles Kvalifikationsrammen, specifik God adfærd
Paratviden (n=687) 73% korrekte svar 72% korrekte svar 56% korrekte svar 77% korrekte svar
Afslutningstest (n=361) 96% korrekte svar 94% korrekte svar 95% korrekte svar 92% korrekte svar


Set bort fra den betragtelige mængde kursusdeltagere, der udelukkende har deltaget i paratvidentesten, så ser det ud som om kursisterne i begge grupper får et højt udbytte af kurset målt som tilstrækkelig viden til at besvare quizzen korrekt.

 

Hvad kan indsigterne bruges til nu?

De individuelle kursisters resultater kan slås op af underviser/administration, som kan se hvordan det går kursisterne i forhold til læringsmålene. I censorkurset udløses et gennemførelsesbevis, hvis kursisten besvarer 16 eller flere af 18 spørgsmål korrekt til slut i kurset.

Målet med kursusmaterialet er ikke at få 100% korrekte besvarelser, fordi det ville tyde på for lette eller på ledende spørgsmål i quizzen. Når jeg er tilfreds med det nuværende, så er det fordi procentsatsen af korrekte besvarelser er tilstrækkeligt ens, tænker jeg. Det kunne være spændende, om du har har forslag til et spænd for korrekt besvarelsesprocent. Findes det?

 

Hvad kan dataindsigt bruges til fremadrettet?

Dataindsigt kan bruges til A/B-test af materialet, så spild af kursisternes tid undgås. Sådan en analyse af ‘instructional design’ arbejder jeg på et setup med på et andet kursus.

Hvis jeg havde kunnet trække data fra andre kilder, som fx køn, alder, etnicitet, tidligere eksamensresultater, adresse osv, havde jeg kunnet forudsige frafald. Det er jeg ved at undersøge, om jeg kan forudse, pba andre data fra censorkurset. De datasammenhænge jeg undersøger handler om kursisternes tro på egen formåen/viden om emnet, om omfanget af deres erfaring indenfor emnet ‘at være censor’, data om brugt tid og aktivitetsdata.

Grupper af kursister, fx defineret af et tidligere eksamensresultat, socioøkonomiske faktorer eller andet i kombination, kan af forskellige grunde få ringere udbytte af kurser end andre kursister. Hvis man kan identificere disse grupper (som man jo langt hen ad vejen kan med frafaldsanalyserne), må man også kunne undersøge hvilke forudsætninger grupperne mangler. Den indsigt forestiller jeg mig kan munde ud i tillægsmateriale eller -muligheder, som kan vælges til/fra af kursisten eller automatisk. Altså adaptiv undervisningsmateriale.

AL feedback belønnes med go’ karma :)