Digitaal toetsen

About

Wat is digitaal toetsen?

Onder digitaal toetsen verstaan we het digitaal afnemen van een toets. Hoofdzakelijk geschieden deze afnames via de computer wat heeft geresulteerd in enkele veelgebruikte begrippen zoals Computer Based Testing (CBT) en Computer Assisted Assessment (CAA).

Voor het afnemen van digitale toetsen wordt vaak gebruik gemaakt van een gespecialiseerd digitaal toetsprogramma . Deze programma’s worden gekenmerkt door drie belangrijke functies: ontwerp van items (vragen), afname van toetsen/toetsvragen en analyse van de toetsresultaten.

Van bovengenoemde heeft de HvA een samengestelde definitie van digitaal toetsen gemaakt. Digitaal toetsen is het:

• Creëren van een digitale vragendatabase
• Het via een beeldscherm afnemen van toetsen die zijn samengesteld uit deze vragendatabase
• Het (statistisch) analyseren van toetsresultaten en toetsitems

Digitale toetssystemen kunnen worden gebruikt om verschillende typen/vormen toetsen samen te stellen. Hierbij kan gedacht worden aan het toetsen van voorkennis (instaptoetsen), oefening voor de student (tussentijdse toetsen) of in de vorm van een tentamen (eindtoetsen). Daarnaast kunnen digitale toetssystemen een grote variëteit aan vraagtypen ondersteunen. Hierbij is het van belang dat de type vragen aansluiten bij het type toets: meten de type vragen de kennis die er daadwerkelijk gemeten moet worden (validiteit). Door de grote verscheidenheid in vraagtypen is het mogelijk om met een digitale toets complexe cognitieve vaardigheden te toetsen (higher order learning skills, de hogere lagen uit de piramide van Bloom ): analyse, synthese en evaluatie. Over het algemeen kan gesteld worden dat er drie soorten digitale toetsen te onderscheiden zijn:

• Kennistoetsen
  Deze toetsen zijn gericht op de lagere lagen uit de de piramide van Bloom (kennis en begrip). Vaak wordt er feitenkennis getoetst (declaratieve kennis). Er worden voornamelijk gesloten vragen gebruikt, zoals multiple-choice-, ja/nee- of multiple-answer vragen.


• (complexe) Inzichttoetsen
  Deze toetsen zijn gericht op de hogere lagen uit de piramide van Bloom (toepassing, analyse en synthese). Hierbij wordt zowel van gesloten- als open-vraagtypen gebruik gemaakt. Deze vraagtypen kunnen daarnaast verrijkt worden met multimedia (audio, video). Hiermee zijn de toetsen meer authentiek te maken.


• Vaardigheidstoetsen Ook deze vorm van toetsing is gericht op de hogere lagen uit de piramide van Bloom (toepassing, analyse, synthese en evaluatie). Er wordt vaak op probleemoplossende vaardigheden getoetst. Deze toetsen worden o.a. in het medisch onderwijs uitgevoerd in de vorm van een simulatie (virtuele patiënt).

Bij toetsing wordt in het algemeen onderscheid gemaakt tussen twee toetsvormen: formatief en summatief (Taras, 2005). Deze vormen spelen ook een specifieke rol bij digitale toetsing:

• Formatief (low stake toetsing)
  Bij deze vorm van toetsing staan de oefenfunctie, de bijsturing van het leerproces (zelfstudie en diagnose) en de zelfbeoordeling centraal. Zij bieden de student de gelegenheid om te oefenen, om kennis op te doen (zelfstudie en diagnose) en kennis toe te passen (toetsgestuurd leren). Het geven van directe feedback speelt hierbij een cruciale rol. Digitale toetsen bieden hier de mogelijkheid toe.
  


• Summatief (high stake toetsing)
  Deze vorm van toetsing richt zich op de beoordeling van de student; op het meten van de kennis en vaardigheden op dat moment. Men spreekt ook wel van een afsluitende toets. Het moge duidelijk zijn dat bij deze vorm van toetsing hoge eisen aan de beveiliging omtrent de toets afname worden gesteld. In digitale vorm dient men tevens rekening te houden met de hoge eisen die gesteld worden aan de technische betrouwbaarheid van de afname en de psychometrische betrouwbaarheid van de beoordeling.

Waarom digitaal toetsen?

Bij de ontwikkeling van toetsen kan gekozen worden voor een afname in papieren vorm of digitale vorm. De keuze voor een digitale dan wel papieren afname van een toets hangt onder andere af van de afnameomstandigheden en de studiestof. Bij de keuze voor een digitale toets wordt een traject opgestart dat van alle betrokken de nodige aandacht en inspanning vergt. Het is geen traject dat makkelijk afgehandeld kan worden door een individuele docent. Beide typen afnamen kennen hun eigen voor- en nadelen op het gebied van: vraagtypen, vragendatabase, multimedia, toetsomgeving, feedback , toetsverwerking en analyse, plaats- en tijdonafhankelijkheid. Het is belangrijk dat er een juiste afweging wordt gemaakt van deze voor- en nadelen. Deze voor- en nadelen staan verder uitgewerkt in de toetsingsmodule Bokito. 

Klik op bovenstaande afbeelding om de e-learning module te openen.

Volgens o.a. Kennisnet kunnen digitale toetsen, mits goed geïmplementeerd, voordelen bieden t.o.v. schriftelijke toetsen, zowel didactisch als praktisch:

Didactische voordelen

• Digitale vragenbank
  Door gebruik te maken van een digitale vragenbank kunnen vragen worden opgeslagen, waardoor docenten deze vragen makkelijk kunnen hergebruiken. Ook kunnen er makkelijk meerdere versies van een toets worden samengesteld.


• Het genereren van automatisch feedback en het geven van directe feedback op maat (just in time learning)
  Er kan automatisch feedback verbonden worden aan de antwoorden op een vraag. Ook is het mogelijk om aan het einde van de toets de student direct zijn/haar score te tonen met de daarbij behorende analyse. Zo weet de student direct of hij/zij de stof al voldoende beheerst en op welke punten hij/zij zijn kennis eventueel moet verbeteren. Dit wordt voornamelijk gebruikt voor de formatieve vorm van toetsing.


• Door gebruik van multimedia de mogelijkheid tot het aanbieden van authentieke items (geluid, beeld etc.)
  Vragen kunnen interactief vormgegeven worden. Een voorbeeld hiervan is een ‘hotspotvraag’ waarbij de student een gebied in de afbeelding moet opgeven als antwoord.


• Variëteit per student
  Studenten kunnen toetsen op verschillende manieren gepresenteerd krijgen. De vragen kunnen bijvoorbeeld in een willekeurige volgorde aan de studenten worden getoond. Op die manier krijgen de studenten wel allemaal dezelfde vragen, alleen in een andere volgorde. Daarnaast is het ook mogelijk om de antwoordopties van de vragen in willekeurige volgorde te tonen.

Praktische voordelen

• Plaats- en tijdonafhankelijk leren
  De student kan zelf bepalen wanneer en waar hij/zij de toets aflegt. Dit geldt overigens alleen voor de formatieve vorm van toetsing. Voor de summatieve vorm van toetsing zijn er nog een aantal beveiligingsvraagstukken die beantwoord moeten worden rondom plaats- en tijdonafhankelijk leren. Het is wel van belang dat de toetsen online kunnen worden afgenomen. Dit maakt het mogelijk dat studenten de toetsen buiten het netwerk van de instelling ook kunnen benaderen.


• Mogelijk een snelle verwerking van de toetsresultaten en verhoging kwaliteit toets door analyse toetsresultaten
  Doordat de toetsresulaten digitaal verwerkt kunnen worden (geldt met name voor de gesloten vraagtypen) kunnen deze met de meeste toetsapplicaties eenvoudig beoordeeld en geanalyseerd worden.


• Automatisch opstellen van toetsen vanuit een vragendatabase
  Door de paramaters van een toets variabel te maken kunnen toetsen op individueel niveau van elkaar verschillen. De toetsen kunnen zo ingericht worden dat de toets at random vragen uit de vragenbank trekt. Uiteraard kan er wel aangegeven worden dat studenten evenveel vragen van een bepaald onderwerp moeten krijgen en dat iedere student dezelfde verdeling moeilijke-makkelijke vragen krijgt. Dit levert een hoop tijdswinst op en de kans op fraude wordt hiermee geminimaliseerd.

De HvA onderscheidt een aantal aandachtsgebieden (nadelen) waarmee men rekening dient te houden bij digitaal toetsen, zowel inhoudelijk als technisch:

Inhoudelijke aandachtspunten

• De cesuur moet op voorhand worden vastgesteld en is achteraf moeilijker bij te stellen (tijdrovend)
  Een digitaal toetssysteem kan automatisch de scoring van de toets uitvoeren. Op het moment dat er achteraf besloten wordt om een andere scoring aan bepaalde vragen te verbinden vereist dit maatwerk. Afhankelijk van het aantal vragen dat onderhevig is aan deze wijziging, kan dit een tijdrovend proces zijn.


• Digitaal toetsen is niet altijd noodzakelijk; soms is toetsen op papier net zo zinvol en makkelijk
  Het is belangrijk dat er in het achterhoofd wordt gehouden welke kennis er getoetst moet worden. Voor sommige vormen van kennistoetsing is het bijvoorbeeld niet noodzakelijk om multimedia te gebruiken in de toets.


• De docent moet over voldoende ICT-kennis beschikken om een adequate digitale toets te ontwikkelen; het ontwikkelen van verschillende typen vragen eist meer voorbereidingstijd van de docent
  De digitale ontwikkeling van content vergt vaak erg veel tijd. De docent kan dit niet alleen, dus zullen er meerdere afdelingen betrokken moeten zijn bij dit proces. Er wordt teamwork vereist.


• Beheer digitale vragenbank
  Om de vragenbank efficiënt te kunnen gebruiken zal deze continue beheerd moeten worden. Binnen de opleiding moeten daarover goede afspraken gemaakt worden.

Technische aandachtspunten

• Digitale toetsen maken gebruik van verscheidene ICT-diensten die gevoelig kunnen zijn voor storingen.


• De beveiliging moet afdoende tegen misbruik zijn (gerechtigheidscontrole)
  De authenticatie moet o.a. voldoende bewaakt zijn: is de persoon die de toets maakt daadwerkelijk de persoon die hij/zij aangeeft te zijn. Hier moet men vooral op bedacht zijn bij summatieve toetsen.


• ICT-infrastructuur moet krachtig genoeg zijn voor bepaalde multimedia
  Sommige multimedia vragen erg veel capaciteit van het netwerk. Zeker als veel studenten tegelijkertijd een digitale toets afleggen, moet er rekening gehouden worden met de belasting van het netwerk om eventuele technische storingen van het systeem te voorkomen.


• Digitale toetsing is op dit moment minder geschikt voor open vragen
  Slechts enkel toetsapplicaties kunnen open vragen geautomatiseerd beoordelen. Deze zullen dan handmatig door de docent gescoord moeten worden en opgeteld bij de scoring van de gesloten vragen die door de toetsapplicaties gescoord zijn.

Hoe digitaal toetsen?

Ga na bij uw eigen faculteit welke mogelijkheden er zijn op het gebied van digitaal toetsen.

Literatuur

Taras, M. (2005). Assessment - summative and formative - Some theoratical reflections. British Journal of Educational Studies, 53 (4), 466-478.

Draaijer, S., van der Hulst, J., & de Graaff, R. (2006). Het afnemen van toetsen met de computer. In H. van Berkel & A. Bax (Ed.), Toetsen in het hoger onderwijs (pp. 69 - 89). Houten, Nederland: BSL.  

https://drive.google.com/file/d/0By3zELuGh30mTHRjcU9fVjFPVHM/view?usp=sharing

Bronnen & Extra informatie

1. Website - Wikibooks Digitaal toetsen
2. Website - Old Dominion University Piramide van Bloom
3. Website - EduWiki Toetsvormen en ICT
4. Website - HvA Digitaal toetsen
5. Website - Universiteit Twente Digitaal toetsen
6. Website - Questionmark Perception 
7. Website - Kennisnet Digitaal toetsen
8. Website - ICTO TU Delft mogelijkheden digitale toetssystemen
9. Website - Wikiwijs inzet van digitaal toetsen
10. Website - PXL Hogeschool België - ICT in Onderwijs digitaal toetsen
11. Website - Surfspace artikel digitaal toetsen in de media 
    
12. Module - Toetsing Bokito

Extra verdiepende literatuur

Hols-Elders, W., Bloemendaal, P., Bos, N., Quaak, M., Sijstermans, R., & de Jong, P. (2008). Twelve tips for computer-based assessment in medical education. Medical Teacher, 30, 673-678.

Original author: ICTO - AMC

---

Creative Commons 3.0 BY SA applies to all content on Starfish.
Starfish-education support for the publishing on Starfish-education.eu does not constitute an endorsement of the contents, which reflect the views only of the authors and Starfish-education cannot be held responsible for any use which may be made of the information contained therein. Starfish-education cannot be held responsible for the content published by authors that is not conform with Creative Commons 3.0 BY SA.