De juiste verdeling van het werk van de studenten onder medestudenten is essentieel voor een effectieve Peer Review opdracht. De juiste allocatie zorgt ervoor dat alle studenten feedback zullen krijgen op het ingeleverde werk, en minimaliseert de noodzaak voor de docent om het proces te begeleiden. Voor onze Peer Review and Group Member Evaluation tool, is een geavanceerd algoritme ontworpen om de studenten op de meest didactisch wenselijke manier aan elkaar toe te wijzen.
Het allocatie algoritme zal tijdens het toekennen van de inzendingen rekening houden met de volgende aspecten, in volgorde van prioriteit:
Iedere student krijgt genoeg inzendingen om aan het vereiste aantal beoordelingen te voldoen.
Iedere student of groep ontvangt een gelijk aantal beoordelingen, indien mogelijk.
Iedere student of groep krijgt één voor één de toewijzing, niet alle toewijzingen tegelijk.
Vroegtijdige deelname aan de opdracht zal worden beloond.
Om te voorkomen dat studenten het algoritme beïnvloeden, is de toewijzing van beoordelingen onvoorspelbaar voor studenten.
Wanneer de review fase van een opdracht is begonnen en een student de opdracht opent, zal de best beschikbare kandidaat van dat moment aan de student worden toegewezen. Dit volgt het 'net-op-tijd' principe, en heeft grote voordelen ten opzichte van het vooraf toewijzen van studenten aan elkaar.
Met deze aanpak vermijden we deze veel voorkomende scenario's:
Studenten die afhaken, niet deelnemen aan het review-gedeelte van een opdracht, waardoor sommige peers geen reviews krijgen.
Studenten die het best presteren krijgen pas laat in de reviewfase een beoordeling, omdat de reviewers te laat beginnen.
Studenten die te laat inleveren of deel worden van de cursus, en de opdracht niet kunnen afmaken.
In al deze scenario's zal het algoritme zorgen voor een optimale verdeling van beoordelingen: elke student of groep zal evenveel beoordelingen krijgen. Het enige scenario waarbij er een compromis gesloten dient te worden, is wanneer elke student klaar is met de beoordeling, maar één student te laat inlevert of later instapt. Deze student kan dan wel zijn taak vervullen, maar krijgt geen beoordeling van de medestudenten. Indien de desbetreffende reden waarom het werk te laat is ingeleverd overtuigend genoeg is, is het voor de docent altijd nog mogelijk om de student van feedback te voorzien buiten de tool om.
Hieronder is een voorbeeld beschikbaar van een opdracht waarbij 4 studenten 2 medestudenten dienen te beoordelen. Het werk is in alfabetische volgorde ingeleverd, wat een idee schetst van het effect dat vroegtijdig inleveren heeft op de volgorde waarin het werk wordt verdeeld.
Student A reviewt student B
Student A reviewt Student C
Student B reviewt student A
Student C reviewt Student D
(Elke student heeft één beoordeling gekregen: het algoritme begint nu met de tweede reeks beoordelingen)
Student C reviewt student A
Student D reviewt student B
Student B reviewt Student D
(Het algoritme merkt op dat alleen Student D nog iemand dient te beoordelen, en voorkomt dat de enige kandidaat die nog beoordeeld moet worden zichzelf is, dus zorgt ervoor dat Student B Student D beoordeelt)
Student D reviewt Student C
(Opdracht voltooid, iedereen heeft 2 beoordelingen voltooid, en heeft 2 beoordelingen ontvangen)
Voor de Peer Review tool zijn er twee extra opties die ingeschakeld kunnen worden met betrekking tot het toewijzen van het werk.
Deze functionaliteiten zijn niet van toepassing op de Group Member Evaluation tool, aangezien hier geen sprake is van een inleverstap.
Indien studenten toegestaan zijn om hun opdracht na het verlopen van de deadline in te leveren, kan de optie ‘allow late hand in’ ingeschakeld worden. Met deze optie ingeschakeld, kunnen de studenten nog steeds worden toegewezen aan hun medestudenten, terwijl dit normaalgesproken door het verlopen van de deadline verhinderd zal zijn.
Wanneer een student het werk na de deadline inlevert, dan zal de student opgenomen worden in de pool met studenten die nog een allocatie nodig hebben. Het toewijzen van werk gebeurt pas nadat een student de tool opnieuw opent om te beginnen met de reviewing stap. Dit betekent dat zelfs als studenten het werk te laat hebben ingeleverd, er toch een toewijzing tot beoordeling plaats zal vinden. Zelfs wanneer er gekozen is voor de assign all available peers instantly-optie zullen de toewijzingen pas plaatsvinden wanneer de student opnieuw online komt om de taak te openen.
In het onwaarschijnlijke geval dat alle studenten al klaar zijn met nakijken en slechts één student te laat inlevert, dan zal deze student geen beoordeling ontvangen. Dit wordt gezien als ‘het risico van te laat zijn’. Met de release van 28 september 2019 kunnen leerkrachten deze leerlingen handmatig toewijzen om toch een beoordeling te krijgen als dit gebeurt. (Let op: Hiervoor dient de ‘Manual Allocation’ feature aangezet worden, mocht dit gewenst zijn kan er contact opgenomen worden met de support chat)
Er is een mogelijkheid om de studenten die geen bestand hebben ingeleverd, alsnog toestemming te geven deel te nemen aan het reviewprocess. Dit kan door de optie allow students who didn’t hand in, to participate in reviewing in te schakelen. Normaal gezien kunnen studenten pas beginnen met nakijken wanneer de inlever-stap is voltooid.