Verwerking door de docent
\label{verwerking-door-de-docent}
Ook al zijn de studenten in groepen ingedeeld, de docent krijgt met de
verwerking van de annotaties en overige participatie de volle laag van
alle deelnemers. Bij de experimenten met Perusall zagen de docenten zich
geconfronteerd met honderden tot duizenden opmerkingen per week.
Perusall adviseert verplichte inzet en heeft als voordeel ten opzichte
van de andere tools dat het een automatisch beoordelingsmechanisme
bevat. Annotaties worden met behulp van een algoritme geanalyseerd en
krijgen een puntenscore toegekend. Dit was voor de geïnterviewde
docenten doorslaggevend om voor Perusall in plaats van een pilot met
Feedback Fruits te kiezen. De concept-beoordeling hoeft door de docent
alleen nog maar geverifieerd te worden. Soms was er aanleiding om deze
te overrulen. Perusall kijkt o.a. naar het voorkomen van termen uit de
tekst en kan zich daardoor laten misleiden. Anderzijds wordt een ‘goede
denkrichting’ niet altijd herkend. Ook Perusalls zogenaamde
Confusion Report spaart docenten tijd. De opmerkingen van
studenten worden automatisch geclusterd, waardoor de docent een beeld
krijgt van de probleempunten die in het college nog extra aandacht
verdienen. Dit luistert vanzelfsprekend heel nauw en leverde afhankelijk
van de inhoud niet altijd een helder overzicht op. Bij één van beide
pilots bleek het nodig om in nauwe samenwerking met Perusall het
algoritme te finetunen. Desalniettemin bleek het lastig er een lijn in
te ontdekken en kon de input maar beperkt voor collegevoorbereiding
worden gebruikt.
Feedback Fruits heeft een automatische beoordeling en analyse van de
opmerkingen van studenten op haar roadmap staan, maar vooralsnog is dit
handwerk, net als in Actively Learn en Annotatietool. Los van de
inhoudelijke beoordeling staan de docent in alle tools (behalve
Annotatietool) een reeks analytics ter beschikking om een oordeel te
vellen of te bekrachtigen. Deze bevatten gegevens als de online
doorgebrachte (lees)tijd, aantal en lengte van de annotaties, hun
spreiding over de tekst, het in acht nemen van de deadline en de
ontvangen likes. In Actively Learn kun je vanzelfsprekend ook kijken
naar de score van de student op de vragen tussen de tekst. Annotatietool
levert geen analytics. Hier kun je slechts per student diens bijdragen
inzien, waardoor een beoordeling geven relatief veel tijd kost.