Verwerking door de docent

\label{verwerking-door-de-docent}
Ook al zijn de studenten in groepen ingedeeld, de docent krijgt met de verwerking van de annotaties en overige participatie de volle laag van alle deelnemers. Bij de experimenten met Perusall zagen de docenten zich geconfronteerd met honderden tot duizenden opmerkingen per week.
Perusall adviseert verplichte inzet en heeft als voordeel ten opzichte van de andere tools dat het een automatisch beoordelingsmechanisme bevat. Annotaties worden met behulp van een algoritme geanalyseerd en krijgen een puntenscore toegekend. Dit was voor de geïnterviewde docenten doorslaggevend om voor Perusall in plaats van een pilot met Feedback Fruits te kiezen. De concept-beoordeling hoeft door de docent alleen nog maar geverifieerd te worden. Soms was er aanleiding om deze te overrulen. Perusall kijkt o.a. naar het voorkomen van termen uit de tekst en kan zich daardoor laten misleiden. Anderzijds wordt een ‘goede denkrichting’ niet altijd herkend. Ook Perusalls zogenaamde Confusion Report spaart docenten tijd. De opmerkingen van studenten worden automatisch geclusterd, waardoor de docent een beeld krijgt van de probleempunten die in het college nog extra aandacht verdienen. Dit luistert vanzelfsprekend heel nauw en leverde afhankelijk van de inhoud niet altijd een helder overzicht op. Bij één van beide pilots bleek het nodig om in nauwe samenwerking met Perusall het algoritme te finetunen. Desalniettemin bleek het lastig er een lijn in te ontdekken en kon de input maar beperkt voor collegevoorbereiding worden gebruikt.
Feedback Fruits heeft een automatische beoordeling en analyse van de opmerkingen van studenten op haar roadmap staan, maar vooralsnog is dit handwerk, net als in Actively Learn en Annotatietool. Los van de inhoudelijke beoordeling staan de docent in alle tools (behalve Annotatietool) een reeks analytics ter beschikking om een oordeel te vellen of te bekrachtigen. Deze bevatten gegevens als de online doorgebrachte (lees)tijd, aantal en lengte van de annotaties, hun spreiding over de tekst, het in acht nemen van de deadline en de ontvangen likes. In Actively Learn kun je vanzelfsprekend ook kijken naar de score van de student op de vragen tussen de tekst. Annotatietool levert geen analytics. Hier kun je slechts per student diens bijdragen inzien, waardoor een beoordeling geven relatief veel tijd kost.