Onderzoek tools

\label{onderzoek-tools}
We hebben in de evaluatie 13 co-writing tools en 4 sociale annotatietools meegenomen. Deze zijn als 2 aparte categorieën behandeld. De selectie van de tools is tot stand gekomen op grond van voorkennis (tools die ons al bekend waren) en suggesties uit het veld, bv. van ICTO-coördinatoren. Enkele tools zijn voor de evaluatie uiteindelijk afgevallen of uitgesloten, omdat zij bij nader inzien tot een andere categorie bleken te behoren. De uiteindelijke lijsten van onderzochte tools en de verantwoording daarvan, zijn te vinden in de betreffende hoofdstukken.
De tools zijn onderzocht op een reeks binnen het projectteam vastgestelde criteria, die zijn aangevuld of aangescherpt met input vanuit de enquêtes. Een overzicht van deze criteria is in de hoofdstukken per tool opgenomen. Bij de meeste tools zijn testaccounts en -documenten aangemaakt. In een aantal gevallen waren er binnen het team al accounts beschikbaar. Daarnaast hebben we leverancierspresentaties (in het kader van hun reguliere instellingsbezoek) bijgewoond en waar nodig aanvullend de supportpagina’s van de tools geraadpleegd. In enkele gevallen hebben we voor laatste vragen contact opgenomen met de leverancier zelf. Met enkele tools zijn de afgelopen jaren al pilots uitgevoerd en kon gebruik gemaakt worden van evaluatiegegevens. De ervaringen binnen de UL en andere instellingen konden echter niet structureel worden geïnventariseerd. Wel kwamen we in contact met enkele pilotgebruikers van Perusall en hebben deze docenten gevraagd naar hun ervaringen (zie par. 4.2).
De tools zijn vrij formeel aan de beoordelingscriteria getoetst. De resultaten daarvan zijn verwerkt in scorelijsten. Deze zijn als Bijlage 5 toegevoegd aan dit rapport.
  1. Behoefte en onderzoek tools Categorie A: Co-writing tools

    \label{behoefte-en-onderzoek-tools-categorie-a-co-writing-tools}
    1. Resultaten enquête

      \label{resultaten-enquuxeate}
    Samenwerken aan groepsproducten is in het onderwijs aan de Universiteit Leiden inmiddels heel gebruikelijk. 40% van de docenten geeft dit soort opdrachten vaak of heel vaak, ca. 30% is neutraal en eenzelfde percentage doet dit minder vaak. Studenten reageren met resp. 46%, 15% en 39% vooral minder vaak neutraal. Het meest gebruikelijk zijn samenwerkopdrachten bij LUMC, FSW en W&N. Het gaat dan vooral om presentaties en tekstuele producten, maar ook dataverzamelingen worden door 36% van beide groepen respondenten genoemd (vooral bij FSW en W&N). Respondenten vullen dit in de toelichting aan met het samenwerken aan video-opdrachten en het schrijven van programmeercode.
    Als instrumenten worden door studenten veelal Google Docs en Dropbox gebruikt, maar er wordt ook veel samen achter de pc gewerkt of ouderwets heen en weer gemaild. De vraag hiernaar was gesplitst; zie Bijlage 2 voor de resultaten per deelvraag. In de comments worden ook Sharelatex en Github (beide door W&N) en Facebook genoemd. De bij het samenwerkproces behorende communicatie verloopt via social media, face-to-face contact of via de mail.
    Wat betreft de huidige samenwerkmogelijkheden in Blackboard, wordt door docenten vooral gebruik gemaakt van discussieforum (41%). Zo’n 20-25% gebruikt de File Exchange en/of de groepsmail. Blog en Wiki zitten rond de 10%. In de toelichting worden aanvullend enkele externe tools genoemd. 20% geeft aan nooit samenwerktools in Blackboard te gebruiken (relatief veel docenten van GW). Van de studenten zegt overigens maar liefst 80% deze tools nooit te gebruiken, een opvallende discrepantie met de docentenrespons. Dit zou erop kunnen wijzen dat de door docenten aangeboden tools in de praktijk door studenten niet worden gebruikt, maar het kan ook liggen aan de verschillende herkomstfaculteiten van de docenten- en studentenrespons.
    Gemist wordt in Blackboard vooral een Google-Docs achtige manier om samen aan bestanden te werken (door 60% van beide groepen). Op enigszins basale wijze kan dit overigens wel met de Blackboard Wiki-functionaliteit, die ook nog eens goede monitoring- en individuele beoordelingsmogelijkheden voor de docent en een Gradebook-koppeling biedt. Deze worden echter nauwelijks gebruikt. De onlangs verschenen ‘Rapportage Onderzoek Gebruik Blackboard’11Door SOZ, gedateerd 14-07-2016. verschaft op dit punt helaas geen nadere informatie of inzicht. Studenten missen daarnaast een chatfunctie (40%), maar daar zitten docenten juist het minst op te wachten (20%). Voor docenten is ook het reageren op tekst(passages) belangrijk (47%). In de toelichtingen worden door docenten vooral algemene tekortkomingen van Blackboard (traag, niet gebruikersvriendelijk) en suggesties voor aanvullende tools genoemd. Studenten noemen naast opmerkingen over het gebrek aan gebruikersvriendelijkheid van Blackboard, functies als opslag, bestandssynchronisatie, simultaan werken en discussie over de stof, maar vragen ook om beter gebruik van bestaande mogelijkheden of weten het niet goed.
    Enkele opmerkingen uit de respons:
    Ongeveer 50% van de docenten zou (heel) graag een universitaire samenwerktool voor studenten zien, zeker als deze Blackboard-integratie, monitoring- en feedbackfuncties biedt (elk ca. 60% voorstanders). Bijna 30% staat neutraal tegenover zo’n tool en ca. 20% heeft er geen behoefte aan. Bij studenten zijn de 3 groepen, voor- en tegenstanders en neutraal, ongeveer even groot. Ze willen graag simultaan werken en reageren op elkaar teksten (80%), en gebruiken daarvoor al allerlei tools. Op monitoring zitten zij niet zo te wachten. 40% heeft dit liever niet, 38% is neutraal en 22% staat er juist positief tegenover. Enig toezicht wordt echter wel degelijk op prijs gesteld, want op feedback door de docent wordt juist positief gereageerd (55% voor, 29% neutraal en slechts 15% tegen), en in het toelichtingsveld wordt gehamerd op het kunnen onderscheiden van individuele bijdragen met het oog op beoordeling. Account- en Blackboardintegratie scoren redelijk (beide rond de 55% voorstanders en 23% neutraal). Verder hechten studenten aan versiereconstructie en het synchroniseren van bestanden (ieder zo’n 65% voorstanders). Bij docenten is naar deze specifieke functionaliteiten voor studenten niet gevraagd.
    Interessant is dat zowel studenten als docenten heel wisselend reageren op opslag in de cloud, met alle privacy-issues van dien. Van de docenten ziet 44% dit als (groot) probleem, 20% is neutraal, maar 33% heeft er weinig tot geen problemen mee. Van de studenten vindt 22% het niet prettig, 38% is neutraal en 40% ziet er juist de voordelen van in.
    Op de vraag aan docenten of ze een geschikte tool kennen, wordt vooral Google Docs geantwoord. Eén docent heeft daarbij wel ervaren dat dit chaotisch kan worden en dat de edits niet goed worden bijgehouden. Ook wordt aangegeven dat Google Docs niet geschikt is voor datagerelateerde opdrachten. Andere suggesties zijn Dropbox en Feedback Fruits (hoewel deze tool eerder onder categorie B, sociale annotatietools thuishoort). Vanuit FSW worden Sharepoint / VRE’s enkele malen genoemd, met de kanttekening dat dit niet prettig werkte.
    In de vrije opmerkingen vragen studenten en docenten vooral om gebruiksgemak, versiegeschiedenis (Git) en het kunnen bijhouden van individuele bijdragen van studenten met het oog op individuele beoordeling. In het kader van de beoordeling wijzen studenten tevens op het risico dat docenten deze baseren op work in progress dat studenten zelf nog niet als presentabel beschouwen. Docenten hebben het liefst een geïntegreerd, flexibel systeem met annotatie- en peer feedback-functies. Studenten willen ook goede opmaakmogelijkheden (inclusief LaTeX). Sommigen twijfelen over het nut van een universitaire tool omdat er tools beschikbaar zijn met de gewenste functionaliteit.
    Interessante losse opmerkingen:
    De tools waar we in deze categorie naar hebben gekeken, zijn onder te verdelen in 2 soorten: