Bianca edited Betrouwbaarheid.tex  about 9 years ago

Commit id: cd18e4a538e3b25df8320b81cb2acb98a15e19fc

deletions | additions      

       

\subsection{Betrouwbaarheid}  De betrouwbaarheid van altmetrics data hangt enerzijds af van de mate waarin de verzameling van vermeldingen van onderzoeksoutput compleet is. Voor geaggregeerde altmetrics (bv. op het niveau van een individuele onderzoeker of een departement/instelling) is het daarnaast van belang dat de onderzoeksoutput waarover informatie wordt verzameld zo compleet mogelijk is. Voor een goede interpretatie is het ten slotte van belang om altmetrics data in de context van het veld van onderzoek te kunnen plaatsen: hoe verhoudt het aantal vermeldingen van een bepaald artikel zich tot dat van andere artikelen uit hetzelfde vakgebied?   \subsubsection{Almetrics data voor individuele artikelen en andere onderzoeksoutput}  Om zoveel mogelijk vermeldingen van onderzoeksoutput in verschillende media te kunnen verzamelen, is het belangrijk dat die onderzoeksoutput betrouwbaar geïdentificeerd kan worden. De meeste artikelen die online beschikbaar zijn hebben een zogenoemde \textit{digital object identifier} (doi): een nummer dat een permanente link naar het artikel mogelijk maakt, onafhankelijk van de url van de publicatie op de site van de uitgever (die aan verandering onderhevig kan zijn). Ook veel repositories voor data en software code (bijvoorbeeld Figshare en Zenodo) kennen een doi toe aan onderzoeksoutput die wordt opgeslagen. Altmetrics providers maken gebruik van deze doi's om meldingen over onderzoeksoutput te verzamelen. Wanneer in alle vermeldingen van een artikel, bijvoorbeeld in nieuwsberichten en op Twitter, gebruik wordt gemaakt van de doi om naar het artikel te verwijzen, zullen deze berichten en tweets meegeteld worden bij het verzamelen van altmetrics data. In de praktijk gebeurt het lang niet altijd dat de doi vermeld wordt -vaak wordt bij een artikel verwezen naar de url van de site van de uitgever, of wordt alleen de titel van het artikel genoemd, evt. met de naam van de auteur en/of het tijdschrift. Deze vermeldingen worden vaak niet opgepikt, al probeert bijvoorbeeld Altmetric wel om via een algoritme vermeldingen van titels van (biomedische) artikelen in nieuwsmedia via PubMed te koppelen aan een doi, om ze vervolgens mee te kunnen nemen in hun verzamelde altmetrics data. Voor onderzoeksoutput zoals boeken en monografieën is doorgaans geen doi beschikbaar. Deze moeten dus op een andere manier getraceerd worden, bijvoorbeeld op basis van een identificatienummer als ISSN/ISBN. De kans dat alle vermeldingen van deze vormen van onderzoeksoutput in diverse media meegenomen worden is klein.  Er zijn inmiddels verschillende onderzoeken gedaan naar de altmetrics data die verschillende aanbieders weergeven voor dezelfde onderzoeksoutput. [http://www.bibliometrie-pf.de/article/viewFile/205/258; http://dx.doi.org/10.6084/m9.figshare.1041821; 10.3789/isqv25no2.2013.02] Er lijken grote variaties te zijn in de mate waarin vermeldingen van doi's op diverse social media-platforms 'vindbaar' zijn voor verschillende altmetrics aanbieders[insert CC-BY figure]. Daarnaast verschillen aanbieders in de precieze altmetrics data die ze verzamelen - bv. Facebook posts (ImpactStory en Altmetric) of ook Facebook likes en comments (Plum Analytics). Het gevolg is dat altmetrics data voor dezelfde publicatie sterk kunnen variëren, afhankelijk van welk altmetrics platform gebruikt wordt. Dit maakt het extra belangrijk dat niet alleen het aantal vermeldingen wordt weergegeven, maar dat ook doorgelinkt wordt naar de daadwerkelijke vermeldingen in de diverse media.   NISO (National Information Standards Organization), de Amerikaanse non-profit organisatie van o.a. uitgevers en bibliotheken die standaarden ontwikkelt voor technologische ontwikkelingen in wetenschappelijke communicatie, werkt aan een set standaarden voor altmetrics [http://www.niso.org/topics/tl/altmetrics_initiative/]. Hierbij zal ook aandacht worden besteed aan de kwaliteit van altmetrics data. In Nederland doet het CWTS (Centrum voor Wetenschap- en Technology Studies) onderzoek naar altmetrics, waarbij onder andere gekeken wordt naar de validiteit en betrouwbaarheid van altmetrics data [http://www.cwts.nl/Altmetrics].  \subsubsection{Geaggregeerde altmetrics data}  Voor geaggregeerde altmetrics data (op het niveau van individuele onderzoekers of departementen/onderzoeksinstellingen) is niet alleen de betrouwbaarheid van de data voor elk afzonderlijk artikel en andere onderzoeksoutput van belang, maar ook de vraag of de gehele onderzoeksoutput meegenomen wordt. Bij ImpactStory brengt een onderzoeker zelf zijn/haar onderzoeksoutput bij elkaar, terwijl een dienst als Altmetric for Institutions gekoppeld kan worden aan het CRIS (Current Research Informatie Systeem) van een instelling. In beide gevallen kunnen onderzoekers profiteren van de mogelijkheden van ORCID (Open Researcher en Contributor ID), een onafhankelijk, niet-commercieel systeem om verschillene vormen van onderzoeksoutput van een onderzoeker (artikelen, datasets, software code etc) te koppelen aan een uniek ID-nummer. Dit nummer kan vervolgens gebruikt worden om bv. in ImpactStory of een CRIS deze onderzoeksinput bij elkaar te brengen.