Zoals hierboven beschreven zijn er veel verschillende soorten altmetrics data, die potentieel verschillende vormen van impact meten. Hier dient bij de interpretatie van altmetrics data rekening mee te worden gehouden.
Aan de ene kant zijn er altmetrics data die, net als traditionele citatiescores, het (her)gebruik van onderzoeksoutput binnen de wetenschap meten. Naast citaties vallen hier bijvoorbeeld Mendeley readers, vermeldingen op blogs van wetenschappers en post-publication peer reviews onder. Door sommige altmetrics aanbieders (zoals ImpactStory, zie fig 7) worden ook full-text downloads expliciet gezien als gebruik door wetenschappers, in tegenstelling tot html-views.
Andere altmetrics data beogen te kijken naar het gebruik van onderzoeksoutput in de maatschappij als geheel. Hier vallen bijvoorbeeld vermeldingen in nieuwsmedia, Wikipedia en social media onder, evenals vermeldingen in beleidsdocumenten, zoals bijgehouden door Altmetric. Zoals gezegd beschouwt ImpactStory ook html-views als gebruik door het grotere publiek, dit in tegenstelling tot pdf-downloads, die worden gezien als activiteit van wetenschappers.
Uiteraard is het de vraag in hoeverre al deze verschillende vormen van gebruik daadwerkelijk een maat zijn voor de impact van onderzoeksoutput. Als een artikel veel gedeeld wordt via Twitter, betekent dit dan dat de inhoud van het artikel ook veel mensen bereikt, of heeft het artikel alleen een aansprekende titel die uitnodigt tot delen? Een aantal altmetrics aanbieders probeert onderscheid te maken tussen verschillende vormen van ‘delen’ op social media – waarbij bv het plaatsen van een bericht op Facebook over een artikel meer gewicht in de schaal legt dan simpelweg het ‘liken’ van dat bericht.
Het is duidelijk dat cijfers niet alles zeggen: het belang van altmetrics ligt ook in het op het spoor komen van bijzondere vermeldingen die je anders niet gezien zou hebben. Daarbij gaat het bijvoorbeeld om die ene tweet die een hele reeks tot gevolg had of dat ene blog of krantebericht dat leidde tot aandacht van de politiek, een bedrijf of beleidsmakers.
Om een goed beeld te krijgen van de betekenis van altmetrics data is het daarom belangrijk om te kijken naar de inhoud en context van de informatie die over onderzoeksoutput wordt gedeeld. Zo kan bv. via sentiment analysis een uitspraak gedaan worden over hoe op Twitter over een artikel wordt gesproken: positief, negatief of neutraal \cite{Thelwall_2013a, Holmberg_2014}.
Ook voor traditionele citaties geldt overigens dat de context van citaties informatiever is dan alleen het aantal citaties. Een verwijzing naar een gebruikte techniek heeft een andere lading dan een kritische bespreking van de resultaten of conclusies van een onderzoek. Microsoft Academic Search geeft bij citaties een ’snapshot’ van de alinea in het artikel waar de citatie in voorkomt. Een nieuw initiatief is SocialCite, waar lezers op de site van een tijdschrift kunnen aangeven wat de waarde en context van een citatie is.