Om zoveel mogelijk vermeldingen van onderzoeksoutput in verschillende media te kunnen verzamelen, is het belangrijk dat die onderzoeksoutput ook daadwerkelijk gevonden kan worden. De meeste (nieuwe) artikelen die online beschikbaar zijn hebben een DOI, die een permanente link naar het artikel mogelijk maakt, onafhankelijk van de URL van de publicatie op de site van de uitgever (die aan verandering onderhevig kan zijn). Ook veel repositories voor onderzoeksdata en software code (bv. Figshare en Zenodo) kennen een DOI toe aan onderzoeksoutput die wordt opgeslagen. Altmetrics providers maken gebruik van deze DOI’s (en andere ID-nummers zoals arXiv ID en PubMed’s PMID) om meldingen over onderzoeksoutput te verzamelen.
Wanneer in vermeldingen van een artikel, bijvoorbeeld in nieuwsberichten en op Twitter, gebruik wordt gemaakt van de DOI om naar het artikel te verwijzen, zullen deze berichten en tweets meegeteld worden bij het verzamelen van altmetrics data. In de praktijk wordt de DOI lang niet altijd vermeld - vaak wordt verwezen naar de URL van het artikel op de site van de uitgever, of wordt alleen de titel van het artikel genoemd, evt. met de naam van de auteur en/of het tijdschrift. Deze vermeldingen worden vaak niet opgepikt, al probeert bijvoorbeeld Altmetric wel om via een algoritme vermeldingen van titels van (biomedische) artikelen in nieuwsmedia via PubMed te herleiden naar het betreffende artikel met DOI/PMID.
Voor onderzoeksoutput zoals boeken en monografieën is doorgaans geen DOI beschikbaar. Deze moeten dus op een andere manier getraceerd worden, bijvoorbeeld op basis van een identificatienummer als ISSN/ISBN. De kans dat alle vermeldingen van deze vormen van onderzoeksoutput in diverse media meegenomen worden is klein.
Er zijn verschillende onderzoeken gedaan naar altmetrics data die verschillende aanbieders weergeven voor dezelfde onderzoeksoutput \cite{Chamberlain_2013,Jobmann_2014,Zahedi_2014}. Er blijkt aanzienlijke variatie te zijn in de mate waarin vermeldingen van DOI’s op diverse social media-platforms ’vindbaar’ zijn voor verschillende altmetrics aanbieders. Daarnaast verschillen aanbieders in de precieze altmetrics data die ze verzamelen - bijvoorbeeld alleen Facebook posts (ImpactStory en Altmetric) of ook Facebook likes en comments (Plum Analytics). Het gevolg is dat altmetrics data voor dezelfde publicatie sterk kunnen variëren, afhankelijk van welke altmetrics aanbieder de data afkomstig zijn. Dit maakt het extra belangrijk dat niet alleen het aantal vermeldingen wordt weergegeven, maar ook doorgelinkt wordt naar de daadwerkelijke vermeldingen in de diverse media.
De hier genoemde beperkingen zijn vooral een probleem voor het bepalen van absolute niveaus van impact, voor zover dit al mogelijk is. Voor het vergelijken van de impact van bijvooerbeeld verschillende artikelen onderling is het minder problematisch, zolang de altmetrics data van dezelfde aanbieder afkomstig zijn. Ook het belang van verschillende typen vermeldingen verschilt: een paar tweets missen is minder erg dan een citatie in een wetenschappelijk artikel of een vermelding in een landelijke krant.
NISO (National Information Standards Organization), een non-profit organisatie van o.a. uitgevers en bibliotheken, ontwikkelt standaarden voor technologische ontwikkelingen in wetenschappelijke informatievoorziening. NISO werkt aan een set standaarden voor altmetrics, waarbij ook aandacht wordt besteed aan de kwaliteit van altmetrics data \cite{NISO_2013}. In Nederland doet het CWTS (Centrum voor Wetenschap en Technologische Studies) onderzoek naar altmetrics, waarbij onder andere gekeken wordt naar de validiteit en betrouwbaarheid van altmetrics data \cite{CWTS_2012}.