Information Service for the Institutes of the
Chemical Physical Technical (CPT) Section
of the Max Planck Society

Research Evaluation

Impactdaten/Zitierungsanalysen - ein wichtiger Bestandteil des Informationsangebotes für die MPG-Forschung

Mit zunehmender Knappheit öffentlicher Gelder wird nach möglichst objektiven und nachvollziehbaren Kriterien der Bewertung gesucht, um viel versprechende Forschung gezielt fördern zu können. Seit einigen Jahren wird auch die MPG verstärkt mit den "Verkaufszahlen" ihrer Publikationen in Form von Zitierungen konfrontiert. Die Evaluierung der MPG-Forschung erfolgt grundsätzlich über Fachgutachter (Peer-Review). Zitierungsdaten werden inzwischen jedoch zunehmend als zusätzlicher Indikator herangezogen (Informed-Peer-Review):

1. bei Berufungen (Berufungskommissionen)
2. zur Qualitätssicherung der Institute (Fachbeiräte, Kuratorien)
3. zur Darstellung der MPG-Forschung im internationalen Vergleich (GV)
4. zur Optimierung der Publikation (passende Journals)
5. zur Selbstkontrolle des Impact einzelner Forscher

Im Rahmen der Nutzung von Impactdaten wird der Infoservice von den Institutsleitungen und der Generalverwaltung vermehrt um Unterstützung gebeten. Damit verbunden sind die Erkundung MPG-spezifischer Probleme sowie Hilfestellung bei der Interpretation der Daten. Innerhalb der MPG gibt es jedoch keine einheitliche Meinung zur Aussagekraft von Zitierungsdaten und keine festgeschriebene Verfahrensweise hinsichtlich deren Erstellung.

Datengrundlage für Impactanalysen waren bisher ISI-Daten (früher: Institute for Scientific Information, jetzt: Thomson Reuters). Inzwischen können auch die Chemical Abstracts (CAS) Literaturdatenbank und insbesondere Scopus (Elsevier) für Zitierungsanalysen herangezogen werden. Hinzu kommen Google-Scholar und Community-spezifische Produkte wie CiteSeer (Informatik), die kostenlos über das Internet zugänglich sind.

Die ISI-Daten werden insbesondere über Web of Science (WoS) unter Web of Knowledge direkt von Thomson Reuters vermarktet. Zusätzlich bieten verschiedene Hosts die gleichen Daten (allerdings zeitlich begrenzt) unter ihren meist flexibleren Suchsystemen an. Für umfangreiche Zitierungsanalysen sind die Statistikfunktionen unter dem Anbieter STN International (FIZ-Karlsruhe) in Verbindung mit selbst entwickelten Programmen unentbehrlich. Wichtig sind auch die speziell für Evaluierungszwecke optimierten ISI-Produkte: Essential Science Indicators (ESI), die HighlyCited Datenbank, die länderspezifischen High-Impact Datenbanken sowie die Journal Citation Reports (JCR) mit den Journal Impact Factors (JIFs). Journal Impact Factors sind jedoch nicht für die Evaluierung von Personen und Institutionen geeignet!

Literature

• David Adams, "The counting house"
  Nature Vol. 415 P. 726, 2002
• Jorge Hirsch, "An index to quantify an individual's scientific research output"
  PNAS Vol. 102 P. 16569, 2005
• Eugene Garfield, "The History and Meaning of the Journal Impact Factor"
  JAMA Vol. 295 Is. 1 P. 90, 2006
•  
• Journal Impact Factors - Vorsicht beim Gebrauch!" (IVS-CPT 2005)
• "Impact factors cannot replace citation analysis!" (IVS-CPT 2005)
• "Der Impact eines Forschers in einer Zahl: der Hirsch-Index" (IVS-CPT 2006)
• IVS-CPT further publications