Peer Review – Löwenwurzel

Auf einen Blick

Bedeutung: Begutachtung einer wissenschaftlichen Arbeit durch fachkundige Außenstehende, bevor sie erscheint oder gefördert wird
Ablauf: Gutachtende prüfen, die Redaktion entscheidet: annehmen, überarbeiten lassen oder ablehnen
Stärke: Fehler und Lücken fallen auf, bevor eine Arbeit als geprüft gilt
Grenzen: Kein Wahrheitsbeweis: Verzerrungen, schwache Zeitschriften und mangelnde Wiederholbarkeit bleiben möglich
Nicht gemeint: Ein Qualitätssiegel für jede Zeitschrift, die sich „peer-reviewed“ nennt

Einfach erklärt

Bevor eine wissenschaftliche Studie in einer Fachzeitschrift erscheint, schauen andere Fachleute aus demselben Gebiet sie sich an. Sie prüfen, ob die Methoden sauber sind, ob die Schlussfolgerungen zu den Daten passen und ob gravierende Fehler vorliegen. Dieses Verfahren heißt Peer Review, auf Deutsch etwa Begutachtung durch Fachkolleginnen und Fachkollegen. „Peer“ bedeutet hier: jemand mit vergleichbarer Fachkenntnis.

Eine begutachtete Studie hat damit eine Hürde genommen, die ein Blogbeitrag oder eine Pressemitteilung nicht nehmen muss. Peer Review ist ein Prüfverfahren mit bekannten Schwächen, kein Gütesiegel für Wahrheit.

Wer also hört „Studien belegen …“, fragt am besten zweierlei: Wo wurde das veröffentlicht, und wie gut ist das Verfahren dort? Und: Steht die Aussage allein, oder deckt die Gesamtlage der Forschung sie?

Merke

Begutachtet heißt geprüft, nicht bewiesen. Eine einzelne Studie bleibt ein Baustein, auch wenn sie in einer guten Zeitschrift steht.

Ausführlich erklärt

Wie das Verfahren abläuft

Forschende reichen ihr Manuskript bei einer Fachzeitschrift ein. Die Redaktion schickt es an Gutachtende aus dem Fach. Diese bewerten Fragestellung, Methode, Auswertung und Schlussfolgerungen und geben eine Empfehlung ab. Die Redaktion entscheidet danach: annehmen, zur Überarbeitung zurückgeben oder ablehnen. Ähnlich begutachtet werden auch Anträge bei Forschungsförderern.

Die Verfahren unterscheiden sich in der Anonymität:

Einfach verblindet: Die Gutachtenden kennen die Namen der Forschenden, aber nicht umgekehrt.
Doppelt verblindet: Beide Seiten bleiben einander unbekannt.
Offen: Die Namen sind bekannt.

Ob Verblindung das Ergebnis verändert, ist unklar: Eine Cochrane-Übersicht fand in neun Studien keine eindeutigen Belege.

Woher das Verfahren kommt

Nach Stephen Lock, Herausgeber einer medizinischen Fachzeitschrift, wurde Begutachtung mit den ersten beiden wissenschaftlichen Zeitschriften eingeführt, setzte sich aber erst nach dem Zweiten Weltkrieg allgemein durch. Baldwin zeigt in einer historischen Analyse, dass externe Gutachten im 19. und bis weit ins 20. Jahrhundert eine optionale Zutat der Redaktionsarbeit waren. Die Vorstellung, dass wissenschaftliche Glaubwürdigkeit Begutachtung voraussetzt, entstand dort im Kalten Krieg in den USA: In den 1970er Jahren stellten Forschende sie als Kern der Wissenschaft dar, um Förderentscheidungen in Expertenhand zu halten.

Was die Forschung über das Verfahren weiß

Über Peer Review selbst gibt es wenig belastbare Forschung. Die Cochrane-Übersicht wertete 28 Studien aus und kam zu dem Ergebnis, dass wenig empirische Belege dafür vorliegen, dass redaktionelle Begutachtung die Qualität biomedizinischer Forschung sichert. Begutachtete Arbeiten wurden laut zwei Studien lesbarer und im Bericht vollständiger, die Aussagekraft ist aber begrenzt. Die Autorinnen und Autoren betonen zugleich: Fehlende Belege sind kein Beleg für Wirkungslosigkeit. Ihre Recherche reicht nur bis Juni 2004.

Zwei Experimente zeigen, wie anfällig das Verfahren sein kann:

Erneut eingereicht: Peters und Ceci tauschten 1982 bei zwölf bereits veröffentlichten Psychologie-Artikeln die Namen und Institutionen aus und reichten sie bei den Zeitschriften ein, die sie zuvor abgedruckt hatten. Nur 3 von 38 Beteiligten bemerkten das. Von den 9 Artikeln, die das Verfahren durchliefen, wurden 8 abgelehnt, oft wegen angeblich ernster methodischer Mängel.
Erfundenes Paper: Der Journalist John Bohannon schickte 2013 verschiedene Fassungen eines absichtlich fehlerhaften Artikels an 304 Open-Access-Verlage. 157 Zeitschriften nahmen ihn an, 98 lehnten ihn ab. Bei etwa 60 Prozent der 255 abgeschlossenen Entscheidungen war keine Begutachtung erkennbar. Nur 36 der 304 Einreichungen lösten Kommentare aus, die die wissenschaftlichen Mängel erkannten.

157 von 304Zeitschriften nahmen Bohannons absichtlich fehlerhaftes Manuskript an (Science, 2013)

8 von 9erneut eingereichten Artikeln wurden abgelehnt, nur 3 von 38 Beteiligten erkannten die Wiederholung (Peters und Ceci, 1982)

40 Prozentpunktehöher war die Veröffentlichungschance starker Ergebnisse gegenüber Nullergebnissen (Franco u. a., 2014)

Beide Experimente haben Grenzen. Bohannon prüfte nur Open-Access-Verlage, ein Vergleich mit anderen Zeitschriften fehlt. Peters und Ceci untersuchten zwölf Zeitschriften eines Fachs. Beide zeigen Schwächen einzelner Verfahren, nicht jeder Begutachtung.

Wo Peer Review an Grenzen stößt

Eine bekannte Verzerrung ist der Publikationsbias. Franco, Malhotra und Simonovits analysierten 221 Umfrageexperimente, bei denen bekannt war, was veröffentlicht wurde und was nicht. Starke Ergebnisse wurden mit 40 Prozentpunkten höherer Wahrscheinlichkeit veröffentlicht als Nullergebnisse, und mit 60 Prozentpunkten höherer Wahrscheinlichkeit überhaupt aufgeschrieben. Entscheidend: Die Verzerrung entsteht schon, bevor Gutachtende ins Spiel kommen, weil Forschende Nullergebnisse oft nicht einreichen. Für die Leserschaft wirkt das wie Survivorship Bias: Sichtbar ist nur, was es durch den Filter geschafft hat.

Eine zweite Grenze ist die Wiederholbarkeit. Die Open Science Collaboration versuchte 2015, 100 in drei Psychologiezeitschriften veröffentlichte Studien zu wiederholen. 97 Prozent der Originalstudien hatten statistisch signifikante Ergebnisse, bei den Wiederholungen waren es 36 Prozent. Die Effekte fielen im Durchschnitt nur halb so groß aus. Begutachtet waren die Originale alle. Ob eine Studie sich wiederholen lässt, sagt das Etikett also nicht.

Drittens spielt Fairness eine Rolle. Das Team um Helmer wertete öffentliche Angaben zu rund 9.000 Herausgebenden und 43.000 Gutachtenden der Zeitschriftenreihe Frontiers aus: Frauen sind im Begutachtungsprozess unterrepräsentiert, und Herausgebende beider Geschlechter wählen auffällig oft Gutachtende des eigenen Geschlechts. Dieser Effekt bliebe laut den Autorinnen und Autoren auch bei gleicher Zahl bestehen. Das Team um Gerwing sah sich außerdem 1.491 Gutachten aus der Ökologie und der Verhaltensmedizin an: In 12 Prozent stand mindestens ein unprofessioneller Kommentar, in 41 Prozent mindestens eine unvollständige, ungenaue oder unbelegte Kritik. Solche Kommentare könnten, so die Autorinnen und Autoren, vor allem Forschende am Anfang ihrer Laufbahn belasten.

Peer Review ist eine Prüfinstanz mit bekannten Schwächen, kein Wahrheitssiegel. Vertrauen entsteht erst aus vielen geprüften, wiederholten und zusammengeführten Studien.

Kerngedanke

Peer Review und Klimaforschung

Wo das Gewicht vieler Studien zusammenkommt, wirkt der wissenschaftliche Konsens. Der IPCC ist dafür ein Beispiel, aber anders als oft behauptet: Er stützt sich nicht ausschließlich auf begutachtete Literatur. Nach seinen Verfahrensregeln wird begutachteten wissenschaftlichen Quellen Vorrang gegeben. Daneben können Berichte von Regierungen, Industrie, Forschungseinrichtungen und anderen Organisationen sowie Konferenzbeiträge genutzt werden, die Autorenteams dann besonders sorgfältig prüfen müssen. Zusätzlich durchlaufen die IPCC-Berichte selbst mehrere Begutachtungen: eine Prüfung durch Fachleute, eine durch Regierungen und Fachleute und eine durch Regierungen für die Zusammenfassungen für politische Entscheidungstragende. Kommentare und Antworten der Autorenteams werden nach Abschluss veröffentlicht.

Genau hier setzt Denialismus an: Er beruft sich auf einzelne Ausreißer oder auf angebliche Lücken im Verfahren, um das Gesamtbild zu entwerten. Die Frage nach der Gesamtlage beantworten Metaanalysen, die viele begutachtete Studien zusammenführen.

Was der Begriff nicht sagt

Peer Review heißt nicht, dass alles Unbegutachtete falsch ist, und nicht, dass alles Begutachtete stimmt. Hilfreicher als das Etikett sind Folgefragen: Wer hat geprüft? Wie groß war die Stichprobe? Wurde das Ergebnis wiederholt? Was sagt die Gesamtlage?

Was du tun kannst

Prüfe bei „Studien belegen …“, in welcher Zeitschrift die Arbeit erschien und ob dort ein erkennbares Begutachtungsverfahren beschrieben wird.
Suche nach der Gesamtlage statt nach der einzelnen Studie: Übersichtsarbeiten, Metaanalysen oder Berichte wie vom IPCC.
Achte darauf, wie groß die Stichprobe war und ob andere Gruppen das Ergebnis wiederholt haben.

Quellen: Jefferson, T. u. a. (2007): Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database of Systematic Reviews, MR000016 (Zusammenfassung geprüft) / Peters, D. P. und Ceci, S. J. (1982): Peer-review practices of psychological journals: The fate of published articles, submitted again. Behavioral and Brain Sciences 5 (2), S. 187 bis 195 (Zusammenfassung geprüft) / Bohannon, J. (2013): Who’s Afraid of Peer Review? Science 342 (6154), S. 60 bis 65 (Volltext gelesen über eine Archivkopie, abgerufen 15.10.2026) / Franco, A., Malhotra, N. und Simonovits, G. (2014): Publication bias in the social sciences: Unlocking the file drawer. Science 345 (6203), S. 1502 bis 1505 (Zusammenfassung geprüft) / Open Science Collaboration (2015): Estimating the reproducibility of psychological science. Science 349 (6251), aac4716 (Zusammenfassung geprüft) / Helmer, M. u. a. (2017): Gender bias in scholarly peer review. eLife 6, e21718 (Zusammenfassung geprüft) / Gerwing, T. G. u. a. (2020): Quantifying professionalism in peer review. Research Integrity and Peer Review 5, 9 (Zusammenfassung geprüft) / Baldwin, M. (2018): Scientific Autonomy, Public Accountability, and the Rise of Peer Review in the Cold War United States. Isis 109 (3), S. 538 bis 558 (Zusammenfassung geprüft) / Lock, S. (1994): Does Editorial Peer Review Work? Annals of Internal Medicine 121 (1), S. 60 bis 61 (Editorial, erste Seite gelesen) / IPCC: Appendix A to the Principles Governing IPCC Work, Procedures for the preparation, review, acceptance, adoption, approval and publication of IPCC Reports, Fassung 2013 (Volltext gelesen, abgerufen 15.10.2026)

Wie systematisch zusammengeführte, begutachtete Forschung ein Krankheitsbild neu einordnet: ME/CFS: Was neue Forschung jetzt zeigt und was das für Betroffene bedeutet.