- Bedeutung
- Wissenschaftliche Methode, die Ergebnisse vieler Einzelstudien zu einer Frage systematisch zusammenführt und statistisch auswertet
- Ablauf
- Systematische Literaturrecherche, Auswahl nach festen Kriterien, statistische Zusammenführung der Effektgrößen
- Standard
- Der PRISMA-Standard regelt seit 2020, wie die Auswahl dokumentiert wird
- Beispiel
- 2013 wertete eine Studie 11.944 Abstracts zum Klimakonsens aus, 97,1 Prozent bestätigten die menschengemachte Erwärmung
- Grenze
- Die Aussagekraft hängt von der Qualität der einbezogenen Einzelstudien ab
Einfach erklärt
Eine Metaanalyse ist eine wissenschaftliche Methode, bei der die Ergebnisse vieler einzelner Studien zu einer bestimmten Frage systematisch zusammengeführt und statistisch ausgewertet werden. Statt sich auf eine einzelne Studie zu verlassen, blickt eine Metaanalyse auf das Gesamtbild: Was sagen zehn, fünfzig oder hundert Studien gemeinsam über einen Zusammenhang aus?
Das macht sie zu einem der stärksten Werkzeuge der Wissenschaft und zu einem wichtigen Gegengewicht zu selektiver Argumentation. Wer behauptet, „eine Studie zeigt X“, sagt noch nichts über den tatsächlichen Stand des Wissens. Wer dagegen auf eine Metaanalyse verweist, spricht über die gesamte verfügbare Evidenzlage, inklusive widersprüchlicher oder methodisch schwacher Einzelbefunde.
Gerade in Debatten über Klimawandel, Ernährung oder Impfstoffe werden Metaanalysen genutzt, um den wissenschaftlichen Konsens sichtbar zu machen und einzelne abweichende Studien in den richtigen Kontext zu setzen. Ein bekanntes Beispiel: 2013 werteten Forschende fast 12.000 Klimastudien aus zwei Jahrzehnten aus und zeigten damit, wie eindeutig sich der wissenschaftliche Konsens zur menschengemachten Erderwärmung tatsächlich darstellt.
Metaanalysen sind aber kein Selbstläufer. Ihre Aussagekraft hängt direkt von der Qualität der einbezogenen Einzelstudien ab: Werden überwiegend fehlerhafte oder verzerrte Studien zusammengefasst, kann auch eine Metaanalyse zu falschen Schlüssen kommen.
Kerngedanke
Ausführlich erklärt
Wie eine Metaanalyse entsteht
Der Prozess folgt einem festen methodischen Ablauf und ist deutlich aufwendiger als das bloße Nebeneinanderstellen mehrerer Studien. Am Anfang steht eine systematische Literaturrecherche, bei der anhand vorab festgelegter Suchbegriffe in wissenschaftlichen Datenbanken nach allen relevanten Studien gesucht wird, nicht nur nach den bekanntesten oder am besten passenden. Die gefundenen Studien werden anschließend anhand klar definierter Ein- und Ausschlusskriterien bewertet, etwa Studiendesign, Stichprobengröße oder Untersuchungszeitraum. Seit 2020 gibt der internationale PRISMA-Standard (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) vor, wie dieser Auswahlprozess transparent dokumentiert werden muss, damit andere Forschende ihn nachvollziehen und überprüfen können.
Im eigentlichen statistischen Kern werden die Effektgrößen der Einzelstudien zusammengeführt. Dabei kommt entweder ein Fixed-Effects-Modell oder ein Random-Effects-Modell zum Einsatz. Ersteres eignet sich für sehr einheitliche Studien, Letzteres wird gebraucht, wenn zwischen den Studien reale Unterschiede bestehen, etwa unterschiedliche Populationen oder Methoden. Wie stark sich Studienergebnisse voneinander unterscheiden, wird über die sogenannte Heterogenität gemessen, meist als I²-Wert: Werte über 50 Prozent gelten als deutlicher Hinweis darauf, dass ein Random-Effects-Modell nötig ist. Dargestellt wird das Ergebnis häufig in einem Forest Plot, einer Grafik, in der jede Einzelstudie als Punkt mit Konfidenzintervall erscheint und der zusammengefasste Gesamteffekt als Raute hervorgehoben wird.
Cook et al. und der Klimakonsens
Der Wissenschaftliche Konsens zum Klimawandel wird oft gerade über Metaanalysen sichtbar gemacht. Das bekannteste Beispiel stammt von John Cook und Kolleg*innen, die 2013 im Fachjournal Environmental Research Letters exakt 11.944 Abstracts peer-reviewter Klimastudien aus dem Zeitraum 1991 bis 2011 auswerteten. Von den Abstracts, die überhaupt eine erkennbare Position zur menschengemachten Erderwärmung bezogen, bestätigten 97,1 Prozent den Konsens, dass menschliches Handeln die Hauptursache der aktuellen Erwärmung ist. Nur 0,7 Prozent widersprachen diesem Konsens, weitere 0,3 Prozent blieben unentschieden. Der mit Abstand größte Teil aller untersuchten Abstracts, 66,4 Prozent, bezog gar keine explizite Position. Meist lag das daran, dass sich die jeweilige Studie mit einer anderen Fragestellung befasste, etwa mit Folgen oder Anpassungsstrategien statt mit der Ursache selbst.
Genau dieser letzte Punkt wird in Debatten oft übersehen: Die 97,1-Prozent-Zahl bezieht sich nicht auf alle Klimastudien, sondern gezielt auf jene mit klarer Positionierung. Die Studie zeigt damit weniger eine Ausnahme als einen extrem stabilen Grundkonsens innerhalb der Fachwelt, konsistent mit späteren, methodisch unabhängigen Untersuchungen, die zu ähnlich hohen Zustimmungswerten kommen.
Grenzen und Schwächen
Publikationsbias
Die größte methodische Schwäche einer Metaanalyse ist der sogenannte Publikationsbias: Studien mit auffälligen, bestätigenden Ergebnissen werden häufiger veröffentlicht als Studien mit unklaren oder negativen Befunden. Fließen überwiegend solche „erfolgreichen“ Studien in eine Metaanalyse ein, kann das Gesamtbild verzerrt werden, selbst wenn jede einzelne Studie für sich methodisch sauber ist. Erkennen lässt sich diese Verzerrung unter anderem an einem Funnel Plot, einer Grafik, die die Präzision jeder Studie gegen ihren gemessenen Effekt aufträgt: Fehlen kleine Studien mit unauffälligen Ergebnissen, entsteht eine sichtbar asymmetrische statt trichterförmige Verteilung.
Der Epidemiologe John Ioannidis brachte dieses Problem 2005 in einem vielzitierten Aufsatz in PLOS Medicine mit dem Titel „Why Most Published Research Findings Are False“ auf den Punkt: Je kleiner die Studien, je schwächer die gemessenen Effekte und je größer der Druck, auffällige Ergebnisse zu veröffentlichen, desto unwahrscheinlicher ist es, dass ein einzelner publizierter Befund tatsächlich zutrifft. Deshalb gilt eine Metaanalyse nur so viel wie die Studien, aus denen sie besteht: Wer allein auf die Anzahl einbezogener Studien statt auf deren Qualität achtet, kann trotz aufwendiger Statistik in die Irre geführt werden.
Wenn Einzelstudien in die Irre führen: das PACE-Beispiel
Wie folgenreich ein methodischer Mangel sein kann, zeigt die Geschichte der Behandlungsempfehlungen bei ME/CFS (Myalgische Enzephalomyelitis/Chronisches Fatigue-Syndrom). Jahrzehntelang stützten sich britische Leitlinien maßgeblich auf die 2011 veröffentlichte PACE-Studie, die Bewegungstherapie (Graded Exercise Therapy, GET) als wirksame Behandlung nahelegte. Über 100 internationale Wissenschaftler*innen bemängelten in einem offenen Brief an The Lancet gravierende methodische Schwächen: Die Studie war nicht verblindet, Teilnehmende und Behandelnde wussten also jeweils, welche Therapie verabreicht wurde, gemessen wurde zugleich überwiegend über subjektive Endpunkte wie Fragebögen zum eigenen Befinden. Diese Kombination gilt in der Wissenschaft als besonders anfällig für Verzerrungen durch Erwartungseffekte.
Als die britische Gesundheitsbehörde NICE (National Institute for Health and Care Excellence) im Oktober 2021 ihre komplett überarbeitete Leitlinie NG206 veröffentlichte, fiel das Urteil eindeutig aus: „Graded exercise therapy should not be offered as a treatment for ME/CFS.“ Programme mit fest vorgegebenen, schrittweisen Aktivitätssteigerungen wurden ausdrücklich als potenziell schädlich eingestuft, gestützt auf Patient*innenbefragungen aus zwei Jahrzehnten mit über 15.000 Rückmeldungen, in denen deutlich mehr Menschen von Verschlechterung als von Verbesserung durch GET berichteten. Wer die zugrunde liegende Evidenz nur oberflächlich prüft, hätte GET über Jahre für gut belegt gehalten. Erst eine systematische Neubewertung der gesamten verfügbaren Studienlage brachte die methodischen Schwächen der Einzelstudie ans Licht und veränderte dadurch die Versorgung Betroffener weltweit.
Quelle: Cook et al. (2013): Quantifying the consensus on anthropogenic global warming in the scientific literature, Environmental Research Letters 8(2) / Cochrane Handbook, Chapter 10: Analysing data and undertaking meta-analyses / Page et al. (2021): The PRISMA 2020 statement, Systematic Reviews 10(89) / Ioannidis (2005): Why Most Published Research Findings Are False, PLOS Medicine 2(8) / NICE (2021): ME/CFS: diagnosis and management, NG206 / Primary Care Practitioners and the New NICE Guideline for ME/CFS, PMC (2022)
