MENÜ
Über die Relevanz der Signifikanz oder wie man mit Schokolade abnimmt

Über die Relevanz der Signifikanz oder wie man mit Schokolade abnimmt

Über die Relevanz der Signifikanz oder wie man mit Schokolade abnimmt

Signifikanz (p-Wert) – das ist das Siegel, das eine naturwissenschaftliche Studie vorweisen muss, um unbestritten zu sein. Der p-Wert bestimmt deshalb kompromisslos über die Veröffentlichung von Studien, über die Vergabe von Stellen oder über die Verteilung von Forschungsgeldern. Aber ist das auch sinnvoll? Was ist der p-Wert nun eigentlich?

Wir haben eine Studie durchgeführt und Ergebnisse gestreut, um einen Mittelwert zu erhalten. Nun gehen wir davon aus, dass beim Wiederholen der Studie fast die gleiche Streuung der Ergebnisse auftritt. Aber wie wahrscheinlich ist diese Annahme?

Der p-Wert gibt eine numerische Antwort auf diese Frage. Er ist die berechnete Wahrscheinlichkeit wie groß die mögliche Abweichung ist. Er ist ein Wert zwischen 0 und 1. Wobei ein p-Wert von kleiner 0,05 als signifikant gilt. Das ist eine Abweichung von der von uns erwarteten Mittelwertabweichung um 5 %. Vereinfacht bedeutet Signifikanz also, dass Ergebnisse wiederholbar sind.

Allerdings wird der statistische Wert oft völlig fehlinterpretiert. Er dient wahlweise als Wahrscheinlichkeit dafür, dass die Annahme korrekt ist, als Begründung dafür, dass die Ergebnisse vertrauenswürdig sind oder als Maß für die wissenschaftliche Relevanz.

"Schickt die statistische Signifikanz in den Ruhestand", forderten daher drei Forscher in einer Publikation im Wissenschaftsmagazin Nature. In nur einer Woche unterschrieben mehr als 850 Kollegen den Appell. Mehr als 16.000 Twitter-Nutzer retweeteten innerhalb weniger Tage den Aufruf. Das ist Platz drei des globalen Aufmerksamkeits-Rankings aller seit 2012 erfassten wissenschaftlichen Publikationen. Dafür gibt es Gründe. Der p-Wert gibt keine Informationen darüber, ob eine Studie wirklich relevant ist oder ob ein sinnvoller Kausalzusammenhang zwischen den erfassten Daten besteht. So zeigte eine Studie an Patienten mit fortgeschrittenem Pankreaskarzinom, die entweder ein Medikament bzw. eine Medikamenten-Kombination erhielten, dass die Kombination das Gesamtüberleben statistisch signifikant verlängerte – um zehn Tage.

Ist die Stichprobe groß genug, erreicht selbst ein sehr kleiner und therapeutisch irrelevanter Unterschied zwischen zwei Behandlungen statistische Signifikanz. Werfen Sie eine Münze zwanzigmal. Sie fällt zwölfmal auf Kopf. Ist sie gezinkt? Die Statistik sagt: Nein, die Daten dieses Experiments sind nicht signifikant. Werfen Sie die Münze 200-mal und sie fällt 120-mal auf Kopf, hat die Statistik ein anderes Ergebnis: Nun ist das Ergebnis signifikant.

Zudem ist es relativ einfach, die vorhandenen Daten so zu bearbeiten, dass der p-Wert möglichst klein wird. Dieses Prozedere hat bereits einen Namen: p-hacking. John Bohannon & Co. haben es z. B. genutzt, um aus Schokolade ein Diätprodukt zu machen. Zu diesem Zweck dachte er sich 18 Behauptungen aus, die alle unwahrscheinlich waren. Durch die große Menge der Postulate, steigt die Wahrscheinlichkeit, dass irgendeines von ihnen statistisch signifikant ist. Hier war es die Behauptung über die Schokolade. Die Journalisten wollten demonstrieren, wie leicht man mit Statistik die verrücktesten Zusammenhänge „beweisen“ kann und schafften es, Millionen von Menschen von diesen absurden Theorien zu überzeugen.

Der p-Wert ist nur eine Zahl zur Beurteilung des Wertes einer Studie. Für ein schlüssiges und wichtiges Ergebnis braucht es eine Reihe mehr – und den gesunden Menschenverstand.

Autor
Dr. Anna-Maria Faber-Finken, Medical Writer

Literatur
Kara S. Bloß Zufall? Die Zeit. 03.2019; 14
Amrhein V. Retire statistical significance. Nature. 03.2019; 567: 305-7
Illinger P. Signifikanter Unsinn. Süddeutsche Zeitung 03.2019
Nuzzo R. Statistical Errors. Nature 2014; 150-2
Kleist P. Wann ist ein Studienergebnis klinisch relevant? Schweiz Med Forum 2010; 10 (32): 525-27
Bohannon J. I Fooled Millions Into Thinking Chocolate Helps Weight Loss. https://io9.gizmodo.com/i-fooled-millions-into-thinking-chocolate-helps-weight-1707251800 (letzter Aufruf 06.05.2019)