Warum Reproduzierbarkeit nicht als Einziges zählt

Wann bestraft wer wen und wie? In sozialwissenschaftlichen Laborstudien werden unter anderem solche Fragen getestet. | Foto: Martial Trezzini / Keystone

Forschende der Sozialwissenschaften haben in einer mehrjährigen Arbeit überprüft, wie gut die Ergebnisse aus ihrer Disziplin standhalten. Dafür haben sie je zwischen 100 und 200 Studien auf Reproduzierbarkeit, Replizierbarkeit oder Robustheit getestet. Und dazu je einen Artikel in Nature publiziert.

Reproduzierbarkeit bedeutet, dass sich mit denselben Daten und Methoden die gleichen Resultate ergeben, Replizierbarkeit, dass eine Wiederholung der Studie zu einem ähnlichen Resultat führt, und Robustheit, dass auch leicht andere Methoden zu einem ähnlichen Resultat führen. Insgesamt erfüllte etwa die Hälfte der untersuchten Studien eines dieser Kriterien, wie das Team offenlegte. Viele Kommentare werteten dies als Bauchlandung für die Sozialwissenschaften. Doch Verhaltensforscherin Ilka Gleibs sieht das in einem Blog der London School of Economics and Political Science anders. Das Glas sei vielmehr halb voll: «Das Projekt gibt uns guten Grund, optimistisch in Bezug auf den Zustand der Sozialwissenschaften zu sein.»

Gleibs war für den Nature-Artikel zur Reproduzierbarkeit als Gutachterin tätig. Sie findet: «Unsicherheit ist dem wissenschaftlichen Wissen inhärent. Sie ist kein Mangel, der beseitigt werden, sondern ein Merkmal, mit dem man arbeiten muss.» Die Studie öffne den Blick für eine Zukunft, die auf Transparenz basiere: «mit besseren Richtlinien zum Austausch von Daten und Codes, mit offeneren Methoden».

Sie betont zudem, dass Glaubwürdigkeit von Resultaten vielschichtig sei und neben Reproduzierbarkeit, Replikation und Robustheit auch Dinge umfasse wie Theorie, Wissen über kontextuelle Veränderungen, das Prüfen auf Verzerrungen und valide Methoden. Die Diskussion sei eröffnet: Wie soll die Glaubwürdigkeit von sozialwissenschaftlichen Studien bewertet werden?