Zur Messung von Forschungsqualität : eine kritische Analyse des Forschungsratings des Wissenschaftsrats

Abstract

"Im vorliegenden Beitrag wird das Forschungsrating des Wissenschaftsrats (RWR) im Fach Soziologie behandelt. Mit dieser Pilotstudie versuchte der Wissenschaftsrat ein Verfahren zu testen, welches eine differenzierte Bewertung der Forschungseinrichtungen in Deutschland ermöglicht. Zwei Thesen werden gegen das RWR vorgebracht und anschließend anhand empirischer Daten geprüft. Einerseits wird vermutet, dass die Ergebnisse aufgrund der impliziten Bewertungen durch Gutachter weder objektiv, reliabel noch valide sind. Andererseits wird gefragt, ob sich die Ergebnisse des RWR mit Hilfe eines kostengünstigeren, auf wenigen quantitativen Indikatoren basierenden Modells der Forschungsqualität reproduzieren lassen. Hierfür werden Daten des RWR und eine Befragung zur Reputation deutscher Forschungsstandorte ausgewertet. Darüber hinaus wurden mit Mitgliedern der Bewertungsgruppe Interviews durchgeführt. Im Ergebnis zeigt sich, dass Probleme hinsichtlich der Gütekriterien, insbesondere der Auswertungsobjektivität, nicht ausgeschlossen werden können. Das Fazit bezüglich der Reliabilität, beschränkt auf die innere Konsistenz der quantitativen Indikatoren, fällt insgesamt positiv aus. Eine Reproduktion der Ergebnisse mit ausschließlich quantitativen Daten gelingt nicht in befriedigender Art und Weise. Dies wird als Anzeichen eher geringer Validität interpretiert. Es wird gefolgert, dass hinsichtlich des Umfangs und der Qualität der erhobenen Daten sowie der Standardisierung der Auswertung Verbesserungsbedarf besteht." (Autorenreferat, BIBB-Doku)