Es war ein Paukenschlag: Sechs Law Schools in den USA, darunter Yale und Harvard, entschlossen sich kürzlich, nicht mehr am bekannten Universitätsranking des Magazins U.S. News & World Report teilzunehmen. Die Kritik der letzten Jahre habe keine Früchte getragen, so die Universitäten, das Ranking sei grob fehlerhaft und repräsentiere nicht die Werte der Universitäten.
Seit es Rankings gibt, werden sie kritisiert. Das betrifft nicht nur die Rangliste von U.S. News & World Report, sondern auch jene von Times Higher Education, QS oder das Academic Ranking of World Universities (ARWU). Das ist ob ihrer Bedeutung nicht verwunderlich: Student*innen, Forscher*innen, Unternehmen wie auch Regierungen verfolgen genauestens, wo Universitäten in den Rankings landen. Das hat wiederum direkte Auswirkungen auf Geldflüsse, Bewerbungen, den Zuzug von Wissenschaftler*innen sowie insgesamt das Prestige von akademischen Institutionen.
Das Problem: Die Methodologie hat große Schwachstellen. Das zeigte auch ein Statistikteam des Reed College 2019. Die Schulleitung hatte den Verdacht, dass die bereits 1995 gefällte Entscheidung, nicht mehr aktiv am Ranking von U.S. News & World Report zu partizipieren, zu einer Benachteiligung führte. Ein Team rund um die Statistikprofessorin Kelly McConville schaffte es, nachzuvollziehen, wie das Ranking von U.S. News & World Report erstellt wurde. Das Reed-Modell war so genau, dass die Rangliste jener des Magazins nahezu exakt glich, mit einer Ausnahme: dem Reed College. Die Hochschule war im offiziellen Ranking auf Rang 90 gelandet, in der Berechnung des Reed College auf Rang 36. Die fehlende Zutat: Peer Assessment Scores.
Diese Indikatoren, auch Peer Reviews genannt, werden von Vertreter*innen der Universitäten in Form von Fragebögen erstellt. Die Informationsbasis ist in den allermeisten Fällen jedoch nicht groß; die Universitäten werden von Menschen bewertet, die sie nie besucht oder dort gearbeitet haben. Die Gefahr für Bias ist hoch. Ein Beispiel: Weil viele Menschen denken, dass Harvard die beste Universität der Welt ist, ist die Wahrscheinlichkeit groß, dass Harvard besser bewertet wird. Je nach Ranking sind diese Scores für bis zu 40 % der Gesamtbewertung verantwortlich. Andere Indikatoren sind ebenso problematisch: So wird etwa die Zahl von Nobelpreisträger*innen einer Universität berücksichtigt – doch Erfolg in der Vergangenheit ist kein Garant für Erfolg in der Gegenwart und Zukunft. Überhaupt lässt sich vieles, was in den Rankings hoch gewichtet wird, auf einen Faktor zurückführen: Geld. Eine selbsterfüllende Prophezeiung, denn gute Rankings ziehen Geld an, was wiederum zu besseren Rankings führt.
Genauso problematisch wie jene Indikatoren, die berücksichtigt werden, sind jene, die sich überhaupt nicht in den Rankings niederschlagen. Dazu gehören etwa Transparenz oder das Preis-Leistungs-Verhältnis. Ein Undergraduate Degree in Harvard kostet über 200.000 € an Studiengebühren, an der ETH Zürich kostet ein Bachelorstudium jedoch „nur“ rund 6.500 €. Auch immer wichtiger werdende Themen wie Nachhaltigkeit, Diversität oder offener Zugang zu Bildung werden in Rankings überhaupt nicht berücksichtigt. Wie ein besseres Ranking aussieht, ist nicht einfach zu beantworten – fest steht, dass die Ranglisten differenzierter und stärker ausbalanciert werden müssen. Und: Sie müssen weniger auf subjektiven Meinungen und mehr auf nachvollziehbaren, reproduzierbaren Fakten basieren. Die Prinzipien der Wissenschaft müssen auch hier gelten.
