Gemeinhin heisst es, Unterschiedliches sei nicht miteinander vergleichbar. Doch! Aber auf die Kriterien kommt es an. Das gilt auch für die Forschungsevaluation, wie eine Studie des Generalsekretariats zeigt.

(Bild: ©iStock.com/dlerick)

Unter Forschenden ist Widerstand gegen die (externe) Evaluation ihrer Forschung weit verbreitet. Vor allem in den Geisteswissenschaften herrscht die Meinung vor, dass das jeweils eigene Forschungsfeld so spezifisch sei,dass es kaum mit der Forschung von Fachkolleginnen und -kollegen, selbst in der eigenen Disziplin, auf die Forschungsqualität hin verglichen werden könne. Das stimmt nicht, wie die Ergebnisse aus dem an der Universität Luzern bearbeiteten Forschungsprojekt "Ressourcen-basiertes Instrument zur Abbildung geisteswissenschaftlicher Forschung am Beispiel der Theologie" zeigen.

Kritik an Praktiken der gegenwärtigen Forschungsevaluation ist dennoch gerechtfertigt. Der Ansatz an sich ist richtig und ganz im Interesse der Wissenschaft selbst: Forschung auf ihre Qualität hin prüfen und gute Forscherinnen und Forscher fördern. In der heutigen "Evaluationsgesellschaft" (Peter Dahler-Larsen) ist es richtig, dass Forschende über die Verwendung von Forschungsgeldern Rechenschaft ablegen und angehalten sind, mindestens den wissenschaftlichen Nutzen der Forschung darzulegen.

Bedenklich ist aber, dass in der Forschungsevaluation ein Fokus auf wenige quantitative Messinstrumente vorherrscht, die in der Praxis oft falsch angewendet werden. Diese Instrumente sind nicht an sich schlecht – wenn sie so eingesetzt werden, wie sie gedacht sind. Sollen sie aber etwas aussagen, über das sie schlicht nichts aussagen können, sprich werden sie von den Anwenderinnen und Anwendern fehlinterpretiert, ergibt sich ein Problem. Der "Journal Impact Factor" zum Beispiel beschreibt den Einfluss einer Fachzeitschrift. Er ist nicht geeignet, um die Qualität einzelner Artikel oder derer Autoren zu beurteilen,wird von Evaluatoren und den Forschenden selbst aber häufig so gedeutet. Erprobte, gute Instrumente werden also in der Praxis falsch eingesetzt. Zudem bilden die viel verwendeten Indikatoren zum Publikationsoutput und zur Höhe von eingeworbenen Drittmitteln nicht alle Forschungsprofile gleich gut ab.

Interdisziplinarität automatisch gut?

Bestimmte Profile werden im Evaluationsprozess in der Regel unbewusst und unhinterfragt privilegiert, die Evaluationsinstrumente "verselbstständigen" sich und korrespondieren oft nicht mit dem Evaluationsziel. Dabei sollte doch zunächst einmal das Ziel bestimmt und anhand dieses Ziels nach den passenden Kriterien und "Messinstrumenten" gesucht werden. Ein Beispiel: Geht es darum, exzellente interdisziplinäre Forschung zu fördern,so ist es sinnvoll, nach der Interdisziplinarität zu fragen. Inzwischen wird sie jedoch auch dort zu einem Qualitätskriterium erhoben, wo es allgemein um "gute Forschung" geht. Doch ist Forschung – egal, zu welchem Thema – tatsächlich per se schlechter, wenn sie nicht interdisziplinär ist? Oder Vernetzung und Internationalität: Hat ein Rechtswissenschaftler, der zum Schweizer Familienrecht forscht, Kooperationspartner in den USA, mag das für ihn bereichernd sein. Internationale Vernetzung ist hier aber kaum als Qualitätskriterium relevant; das Fehlen solcher Kooperationen oder das Publizieren in der Landessprache statt auf Englisch können in diesem Forschungsbereich nicht als Zeichen für geringe Qualität gelten.

Kurz: Der Qualitätsvergleich ist dann sinnvoll, wenn die Kriterien sinnvoll sind, also der Vergleichsmassstab Sinn macht. Und der Vergleichsmassstab hängt eben vom Vergleichsgegenstand und der Zielsetzung ab.

Projektleiter Dr. Wolfgang Schatz, Generalsekretär, und Forschungsmitarbeiterin Dr. Silvia Martens

Theologie und die Geisteswissenschaften

Zur im Rahmen der Luzerner Studie genauer betrachteten Theologie: Um der Antwort auf die Frage, wie theologische Forschung beurteilt werden kann, auf die Spur zu kommen, bringt es wenig zu sagen: "Wir vergleichen nur Äpfel mit Äpfeln" – also Theologen nur mit Theologen oder etwa Bibliker ausschliesslich mit Biblikern usw. Die innertheologische Vielfalt ist gross, einige Forschungsfragen und Herangehensweisen deuten eher auf die Nähe zu anderen Disziplinen (z.B. Geschichte, Literaturwissenschaft, Rechtswissenschaft, Soziologie) hin, als dass sie zum Vergleich mit anderen theologischen Forschungen einladen. Kann man theologische Forschung demnach nicht mit anderer theologischer Forschung vergleichen? Doch. Und sogar ein Vergleich theologischer Forschung mit geisteswissenschaftlicher Forschung verschiedener verwandter Disziplinen kann – je nach Vergleichsziel – sinnvoll sein.

Die im Rahmen des Projektes befragten Theologinnen und Theologen anerkennen eine Mehrheit der gesammelten Qualitätskriterien als geeignet zur Beurteilung ihrer Forschung. Ein Teil dieser Kriterien wird aber je nach Fachbereich oder Ausrichtung der Forschung unterschiedlich gewichtet. Dabei sind die Kriterien, die durch alle theologischen Fachbereiche hinweg als wichtig erachtet werden, Kriterien, die auch von einer Mehrheit aller Forschenden in den Geisteswissenschaften geteilt werden: etwa die wissenschaftliche Relevanz der Fragestellung, die Angemessenheit der Methodologie, die Machbarkeit. Die Schnittmenge mit den Geisteswissenschaften insgesamt ist also gross. Nur wenige der im Projekt zusammengetragenen Kriterien sind spezifisch theologisch (z.B. Relevanz der Forschung für die Kirchenpraxis). Und diese sind auch innerhalb der Theologie nicht in allen Fachbereichen und Forschungsfeldern überhaupt bedeutsam. Es ist dabei keine Besonderheit der Theologie, dass sie neben dem Gros der mit anderen Wissenschaften geteilten Kriterien auch einen kleinen Teil disziplinenspezifischer Kriterien kennt, die für einige ihrer Forschungsbereiche bedeutsam sind. Auch, dass diese Kriterien sich vor allem auf ein nichtakademisches "Praxisfeld" beziehen, ist entgegen aller Erwartungen und der Kritik, die von aussen gern an die Theologie gerichtet wird, nichts Besonderes. Wissenschaften wie die Rechtswissenschaft, Wirtschaftswissenschaften,Politikwissenschaft, Erziehungswissenschaft, Psychologie und andere teilen dieses Merkmal.

Merkmal oder Qualitätskriterium?

Vergleiche sind also gut möglich. Doch welche Kriterien in welcher Gewichtung in eine vergleichende Bewertung eingehen sollten, lässt sich nicht pauschal sagen. Im Einzelfall muss gefragt werden: Was wird zu welchem Zweck evaluiert? Welche Kriterien sind dafür geeignet? Inwiefern ist der Vergleichsmassstab geeignetfür die betroffenen Forschungsbereiche? Im Rahmen des Forschungsprojekts wird vorgeschlagen, beim Vergleich zwischen1. Qualitätskriterien im engeren Sinne und 2. Merkmalenzur Beschreibung von Forschungsprofilen zu unterscheiden. Je nach Evaluationssituation kann dabei ein und derselbe Aspekt ein Qualitätskriterium oder ein beschreibendes Merkmal sein.Das lässt sich an der genannten "Interdisziplinarität" veranschaulichen: Diese ist gemäss der Studie nicht an sich als Qualitätskriterium,sondern zunächst einmal wertfrei als eine Information über die Ausrichtung der Forschung einzustufen. Ist das Ziel einer Evaluation jedoch, gute interdisziplinäre Forschung zu fördern, wird sie zu einem – in diesem Fall – passenden Vergleichskriterium.

 

 

 

Aufbauend auf den Ergebnissen der Luzerner Studie wurde eine Software-Anwendung entwickelt. Der Screenshot zeigt beispielhaft die Qualität mehrerer Forschungsprojekte im grafischen Vergleich: In der linken Menüleiste kann ausgewählt werden, welche Projekte dargestellt werden sollen. Es kann ein Projekt «gepinnt» werden (in diesem Fall das im Gesamtranking drittplatzierte). Dieses wird dann in den beiden Liniendiagrammen – oben zu den Hauptkriterien (im Beispiel: "feasibility" = Machbarkeit) und unten zu den jeweils dazugehörigen Unterkriterien (hier: "feasible research objective" = realistisches Forschungsziel) – schwarz und fett angezeigt.

Das Forschungsprojekt

Die an der Universität Luzern durchgeführte und vom Akademischen Direktor Dr. Wolfgang Schatz geleitete und von Dr. Silvia Martens durchgeführte Studie "Ressourcenbasiertes Instrument zur Abbildung geisteswissenschaftlicher Forschung am Beispiel der Theologie" (Laufzeit: Juni 2013 bis Juni 2017) untersucht, wie die Forschung in der Theologie auf geeignete Weise abgebildet und sichtbar gemacht werden kann. Die erste Phase bestand darin, im Austausch mit den Forschenden in den theologischen Fakultäten der Schweiz ein Kriterienset für die Beurteilung der Qualität theologischer Forschung zu erarbeiten. In einem zweiten Schritt wurde darauf aufbauend in Zusammenarbeit mit der "Fachhochschule Nordwestschweiz – Hochschule für Life Sciences" eine Software zum Vergleich von Forschungsprojekten, Forschenden und Forschungseinrichtungen entwickelt, die zur Beurteilung der Forschungsqualität und zur Visualisierung von Forschungsprofilen dient (siehe Diagramm unten). Als weiteres Ergebnis der Studie werden Empfehlungenfür die Gestaltung von Evaluationsprozessen und den Umgang mit verschiedenen Kriterien und Instrumenten zur Beurteilung der Qualität der Forschung formuliert und auf der Projektwebseite veröffentlicht.

Einbettung in nationalem Programm

Das Forschungsprojekt ist Teil des SUK-Programms 2013–2016 P-3 "Performances de la recherche en sciences humaines etsociales". Unter der Federführung von "swissuniversities", der Rektorenkonferenz der schweizerischen Hochschulen, untersuchen im Rahmen des Programms verschiedene Initiativen an Schweizer Universitäten, wie die Forschung in den Geistes- und Sozialwissenschaften sowohl hinsichtlich ihrer thematischen Breite wie auch ihrerQualität sichtbarer gemacht und damit auch angemessener evaluiert werden kann. Das Luzerner Projekt wird mit Drittmittelnin der Höhe von rund 400'000 Franken unterstützt.


Quelle: uniluAKTUELL, das Magazin der Universität Luzern, Ausgabe 58, Februar 2017, S. 1–3.
Artikel (pdf)

Siehe auch früheren Artikel zum Thema