1999 bis 2002.

Schweizerische Bundesverwaltung, Regierung und Aufsichtsorgane

Die Thematik der Verwendung von Evaluationen gehört seit mehr als zwanzig Jahren zu den zentralen Gegenständen der evaluationswissenschaftlichen Theoriediskussion. In neuester Zeit ist dieser Diskurs geprägt von der Entwicklung einer integrierten Theorie der Verwendung und des Einflusses von Evaluationen. Empirische Arbeiten, welche die Bedeutung von Einflussfaktoren auf die Verwendung untersuchten, sind in den Hintergrund gerückt. Das wachsende Gefälle zwischen einer zunehmend differenzierten Theorieentwicklung auf der einen und schmaler empirischer Basis auf der anderen Seite gilt im Besonderen im Hinblick auf die Analyse des Einflusses des institutionellen Arrangements der Planung und der Durchführung von Evaluationen auf deren Verwendung. Sollen Evaluationen, um nützlich zu sein, zum Beispiel einen engen Kontakt zwischen Evaluierenden und Evaluierten anstreben? Oder führt eine grosse Unabhängigkeit zwischen den beiden Akteuren des Evaluationsprozesses eher zu einer Verwendung von Evaluationsergebnissen durch die Praxis? Die wenigen publizierten Erkenntnisse zu diesen und ähnlichen Fragestellungen basieren in der Regel auf punktuellen Praxiserfahrungen. Systematische Untersuchungen fehlen. Der schweizerische Nationalfonds finanzierte daher eine von Andreas Balthasar durchgeführte Untersuchung, welche diese Lücke zu schliessen beabsichtigte. Sie untersucht den Einfluss des institutionellen Arrangements, in welchem eine Evaluation durchgeführt wird, auf deren Verwendung.

Das vorliegende Datenmaterial erlaubte es, die Verbreitung der Evaluationsaktivitäten und die Verwendung von Evaluationsergebnissen beim Bund detailliert zu beschreiben und zu analysieren. Wie ist der Umfang der Evaluationstätigkeit beim Bund zu beurteilen? Die Untersuchung stellte fest, dass 1999 bis 2002 auf Bundesebene jährlich rund 80 Evaluationen durchgeführt wurden. Die grosse Zahl der identifizierten Evaluationen darf nicht über die Tatsache hinwegtäuschen, dass die institutionelle Verankerung der Evaluation in der schweizerischen Bundesverwaltung sehr unterschiedlich ist. Die Befragung lässt auch den Schluss zu, dass die schweizerische Bundesverwaltung zwischen 1999 und 2002 wesentlich weniger für Evaluationen ausgegeben hat, als beispielsweise die Europäische Gemeinschaft. Aus den Antworten auf die Befragung lässt sich errechnen, dass der Bund jährlich rund acht Millionen Franken in Evaluationen investiert hat. Dieser Betrag entspricht rund 0.02 Prozent der Ausgaben der Eidgenossenschaft in diesen Jahren. Diese Aufwendungen liegen unterhalb derjenigen der Europäischen Gemeinschaft. Diese gab in den letzten Jahren zwischen 100 und 150 Millionen Euro für Evaluationen aus, was zwischen 0.09 und 0.14 Prozent des EU Haushalts ausmachte. Wurden die Evaluationsresultate verwendet? Die Untersuchung unterscheidet zwischen instrumenteller, konzeptioneller, symbolischer, prozessbezogener und genereller Verwendung: - Eine instrumentelle Verwendung liegt dann vor, wenn die formulierten Empfehlungen umgesetzt wurden. Bei knapp der Hälfte der Evaluationen schätzten die Evaluationsverantwortlichen diese Art der Verwendung als hoch oder eher hoch ein. Dieses Ergebnis wird durch eine neuere schweizerische Untersuchung bestätigt, welche festhielt, dass "direkte Rezeption und Nutzung deutlich häufiger festgestellt werden kann, als in der einschlägigen theoretischen Literatur behauptet". - Die konzeptionelle Verwendung von Ergebnissen thematisierte den Einfluss der Evaluationen auf die grundsätzliche Einstellung der Verantwortlichen gegenüber der untersuchten Aktivität. Von den Evaluationsverantwortlichen gaben rund 54 Prozent an, dass die konzeptionelle Verwendung stark oder eher stark ausfiel. - Eine prozessbezogene Verwendung findet statt, wenn die Beteiligten von der Durchführung der Untersuchung profitieren, indem zum Beispiel stabile Kontakte entstehen oder ein gemeinsames Problemverständnis entwickelt wird. Gemäss den Angaben der Evaluationsverantwortlichen war diese Art der Verwendung in rund 57 Prozent der Fälle stark oder eher stark. - Über 50 Prozent der Evaluationsverantwortlichen schätzten die symbolische Verwendung als (eher) hoch ein. Angesprochen war damit die Frage nach der Legitimation, welche die Evaluation der untersuchten Aktivität verliehen hat. - Schliesslich gingen knapp zwei Drittel der befragten Evaluationsverantwortlichen von einem hohen oder eher hohen Grad der generellen Verwendung der Untersuchung aus. Mit der "generelle Verwendung" haben wir eine zusammenfassende Einschätzung der Umsetzung abgefragt. Auch dieses Resultat ist im Vergleich zu anderen Studien überraschend hoch. Vermutlich hängt dieses Ergebnis zum Teil damit zusammen, dass Personen befragt wurden, welche für die Abwicklung der Evaluation Verantwortung trugen. Es kann aber auch vermutet werden, dass das Ausmass der Verwendung von Evaluationen in anderen, weniger systematisch angelegten Arbeiten tendenziell eher unterschätzt wurde. Wie war die Distanz zwischen den Evaluierenden und den Evaluierten? Im Zentrum der Untersuchung standen die Beschreibung und die Analyse des institutionellen Arrangements, in welchem die Evaluation entstanden ist. Dazu haben wir erhoben, ob zur Durchführung der Evaluation eine evaluationsverantwortliche Stelle einbezogen wurde, ob die Evaluation unabhängig von den Evaluierten finanziert, ausgelöst und durchgeführt wurde, ob der Evaluationsauftrag in einem wettbewerblichen Verfahren vergeben wurde und ob die Ergebnisse der Evaluation publiziert wurden. Auf der Basis dieser Faktoren liess sich ableiten, dass knapp 50 Prozent der Evaluationen in mittlerer Distanz zwischen Evaluierenden und Evaluierten durchgeführt wurden. Gross war die institutionelle Distanz neben den Kontrollorganen des Bundes vor allem bei Bundesstellen, welche häufig Evaluationen durchführten. Überdurchschnittlich häufig in kleiner Distanz wurden die Evaluationen in jenen Verwaltungseinheiten durchgeführt, welche nur wenige Evaluationen auswiesen. Wovon hing die Verwendung ab? Unsere Analysen betonen die Bedeutung der Integration der potenziellen Nutzenden in den Evaluationsprozess von der Planung bis zum Abschluss der Untersuchung. Die aktive Mitwirkung der potenziellen Nutzenden an der Evaluation ist für die Verwendung zentral. Evaluationen müssen den Bedürfnissen der Nutzenden bezüglich Fragestellung, Methodik, Zeitplan und Sprache entgegenkommen, wenn sie Verwendung finden wollen. Institutionelle Arrangements mit einer hohen Distanz zwischen Evaluierenden und Evaluierten senken die Chancen dieser Arten der Verwendung von Evaluationen. Damit bestätigt und differenziert die Untersuchung Hypothesen der interaktionistischen Evaluationstheorien. Sie unterstreicht den grossen Einfluss prozeduraler Aspekte auf die Verwendung von Evaluationen. Notwendige Bedingung für die Verwendung ist die Orientierung der Evaluation an den Bedürfnissen der potenziellen Nutzenden. Der Einbezug der Akteure ist zentral, wenn Evaluationsresultate auch verwendet werden sollen. Evaluationen, welche darauf ausgerichtet sind, Informationen bereitzustellen, welche den potenziellen Nutzenden helfen, ihre Entscheidungen zu fällen, haben die besten Chancen, verwendet zu werden. Die Untersuchung stellt die Verwendung der Evaluationen ins Zentrum des Erkenntnisinteressens. Dies bedeutet, dass normative Motive zur Durchführung derartiger Untersuchungen, im Hintergrund stehen. Normative Überlegungen, wie die Absicht der Stärkung der Demokratie und der Transparenz über Verwaltungsabläufe, können ausserhalb der Verwendungsperspektive Begründungen zur Durchführung von Evaluationen liefern.