Die interne Evaluierung kommt ausschließlich bei vollinhaltlichen Wirkungsorientierten Folgenabschätzungen zur Anwendung und ist ein
- (ressort- beziehungsweise verwaltungs-)internes rückschauendes Verfahren, das auf die Wirkungskontrolle abzielt und
- untersucht, ob ein ausgeführtes Regelungs- oder sonstiges Vorhaben die erwarteten Wirkungen sowie wesentliche unerwartete Wirkungen zur Folge gehabt hat.
Zur Beurteilung der Effektivität der gesetzten Maßnahmen ist eine interne Evaluierung des Regelungsvorhabens oder sonstigen Vorhabens vorgesehen. Dabei gilt es in pragmatischer Weise zu prüfen, ob die gesetzten Maßnahmen zur Erreichung der angestrebten Ziele beigetragen haben und ob die gesetzten Ziele erreicht werden konnten. Bezogen auf den Kernbereich der Folgenabschätzung des Regelungs- oder sonstigen Vorhabens, werden die erwarteten Auswirkungen mit den tatsächlich Eingetretenen verglichen (beispielsweise wesentliche unerwartete Wirkungen).
Die interne Evaluierung kann die Verwaltung selbst durchführen (Selbstevaluierung) oder das jeweilige Ressort vergibt sie extern (Fremdevaluierung).
Entscheidend ist, dass Evaluierungen bestimmte Qualitätskriterien wie Glaubwürdigkeit der Evaluierenden, Zeitnähe, Verständlichkeit, Nachvollziehbarkeit et cetera erfüllen, um mögliche Verbesserungspotenziale, aber auch Empfehlungen zur künftigen Umsetzung aufzuzeigen. Eine Evaluierung, die gegenüber der untersuchten Maßnahme nur lobende Töne anschlägt, darf in diesem Sinne sogar mit einer gewissen Skepsis betrachtet werden. Grundsätzlich eignen sich für eine Evaluierung sowohl quantitative Methoden (Datenbanken, Befragungen, statistische Methoden et cetera) als auch qualitative Methoden (Interviews, Fallbeispiele et cetera). Es ist möglich, beide Methodenarten zu kombinieren, wobei die Entscheidung bei jenem Ressort liegt, das die interne Evaluierung durchführt. Zu beachten ist aber, dass diese Entscheidung bereits bei Durchführung der Folgenabschätzung erfolgt.
Regelungs- oder sonstigen Vorhaben, welchen in sachlicher Hinsicht ein einheitliches Ziel zugrunde liegt und bei denen eine Bündelung vorgenommen wurde, sind gemeinsam in einem Prozess zu evaluieren. Eventuell auftretende, voneinander abhängige Wirkungen werden so deutlicher. Dies fördert eine gesamtheitliche Betrachtung.
Welchem Zweck dient die interne Evaluierung?
Die interne Evaluierung soll Verbesserungspotenziale aufzeigen. Im Gegensatz zur Kontrolle beinhaltet die Evaluierung eine Analyse und Empfehlungen zur Zielerreichung sowie zur Zieladaptierung.
Ziel der internen Evaluierung ist es,
- die Annahmen der Wirkungsorientierten Folgenabschätzung mit den tatsächlich eingetretenen Auswirkungen in den betroffenen Wirkungsdimensionen zu vergleichen, zum Beispiel bei finanziellen Auswirkungen auf öffentliche Haushalte;
- die Eignung der gewählten Maßnahmen zur Zielerreichung, die seinerzeitigen Annahmen über Wirkungszusammenhänge und die Auswahl geeigneter Indikatoren zu beurteilen sowie
- Verbesserungspotenziale und Empfehlungen zur Umsetzung aufzuzeigen.
Die interne Evaluierung soll nicht nur die Qualität des einzelnen Regelungs- oder sonstigen Vorhabens messen und bewerten, sondern im Sinne eines kontinuierlichen Lernprozesses auch der durchführenden Organisation zu Gute kommen.
Durchführung der internen Evaluierung
Der wichtigste Schritt zur Vorbereitung der internen Evaluierung ist die Sammlung der benötigten Daten. Zu einem sehr frühen Zeitpunkt, möglichst bereits bei der Planung der internen Evaluierung im Rahmen der vollinhaltlichen Wirkungsorientierten Folgenabschätzung, sollte festgestellt werden, welche Daten benötigt werden, wann und wie sie allenfalls zum Beispiel von anderen Stellen zu beschaffen sind. Um die Nachvollziehbarkeit und Vergleichbarkeit der Daten zu gewährleisten, sind jene Datenquellen und quantitative beziehungsweise qualitative Methoden heranzuziehen, die auch bei der Erstellung der Folgenabschätzung gewählt wurden.
Wurden beispielsweise Umfragewerte als Indikatoren verwendet, müssen ausreichend Zeit und Ressourcen zur Feststellung des aktuellen Stands eingeplant werden.
Wer ist für die interne Evaluierung verantwortlich?
Die internen Evaluierungen für Regelungs- und sonstige Vorhaben führt jenes haushaltsleitende Organ beziehungsweise jene haushaltsführende Stelle durch, in dessen:deren Zuständigkeitsbereich die Regelung beziehungsweise das Vorhaben fällt (§ 18 iVm § 6 Abs. 1 Z 12 und § 7 Abs. 2 Z 4 lit. h BHG 2013).
Wann ist die interne Evaluierung durchzuführen?
Der Zeitpunkt der internen Evaluierung ist schon im Rahmen der Planung der Wirkungsorientierten Folgenabschätzung anzugeben und liegt in der Einschätzung des Ressorts.
Als Horizont sollte ein Zeitpunkt gewählt werden, zu dem die erwünschten Wirkungen zumindest teilweise bereits eingetreten sind. Im Allgemeinen kann der Zeitraum ein bis fünf Jahre umfassen. Als Maximalzeitraum zwischen Inkrafttreten beziehungsweise Wirksamwerden und interner Evaluierung sind fünf Jahre vorgesehen.
Qualitätssicherung der internen Evaluierung
Die ressortübergreifende Wirkungscontrollingstelle des Bundes erhält bis spätestens Ende Februar von den Ressorts und obersten Organen die Ergebnisse der internen Evaluierung, die im abgelaufenen Finanzjahr durchgeführt wurden. Sie prüft diese Berichte aus Perspektive der Qualitätssicherung hinsichtlich Plausibilität und Vollständigkeit. Aus den übermittelten Daten erstellt sie einen Bericht zur internen Evaluierung und legt diesen dem Nationalrat bis spätestens 31. Mai vor.