Evaluation der Stakeholder Partizipation

• Bestimmung von Absichten und Zielen der Evaluation
• Entscheidung zu Fragen der Zeitplanung und Ausgaben
• Wahl der Evaluatoren
• Identifikation der Empfänger der Evaluation, d.h. wer wird die Evaluationsergebnisse erhalten

Projekttyp
Für welchen Projekttyp möchten Sie die Partizipation evaluieren? Als erstes sollten Sie über die Ziele und Inhalte des Projektes (z.B. Bessere Bahnhöfe gestalten, Strecken beleben) sowie deren Implikationen für die Partizipation nachdenken. Wie komplex ist das Projekt? Ist es ein großes oder kleines Projekt im Hinblick auf Budget, Relevanz oder Image? Ist es kurz- oder langfristig ausgelegt? Wie viele Stakeholder werden einbezogen? Werden neue Stakeholder dabei sein, die Sie und Ihre Organisation noch nicht kennen? Wie sollen Bürgerinnen und Bürger eingebunden werden? Was sind die Anforderungen der Geldgeber? Wie wirkt sich der Projekttyp auf den Partizipationsansatz und Evaluationsprozess aus?

Evaluatoren
Machen Sie sich bewusst, was Ihre eigenen Aufgaben im Evaluationsprozess sind und welche Zuständigkeit Ihre Organisation im regionalen Bahnsystem einnimmt. Seien Sie sich bewusst, dass Evaluation ein komplexer Prozess ist und einige Fallstricke bestehen.
Möglicherweise enthüllt Ihre Evaluation einige kritische Aspekte und Probleme, mit denen Sie die Stakeholder konfrontieren müssen. Sie müssen auch sicherstellen, dass Sie die sowohl über benötigten persönlichen Fähigkeiten als auch Ressourcen zur Durchführung der Evaluation verfügen. Versuchen Sie, falls die Evaluation (der Partizipation) keine Pflichtaufgabe ist, die Leute davon zu überzeugen, dass diese ein lohnenswerter Schritt zum besseren Verständnis der Partizipation und den Projektergebnissen ist.
Selbst wenn Sie von den Vorteilen der Evaluation überzeugt sind, könnten sie vielleicht nicht über die zur relativ komplexen Evaluation eines ganzen Programms oder Großprojektes (inkl. der zugehörigen Partizipationsprozesse) benötigten Ressourcen oder Erfahrungen verfügen.

Partizipationsansatz
Es ist selbstverständlich, dass die Evaluation der Stakeholder-Partizipation nur Sinn macht, wenn ein Partizipationsansatz in Ihrer Projektstrategie enthalten ist (siehe das Citizens’ Rail Blumen Modell’). In einem typischen Projektzyklus können Sie im Prinzip in jeder einzelnen Phase Stakeholder einbinden. Der Partizipative Projektansatz erstreckt sich über den gesamten Projektverlauf und zeigt, warum welche Stakeholder in welcher Phase eingebunden werden. Wie diese eingebunden werden, kann gut mit Hilfe verschiedener Partizipationsformen beschrieben werden. In der Liste unten finden Sie eine Auswahl gängiger Partizipationsformen. Sie können auch im Internet viele weitere Informationen dazu finden (Beispiel 1, Beispiel 2 mit Toolbox).

In der Tabelle unten haben wir die Partizipationsformen nach verschiedenen Partizipationsstufen aufgelistet. Dies ermöglicht Ihnen eine Partizipationsform, Partizipationsstufe sowie Projektphase zu kombinieren. Zusätzlich können Sie die Eignung der Strategien und Werkzeuge auch nach weiteren Kriterien klassifizieren, wie z.B.¹⁷:

• Sichtbarkeit
• Intensität der Einbindung
• Art der Bekanntmachung, Mitteilung
• Reaktionsfreudigkeit der Teilnehmer
• Grad der Kommunikation
• Ideen-/ Einfallsreichtum
• Nutzerfreundlichkeit
• Förderung der Eigeninitiative
• Zugänglichkeit, Offenheit
• Übereinstimmung mit eigenen Zielsetzungen

Formen der Partizipation
Quelle: Citizens’ Rail Projekt-Team (basierend auf Hillsborough County Metropolitan Planning Organization (2014) und Partizipation & nachhaltige Entwicklung in Europa)

Lesen Sie mehr über die Einbeziehung von Stakeholdern bei der Evaluation

• Bestimmen Sie den Fokus der Evaluation unter Berücksichtigung des übergeordneten Projekt- bzw. Programmdesigns und -ablaufs
• Entwickeln Sie basierend auf den Zielen des Projekts bzw. Programms geeignete Untersuchungsfragen und messbare Leistungsindikatoren
• Bestimmen Sie eine passende Strategie für das Evaluationsdesign
• Bestimmen Sie, wie die Datensammlung erfolgen soll, unter Berücksichtigung des Bedarfs sowie der Verfügbarkeit

Evaluations-Fragen in Bezug zu Partizipation
Sie sollten sich fragen, ob Sie sich eher auf die Evaluation der (intrinsischen) Mobilisation und Partizipation der Stakeholder (v.a. Bürgerinnen und Bürger) konzentrieren wollen, oder eher auf die Effekte und Wirkungen der Partizipation in Hinblick auf Ihre Projektinhalte. Evaluationsfragen beinhalten häufig auch eher komplexe und qualitative Aspekte, z.B. ob ein Projekt die allgemeinen Bedürfnisse befriedigt oder was gut funktioniert hat und was nicht. „Insgesamt sollten Evaluationsfragen zu weiteren Aktionen führen wie beispielsweise Verbesserung, Ausrichtung oder Redesign“ 20, übersetzt eines aktuellen oder zukünftigen Projekts. Natürlich können diese Überlegungen auch auf Partizipationsprozesse selbst übertragen werden.

Evaluationsfragen in Bezug zu Partizipation
Quelle: Citizens’ Rail Projekt-Team basierend auf National Centre for Sustainability NCS & Swinburne University (2011), S. 3 (nach Davidson/ Wehipeihana 2010) und DeGEval – Gesellschaft für Evaluation 2008, S.15

Evaluations-Typen
Abhängig von Ihrem Evaluationsgegenstand und den Evaluationsfragen, die Sie sich stellen, müssen Sie sich entscheiden, welche(n) Evaluations-Typen Sie durchführen möchten. Lesen Sie den Bereich “How to evaluate?” für weitere Details zu passenden Evaluations-Typen.

• Führen Sie die Schritte zur Sammlung qualitativ hochwertiger Daten durch
• Nehmen Sie die Dateneingabe vor oder speichern Sie die Daten für die Analyse

Methoden, Indikatoren und Daten
Die Evaluation der Stakeholder-Partizipation erfordert spezifische Werkzeuge, die stark von der Form der Partizipation abhängen, die Sie für Ihr Projekt gewählt haben. Beachten Sie, dass Evaluation selbst einen ‚partizipativen‘ Effekt haben kann, z.B. durch Information noch nicht erreichter Stakeholder-Gruppen (vgl. Bereich How and when can stakeholders be involved in your railway project?). In diesem Sinne können die Werkzeuge sowohl als ‚Partizipations-‘ als auch als ‚Evaluations-‘ Instrumente verstanden werden; beispielsweise können Feedback-Karten Bürgerinnen und Bürger aktiv in einen Workshop einbinden, aber auch für die Bewertung des Workshops eingesetzt werden. Die nachfolgende Tabelle gibt Ihnen eine Übersicht über ausgewählte Methoden und Indikatoren, die Sie zur Evaluation verschiedener Partizipations-Werkzeuge und damit verbundene Ziele und Effekte nutzen können. (Hintergrundinformationen können Sie hier finden).

Partizipations- Tools, Indikatoren und Effekte (Beispiele)
Quelle: Citizens’ Rail Projekt-Team

• Analysieren Sie die Daten und interpretieren Sie die Ergebnisse so, dass Sie zum übergeordneten Evaluationsdesign passen (see Evaluation questions regarding participation table)

„Die Datenanalyse und –Interpretation kann von simplen deskriptiven Methoden bis hin zu hoch komplexen statistischen Methoden reichen. Die Wahl der Analysemethoden hängt von den Zielen der Evaluation, dem übergeordneten Evaluationsdesign, den/ dem gesammelten Datentyp(en), den Absichten der Evaluationsempfänger und dem Zeitplan des Evaluationsabschlusses ab.”¹⁶

• Entscheiden Sie, welche Ergebnisse kommuniziert werden müssen
• Bestimmen Sie geeignete Vorgehensweisen, um die Ergebnisse zu kommunizieren
• Bereiten Sie die Ergebnisse in geeigneter Form auf
• Verbreiten Sie die Ergebnisse

Nach Abschluss der Datenanalyse und –Interpretation ist es entscheidend, die Ergebnisse der gewünschten Zielgruppe zu präsentieren.

Mögliche Ergebnisse aus seiner Meta-Perspektive könnten sein:

• Aufdecken positiver/ negativer Aspekte des Partizipationsansatzes, z.B. Zufriedenheit
• Qualität des Partizipationsansatzes
• Eignung des Partizipationsansatzes hinsichtlich der Strategie bzw. Ziele
• Anzahl (nicht-) erreichter Stakeholder
• Typen (nicht-) erreichter Stakeholder

Mögliche aus der Ergebnisinterpretation abgeleitete Konsequenzen könnten sein:

• Anpassung der Partizipations-Form(en)
• Änderung der Partizipations-Intensität (mehr/ weniger)
• Anpassung von Ressourcen (mehr/ weiniger)
• Änderung der Stakeholder-Zusammensetzung (z.B. Einbeziehung nicht beteiligter)
• Anpassung des Evaluations-Ansatzes (z.B. stärkere Prozessorientierung)

Welche Ergebnisse kommuniziert werden hängt auch von den Empfängern ab. Machen Sie sich zunächst deutlich, wer die Empfänger Ihrer Information sind. Inhalt und Form werden variieren, z.B. wenn Sie eine Präsentation vor Geldgebern mit derjenigen vor Bürgerinnen und Bürgern vergleichen. Vielleicht halten Sie eine klassische Präsentation. Aber Sie könnten auch ein Poster erstellen oder einen Bericht schreiben.

Sie sollten den Empfängern auch die Gelegenheit einräumen, Feedback zu den Evaluationsergebnissen sowie deren Kommunikation geben. Machen Sie sich Gedanken über geeignete Formen zur Erfassung der Kommentare und Konsequenzen, z.B. als schriftliches Protokoll oder als Kommentarsammlung in Ihrem Evaluationsbericht.

Im Idealfall werden aus den Evaluationsergebnissen Schlussfolgerungen abgeleitet. Als Projektmanager sind Sie dafür verantwortlich, mit Ihren Stakeholdern die Konsequenzen der Evaluation zu diskutieren und zu bewerten, ob der Partizipationsprozess erfolgreich war. Vielleicht zeigt Ihre Evaluation geringere Zufriedenheit bei den Stakeholdern. Dann müssen Sie Ihren Partizipationsansatz substantiell ändern. Falls Sie eine Prozessevaluation durchführen, müssen diese Erkenntnisse in den nächsten Projekt- und Evaluationsschritten berücksichtigt und eingearbeitet werden. Falls Sie eine summative Evaluation durchführen, sollten diese Erkenntnisse der Ausgangspunkt für das nächste Projekt bzw. Programm sein.

¹ ‚Ergebnisse‘ (z.B. ‘tangible’ Faktoren wie Pläne und Berichte bis hin zu neuen oder verbesserten Linien oder Bahnhöfen) und ‚Wirkungen‘ (z.B. ‘intangible’ Faktoren wie verbesserte Beziehungen oder Entstehen von Vertrauen zwischen Teilnehmern; Lerneffekte) sind Kriterien für die Evaluation von Partizipationsprozessen. ‚Wirkungen‘ sind schwer zu messen, weshalb die Beispiele in der Tabelle hauptsächlich ‚Ergebnisse‘ beinhalten (basierend auf ¹⁹).

¹ ‚Ergebnisse‘ (z.B. ‘tangible’ Faktoren wie Pläne und Berichte bis hin zu neuen oder verbesserten Linien oder Bahnhöfen) und ‚Wirkungen‘ (z.B. ‘intangible’ Faktoren wie verbesserte Beziehungen oder Entstehen von Vertrauen zwischen Teilnehmern; Lerneffekte) sind Kriterien für die Evaluation von Partizipationsprozessen. ‚Wirkungen‘ sind schwer zu messen, weshalb die Beispiele in der Tabelle hauptsächlich ‚Ergebnisse‘ beinhalten (basierend auf ¹⁹).

Bitte beachten Sie: Bürgereinbindung und -beteiligung waren ein übergeordnetes Ziel des Citizens’ Rail Projekts. Dieser Abschnitt zeigt Beispiele, in denen die Einbindung selbst im Zentrum der Aktivitäten stand, wobei die Bahn als Möglichkeit für die Partizipation diente. Beispiele für die Partizipation in Bahnhofs- und Bahnlinienprojekten finden Sie weiter oben.

¹ ‚Ergebnisse‘ (z.B. ‘tangible’ Faktoren wie Pläne und Berichte bis hin zu neuen oder verbesserten Linien oder Bahnhöfen) und ‚Wirkungen‘ (z.B. ‘intangible’ Faktoren wie verbesserte Beziehungen oder Entstehen von Vertrauen zwischen Teilnehmern; Lerneffekte) sind Kriterien für die Evaluation von Partizipationsprozessen. ‚Wirkungen‘ sind schwer zu messen, weshalb die Beispiele in der Tabelle hauptsächlich ‚Ergebnisse‘ beinhalten (basierend auf ¹⁹).