Verstehen Sie den Hintergrund von Evaluation

Citizens‘ Rail Toolkit > Evaluieren Sie Ihren Erfolg > Verstehen Sie den Hintergrund von Evaluation

Verstehen Sie den Hintergrund von Evaluation

Warum evaulieren?
Evaluation erlaubt Ihnen spezifische Wirkungen im Hinblick auf ein vordefiniertes Ziel und den aktuellen Zustand zu messen. Sie vertieft das Verständnis gegenwärtiger Situationen, Prozesse und Strukturen und trägt zu deren zukünftiger Verbesserung bei.

Was ist Evaluation?
“Evaluation ist die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes.”¹¹. Dieser Definition folgend und den Bahnkontext berücksichtigend, verstehen wir Evaluation als systematischen Prozess der Datensammlung zur Erfolgsbewertung eines Bahnprojektes im Hinblick auf dessen Zielsetzung und zur Beantwortung der Frage, ob das Projekt einen Unterschied macht¹². Mögliche Gegenstände der Evaluation sind:

Evaluations-Gegenstand	Regionales Bahn-Beispiel
Produkt	Nutzung neuer Fahrzeuge; Einrichtung neuer Bahnverbindungen; Verbesserung der Taktfrequenz
Service	Modernisierung des Ticketing-Systems; Einstellung von zusätzlichem Personal an Bahnhöfen
Maßnahme, Aktion	Bahnhofssanierung gemeinsam mit Bürgern; Entwicklung einer OUTREACH und ENGAGEMENT Strategie
Projekt	Bau oder Verbesserung eines Bahnhofs; Entwicklung und Umsetzung eines neuen Marketing Konzepts
Partizipation, Governance, Organisation	Beteiligung von Bürgerinnen und Bürgern bei der Bahnlinien- oder Bahnhofsentwicklung; Einführung eines Diskussionsforums mit Bahn-Stakeholdern; Gründung eines ‚Community Rail Partnerships‘
Programm, Strategie	Anpassung einer regionalen Bahn-Finanzierungs-Strategie; Reformieren einer Strategie für den Öffentlichen Verkehr
Policy	Verabschiedung eines Bahn-Privatisierungsgesetzes; Änderung der Bahn-Regulierungsstrukturen
Technologie, Forschung	Nutzung mobiler Endgeräte für die Kundeninformation und das Ticketing; Nutzung von Online-Partizipationstools

Gegenstände der Evaluation
Quelle: Citizens’ Rail Projekt-Team “Standards für Evaluation”, DeGEval – Gesellschaft für Evaluation, 2008, p.15

Evaluation bringt ein eigenes Vokabular mit sich. Manchmal werden Definitionen verschiedener Begriffe unterschiedlich verwendet, was oft eher verwirrend als nützlich sein kann. Achten Sie deshalb auf eine einheitliche Begriffsverwendung in Ihrem Projekt. Hierbei soll Ihnen diese Tabelle helfen, die Sie mit einigen wichtigen Begriffen der Evaluation vertraut machen soll.

Wie evaluiert man?
Wenn Sie im Kontext Ihres Bahnprojekts eine Evaluation durchführen möchten, sollten Sie versuchen, Antworten auf die folgenden Fragen zu finden,¹³, die gleichzeitig verschiedene Typen der Evaluation repräsentieren:

1. Was und wozu (Anlass/ Grund)?

Diese Frage ist eng mit den oberen Abschnitten verknüpft (v.a. Gegenstände der Evaluation). Im Bereich “Railway projects, participation and evaluation- How do they relate to each other?” haben wir bereits erwähnt, dass Evaluation ein Teil des Bahnprojekt-Prozesses ist. Darüber hinaus wird Evaluation aber selbst in einem eigenen Prozess-Design durchgeführt (siehe Abbildung unten). Am Anfang sollten Sie sich die generellen Rahmenbedingungen Ihrer Evaluation verdeutlichen, z.B. was ihr spezifisches Ziel der Evaluation ist. Sobald die Durchführung der Evaluation näher rückt, müssen Ihre Fragen weiter ins Detail gehen, z.B. welche Informationen können mir Erkenntnisse zur Partizipation liefern, welche Daten muss ich dafür erheben, welche Methoden muss ich dabei anwenden? Bedenken Sie auch, wie Sie mit den Evaluationsergebnissen umgehen möchten: Werden sich aus der Evaluation irgendwelche umsetzbaren Konsequenzen für das Projekt ergeben? Ihr Evaluationsprozess könnte so aussehen:

Ablaufschema der Evaluation
Quelle: Citizens’ Rail Projekt-Team, basierend auf Nabatchi (2012)

2. Wann und warum (Gegenstände)?

Im Hinblick auf die ‚Wann‘-Frage wird häufig unterschieden zwischen ex-ante und ex-post Evaluationsansätzen. Abhängig von der spezifischen Zeitplanung Ihres Projektes ist es essentiell, herauszufinden, ob eine ex-post Evaluation von Maßnahmen bzw. deren Wirkungen möglich ist, nachdem diese abgeschlossen sind. Ansonsten kann ein ex-ante Ansatz vor Abschluss der Maßnahmen genutzt werden, um dem Ziel einer einer begleitenden Evaluation gerecht zu werden. Hinsichtlich der ‚Warum‘-Frage (Evaluationszweck) kann man in Kombination mit der ‚Wann‘-Frage zwischen formativen und summativen Evaluationen unterscheiden. Wie die folgende Abbildung zeigt, existieren zwischen diesen beiden eine Reihe weiterer Evaluations-Typen.

Typen der Evaluation
Quelle: National Centre for Sustainability NCS & Swinburne University (2011), S. 5 14: 5 (after Owen/ Rogers (1999); Government Social Research (GSR) Unit (2007), S.4f

3. Wie und womit (Methoden, Indikatoren, Daten)?

Im Normalfall impliziert die Evaluation im Bahnbereich einen starken Fokus auf quantitative und ausschließlich verkehrsbezogene Daten wie beispielsweise Fahrgastdaten, Einnahmen oder Kosten. Im Kontext der ‚bürgerorientierten‘ Bahn ist es lohnenswert, die Perspektive zu erweitern, um das Zusammenspiel der Gesellschaft und der lokalen Bahn zu verstehen. Deshalb ist es entscheidend, einen ‚gemischten‘ Methodenansatz zu entwickeln, der auch qualitative Aspekte berücksichtigt. Beispiele hierzu werden in anderen Abschnitten des Bereichs “Evaluate your Success” gegeben:

</p>
<div style="padding: 3px 5px 5px 10px; width: 370px; border: 2px solid #E75F86;">Lesen Sie mehr über Methoden, Indikatoren und Daten der Evaluation</div>
<p>

Back to the Evaluate Your Success page