Wirkung von Projekten
und Projektevaluierung
Adveniat fördert bevorzugt Projekte, bei denen die erwartete Wirkung beschrieben wird. Ziel der von Adveniat geförderten Projekte ist es, einen Wandel bei in Armut lebenden Menschen und/oder ihrem Umfeld zu bewirken und so ihre Lebenssituation zu verbessern.
Um die Wirkung der Projekte messen zu können, braucht es zunächst eine gute Projektbeschreibung. Diese enthält:
- Informationen, wer mit dem Projekt erreicht werden soll. Mit einem einzelnen Projekt kann nicht die ganze Welt gerettet werden, sondern erst mal nur die Situation für eine begrenzte Zahl von Menschen verbessert werden. Daher definieren die Partnerorganisationen gemeinsam mit Adveniat, wen das Projekt genau erreichen soll, zum Beispiel die Anzahl von X Migranten oder Y Frauen.
- Informationen über die Ausgangssituation. An dieser Stelle wird festgehalten, was den Menschen vor Beginn des Projekts fehlt, sodass sie in Armut leben müssen, ihre Teilhabe am gesellschaftlichen Leben eingeschränkt ist oder sie ausgebeutet werden.
- Informationen, was das Projekt konkret erreichen soll. Die Ziele werden nach der SMART-Methode (Spezifisch, Messbar, Attraktiv, Realistisch und Terminiert) definiert. Zum Beispiel sollen in drei Jahren 50 Prozent der Frauen, die am Projekt teilgenommen haben, ein kleines Unternehmen gegründet haben. Bei jedem Projektabschluss prüft Adveniat, ob die Projektziele erreicht wurden. Manche Zielerreichungen stellen sich allerdings auch erst viel später ein.
Um sinnvolle und realistische Ziele zu vereinbaren, braucht es eine gute Kommunikation mit den lokalen Partnerorganisationen. Herausforderungen sind dabei unter anderem kulturelle Unterschiede. Dort, wo das indigene Volk der Yanomami im brasilianischen Amazonasgebiet lebt, kann man beispielsweise kein Papier verwenden. Der Projektpartner, der mit Adveniat in Kontakt steht, erhielt von Jugendlichen aus diesem Volk mit Kameras aufgezeichnete Interviews und Informationen zum Projektgebiet, das mithilfe von GPS-Trackern vermessen und kartiert war.
Evaluierung von Projekten
Ein Mittel, um die Wirkung von Projekten zu messen, ist die Projektevaluierung. Jedes Jahr werden inkludiert in den Projekten Evaluierungen durchgeführt, aber auch durch Adveniat selbst externe Evaluierungen in Auftrag gegeben. Adveniat möchte dadurch die Partnerorganisationen stärken, die von den Empfehlungen im Gutachten profitieren.
Die externe Evaluierung orientiert sich an den Evaluierungskriterien der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) und betrachtet die Relevanz, Kohärenz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit der Projekte.
Relevanz bezieht sich auf die Frage, ob das Projekt wichtige Probleme angeht, ob die geplante Wirkung nachvollziehbar ist und ob die Zielgruppe berücksichtigt wurde.
Kohärenz bezieht sich auf die Frage, ob das Projekt zu anderen Maßnahmen innerhalb und außerhalb Adveniats in dieser Region und in diesem Bereich passt beziehungsweise diese ergänzt.
Effektivität bezieht sich auf die Frage, ob mit dem Projekt die richtigen Ziele verfolgt und erreicht werden.
Effizienz bezieht sich auf die Frage, ob die richtigen Maßnahmen gewählt werden, um die Ziele zu erreichen und ob der Aufwand in einem angemessenen Verhältnis zum Ergebnis steht.
Wirkung bezieht sich auf die Frage, welche Veränderungen es durch die Projektmaßnahmen gibt.
Nachhaltigkeit bezieht sich auf die Frage, ob die positiven Veränderungen langfristig anhalten und ob die Zielgruppe die Entwicklung fortführen kann.
Für die Evaluierung werden meist Projekte ausgewählt, die aussagekräftig für weitere Projekte sind. Eine Rolle spielt auch, ob es sich beispielsweise um Projektpartnerinnen und -partner handelt, die schon lange von Adveniat gefördert werden. Mittels Evaluierungen kann man nämlich prüfen, ob man mit der Förderung noch auf einem guten, das heißt wirkungsvollen Weg ist. Zudem handelt es sich meistens um Projekte, die bereits seit einiger Zeit abgeschlossen sind, da sich die langfristige Wirkung unter Umständen erst einige Zeit nach Abschluss des Projekts einstellt.
Für die Evaluierung beauftragt die Partnerorganisation in Absprache oder Adveniat direkt externe Fachleute. Sie sind unabhängig von der Partnerorganisation und von Adveniat und können das Projekt oder die Projekte unabhängig bewerten. Außerdem bringen sie eine frische Perspektive mit und decken so eher Probleme auf, die intern möglicherweise übersehen werden. Meistens handelt es sich um Gutachterinnen und Gutachter aus Lateinamerika, da es dort ebenfalls sehr gut qualifizierte Fachleute gibt.
Zunächst legt Adveniat mit dem Gutachter oder der Gutachterin sowie der Partnerorganisation in einem Referenzrahmen fest, worin das Erkenntnisinteresse besteht und welche konkreten Fragen durch die Evaluierung beantwortet werden sollen. Dabei sind die in den Anträgen formulierten Ziele und Indikatoren wichtig.
Vor Ort werten die Gutachterinnen oder Gutachter zunächst Dokumente aus, darunter Projektanträge sowie Berichte über den Projektverlauf und -abschluss. Dabei suchen sie nach quantitativen Aussagen, etwa wie viele Personen durch das Projekt ein Kleinunternehmen gegründet haben. Um qualitative Fragestellungen zu beantworten, werden in der Regel Interviews geführt. Dabei stellen Gesprächsleitfäden sicher, dass die gleichen Fragen gestellt und die Antworten verglichen werden können – beispielsweise was die Personen im Projekt erlebt haben, was sich für sie verbessert hat und woran sie die Verbesserung festmachen. Solche Fragen lassen sich nicht durch reine Zahlen beantworten. Eine Evaluierung in Kolumbien hat zum Beispiel ergeben, dass sich die Situation von Frauen vor allem da verbessert hat, wo Männer stark im Projekt eingebunden waren und an den Aktivitäten teilnahmen.
Der Gutachter oder die Gutachterin verfasst auf Basis dieser Informationen einen Evaluierungsbericht, der Adveniat und der Partnerorganisation vorgelegt wird. Von Auftragsvergabe bis zum Abschluss dauert die Evaluierung etwa drei bis sechs Monate.
Im Gespräch mit der Partnerorganisation werden die Beobachtungen und Empfehlungen der Evaluierung besprochen und weitere Schritte geplant. Die Zusammenfassung des Evaluierungsberichts wird sowohl dem Projektpartner als auch Adveniat vorgelegt.
Manchmal zeigt sich bei der Evaluierung, dass ein Projekt nicht so wirksam war wie erwartet. Ist das der Fall, analysiert Adveniat mithilfe des Gutachtens, was die Gründe für die geringe Wirksamkeit waren. Anschließend wird entschieden, ob ein Folgeprojekt sinnvoll wäre.
