Evaluation | Foto: Bits and Splits/Fotolia.com

Was wirkt, wenn etwas wirkt

Evaluation ist besonders en vogue, wenn es öffentliche Auftraggeber für Projekte gibt. Thomas Fenzl und Stella Lemke (Zentrum für Evaluation und Forschungsberatung des Instituts für Psychologie) führen solche Evaluationsprojekte durch. Kürzlich wurden von den beiden die Wirkungen des baden-württembergischen Präventionskonzepts „stark.stärker.WIR.“  erhoben und die Ergebnisse vorgestellt.

Allerorten wird evaluiert, so scheint es. Was passiert in dem Bereich und worin liegt Ihr Fokus?

Fenzl: Es gibt viele private Anbieter, die in diesem Feld tätig sind. Das Angebot reicht von recht schnell erstellten Gutachten bis hin zu großen Studien, die häufig von großen Instituten mit hohem personellem Einsatz durchgeführt werden. Unser Zugang versteht sich als partizipative Evaluation, das heißt, wir gehen stark in das Feld, das es zu evaluieren gilt, hinein und holen uns die Informationen von Beteiligten und Stake-Holdern. Dadurch können wir vorhandene Erfahrungen und Expertise zusammentragen und einen möglichst ganzheitlichen Blick auf den Evaluationsgegenstand bekommen.

Welche Werkzeuge kommen dabei zum Einsatz?

Lemke: Wir setzen in einem Bausteinprinzip sowohl qualitative als auch quantitative Methoden ein, verfolgen also ein Mixed Methods Design in der Evaluation. Fragebögen, Interviews, Fokusgruppen usw. kommen demzufolge zum Einsatz. Daraus soll sich ein Gesamtbild mit Handlungsempfehlungen zeichnen lassen.

Kann man damit aufzeigen, ob Maßnahmen wirken oder nicht?

Fenzl: Oft wird davon ausgegangen, dass es eine Vorher-Situation und eine Nachher-Situation mit einer dazwischen geschalteten Maßnahme gibt. Dabei geht man davon aus, dass man auf diese Weise entscheiden kann, ob etwas gewirkt hat oder nicht. Uns ist aber wichtig, dass die Wirkung nicht nur von der Maßnahme selbst abhängt, sondern auch davon, wie sie implementiert wird. Erst wenn man einen intensiven Blick darauf wirft, erhält man Informationen darüber, warum es zu einer Wirkung oder eben zu keiner Wirkung kommt.

Entscheidet Ihre Arbeit häufig über Weiterbestehen oder das Einstellen von Maßnahmen?

Lemke: Bei summativen Evaluationen ist dies der Fall: Da entscheidet die Evaluation über Erfolg oder Nicht-Erfolg. Meistens führen wir aber, und das ist auch vom Auftraggeber häufig erwünscht, formative Evaluationen durch. Das heißt, wir messen Wirkungen, geben dann ein Feedback an das System und stoßen damit auch Veränderungen an, deren Auswirkungen sich wiederum messen lassen. Hier geht es mehr um eine Weiterentwicklung der Programme.

Haben Sie einen inhaltlichen Fokus, welche Programme Sie evaluieren?

Lemke: Ja, wir sind hauptsächlich im Gesundheits-, Bildungs- und Sozialbereich tätig. Uns ist es also wichtig, dass diese Projekte auch einen gesellschaftlichen Wert haben. Und wir wollen mit unseren Fragestellungen eine gewisse Tiefe und Ganzheitlichkeit in unserem Blick auf die Projekte haben.

Wie ziehen Sie Ihre Projekte an Land?

Fenzl: Es gibt immer wieder öffentliche Ausschreibungen, wo wir uns bewerben. Bei unserem letzten Projekt in Baden-Württemberg gab es zehn Mitbewerber, unter anderem auch von namhaften deutschen Universitäten. Das Projekt war dann auch sehr groß aufgezogen, mit rund 14.000 Fragebögen und 220 Fokusgruppen, die wir geleitet und ausgewertet haben. Auf lokaler und nationaler Ebene, wie beispielsweise bei den Volkshochschulen Kärnten, der Kärntner Landesregierung oder auch einzelnen Bundesministerien, braucht es auch eine entsprechende Vernetzung.

Machen Sie auch Forschung über Evaluation?

Fenzl: Wir machen beides. Unsere Auftraggeber interessieren sich für unsere Dienstleistung, also entweder eine Evaluation oder eine wissenschaftliche Studie. Wir arbeiten daneben aber auch zu Methoden in der Evaluationsforschung, mit einem Schwerpunkt in der Erforschung von Möglichkeiten der Kombination und Integration qualitativer und quantitativer Vorgehensweisen, bzw. bieten Beratungsleistungen für andere Projekte an, die Methodenunterstützung benötigen.

 

Zu den Personen

Thomas Fenzl ist stellvertretender Leiter des Zentrums für Evaluation und Forschungsberatung am Institut für Psychologie. Stella Lemke arbeitet dort als wissenschaftliche Projektmitarbeiterin.