Читать книгу: «evaluiert (E-Book)»

4 Bestimmung des Evaluationsgegenstandes

Bestimmung von Evaluationsgegenstand und dessen Zielen

Zu Beginn des Evaluationsprozesses müssen der Evaluationsgegenstand und dessen Ziele bestimmt werden. Dieser Sachverhalt gilt unter Expertinnen und Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.176).

Zu einem Evaluationsgegenstand kann alles Mögliche werden

Am Anfang scheint es ganz einfach: Eine Bildungsmaßnahme soll evaluiert werden. Doch was bedeutet das konkret? In der Evaluationsliteratur werden viele potenzielle Evaluationsgegenstände aufgezählt: Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und eröffnen der Evaluation damit ein sehr breites Tätigkeitsfeld. Westermann (2002, S.7) nennt Maßnahmen, Interventionen, Programme, Produkte, Methoden, Systeme, Pläne, Umgebungsfaktoren und Personen. Die DeGEval-Standards zählen Programme wie z.B. Projekte, Maßnahmen und andere Interventionen, Organisationen, Produkte sowie Evaluationen selbst auf (DeGEval – Gesellschaft für Evaluation e.V., 2016, S.25). Wie weiter oben (➞ Kapitel 2.1) beschrieben, weitet Scriven (1981, S.4) das potenzielle Tätigkeitsfeld noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem potenziellen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt bringen es auf den Punkt: «Alles kann evaluiert werden» (1990, S.15). Und das ist, selbst wenn man den Blick «nur» auf die Bildung richtet, eine ganze Menge.

Der Evaluationsgegenstand muss konkret bestimmt werden

Für eine konkrete Evaluation muss eine gut begründete Eingrenzung vorgenommen und der tatsächliche Evaluationsgegenstand detailliert beschrieben werden. Zunächst scheint dies eine leichte Aufgabe, denn der Wunsch nach Informationen über den Evaluationsgegenstand geht im Regelfall einer Evaluationsbeauftragung voraus. Demzufolge haben Auftraggebende zumindest eine grobe Vorstellung vom Gegenstand, also «innere Bilder» von der Bildungsmaßnahme und auch Ideen, was davon beschrieben und bewertet werden soll; doch reicht dies nicht aus. Deswegen müssen sich die Evaluierenden – mithilfe der Auftraggebenden und auch anderer Quellen – Klarheit über den Evaluationsgegenstand verschaffen.

Wie bestimmt man einen Evaluationsgegenstand?

Um einen Evaluationsgegenstand im Bereich der Bildung zu bestimmen, ist als Erstes eine kurze, aber schriftlich festgehaltene, auch für Außenstehende nachvollziehbare Erstbeschreibung des zu evaluierenden Bildungsangebotes auf Basis der und mit Verweis auf die Programmunterlagen zu erstellen.

Merkmale des Evaluationsgegenstandes

Relevante Beschreibungsdimensionen sind dabei:

❙ Name, Träger, Abschlusstyp

❙ Initiatoren, Verantwortliche, Mitarbeitende und deren Qualifikationen, Nutznießende

❙ Ziele (z.B. Lehr- und Lernziele, aufzubauende Kompetenzen)

❙ fachwissenschaftliche Bezüge

❙ Inhalte bzw. Themen (z.B. im Zusammenhang mit Durchführungsplänen, Medien und Materialien, Lehrmitteln)

❙ Elemente (Präsenzveranstaltungen, begleitete und unbegleitete schriftliche Arbeiten, selbst gesteuertes Lernen, Prüfungen etc.)

❙ didaktische Prinzipien und Methoden sowie wichtigste vorgesehene (Lehr-)Interventionen

❙ Umfang (Dauer, Kontaktstunden, Workload z.B. in ECTS-Leistungspunkten) und Preis

❙ zur Verfügung stehende Ressourcen (u.a. Kompetenzen von Mitarbeitenden, Finanzen)

❙ Kennzahlen (z.B. Anzahl Teilnehmende, realisierte Teilnehmendenstunden/-tage, Anzahl und Art der Abschlüsse, Abbruchquoten und -gründe, Umsatzzahlen)

❙ «History» (Veränderungen z.B. bezüglich Rechtsgrundlagen oder Zielen/Inhalten/Workload sowie Darstellung überwundener Schwächen früherer Durchführungen)

❙ Besonderes (z.B. Kooperationen, Wettbewerbsposition)

Wenn Informationen zu einem wichtigen Punkt fehlen und sie nicht mit geringem Aufwand (z.B. Experteninterview mit der Programmleitung) zu beschaffen sind, ist dies festzuhalten.

Teil- oder Gesamtevaluation?

Zur Bestimmung des Evaluationsgegenstandes gehört in einem zweiten Schritt, dass festgestellt wird,

❙ ob die gesamte Bildungsmaßnahme Gegenstand der Evaluation wird, oder

❙ ob Teile davon als Evaluationsgegenstand vereinbart werden.

Oft wird stillschweigend davon ausgegangen, dass eine Gesamtevaluation vorgenommen wird. Man muss sich jedoch fragen, ob dies sinnvoll und leistbar ist:

❙ Beim Evaluationszweck (➞ Kapitel 6.1) Rechenschaftslegung wird oft eine Gesamtbetrachtung angemessen sein.

❙ Wenn es um Verbesserung geht, kommt es darauf an, ob man bereits im Vorhinein stabile, reife Programmelemente einerseits und instabile, optimierungsbedürftige Elemente andererseits unterscheiden kann. Ist dies der Fall, wird man die Evaluation auf die kritischen Teile fokussieren.

❙ Bei Bildungsmaßnahmen mit langen Laufzeiten ist eventuell eine Beschränkung auf Phasen sinnvoll oder – aus Ressourcengründen – erforderlich.

Wenn die Entscheidung – was oft der Fall sein wird – auf eine Teilevaluation fällt, muss der fokussierte Teil intensiver beschrieben werden als die Gesamtmaßnahme. Außerdem muss die Gegenstandsbeschreibung die Grenzen des fokussierten Gegenstandes markieren.

➞ Lösung auf Seite 233

Ziele des Evaluationsgegenstandes

Der nächste Schritt ist, die Zielsetzungen des Evaluationsgegenstandes genau zu identifizieren (wohlgemerkt: Es geht hier nicht um die Zwecke der Evaluation – ➞ Kapitel 6.1 –, sondern um die Ziele des Evaluationsgegenstandes). Die Ziele des Evaluationsgegenstandes sind ausschlaggebend dafür was in der Evaluation im Detail untersucht werden muss. Oft geht es darum, zu überprüfen, in welchem Maße diese Ziele erreicht werden – dazu mehr in ➞ Kapitel 6.

BEISPIEL 2

Ein wichtiges Ziel von IT-Schulungen ist: Die Teilnehmenden verfügen am Ende der Schulung über klar definiertes Wissen und Können zu einem bestimmten Bereich der IT. Idealerweise können sie nach Abschluss der Schulung auf Basis dieses Wissens und der erworbenen Fertigkeiten reale Probleme im beruflichen oder privaten Kontext lösen. Ein weiteres Ziel kann darin bestehen, dass Mitarbeitende an ihrem Arbeitsplatz motiviert sind, sich neues IT-Wissen und Können selbst oder in Peer-Gruppen anzueignen. Ein anderes Ziel kann sein, Mitarbeitende von vielen weit entfernten Standorten zusammenzubringen, damit sie sich (besser) kennenlernen und zukünftige Kommunikationskanäle leichter genutzt werden. Der eigentliche Lerninhalt würde dabei in den Hintergrund treten. Wenn eine Firmenschulung mehrere Ziele verfolgt – z.B. Lernzuwachs, Motiviertheit zum Selbstlernen und Verbesserung der Firmenkommunikation –, sind diese bereits in dieser frühen Phase der Evaluation zu identifizieren, damit alle folgenden Schritte darauf zugeschnitten werden können.

Relevante und geklärte Ziele sind Voraussetzung sowohl für gelingende Bildungsprogramme als auch für nützliche Evaluationen. Diese Aufgabe gehört nicht originär zur Evaluationstätigkeit, sondern vorrangig in den Bereich der didaktischen Planung. Lernen kann danach «als die kompetenzbildende Aneignung von Kenntnissen, Fähigkeiten und Fertigkeiten bezeichnet werden», was beiläufig als «funktionales Lernen» in informellen Settings wie auch absichtsvoll als «intentionales Lernen» stattfinden kann (Arnold & Gómez Tutor, 2007, S.63). Evaluation interessiert sich vorrangig für intentionales Lernen, das im Rahmen von Bildungsprogrammen und -kursen stattfindet.

Ein allgemeines Leitziel von Lernen

Allgemein kann man sagen: «Lernen ist gelungen, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integration erhöht hat. Das heißt, Lernen erweitert die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen. Gelungenes Lernen ist ein Lernen, das der Lernende selbst wertschätzt […]» (Zech, 2008, S.18).

Ziele im Konzept und der Weg zur Zielerreichung

Die Ziele einer Bildungsmaßnahme und die Wege dorthin sind – in der Regel schriftlich – in einem Programmkonzept niedergelegt. Unter einem Konzept wird ein gedanklicher Entwurf der Programmverantwortlichen verstanden: Mithilfe welcher Lehrinterventionen und Lehr-Lern-Arrangements, welcher Lehr-Lern-Methoden, Materialien und Medien, anschließend an welche bereits vorhandenen Kompetenzen sollen welche Outcomes bis wann, wo und bei wem ausgelöst werden? Interventionen von Lehrenden können dann einen Beitrag zu gelingendem Lernen leisten, wenn sie schlüssig in ein genügend, aber auch nicht zu komplex gestaltetes Konzept eingebettet sind.

Bezüglich des Konzeptes von Bildungsmaßnahmen haben Evaluierende die Aufgabe, es auf Stringenz und Kohärenz der Ziele und vorgesehenen Aktivitäten zu untersuchen («Konzeptevaluation»). Kernbestandteil eines Konzeptes ist ein expliziertes und systematisch gegliedertes Zielsystem. Evaluationsfragestellungen können ebenso wie Bewertungskriterien darauf bezogen werden. Damit ist nicht gesagt, dass sich Evaluation immer und ausschließlich auf diese Ziele beziehen soll. Auch wenn die Ziele in hohem Maße erreicht werden, kann es sein, dass die unvorhergesehenen, nachträglich als negativ eingeordneten Nebenresultate des Programms in einer Gesamtbewertung so stark zu Buche schlagen, dass das Bildungsprogramm insgesamt negativ zu bewerten ist. Um Nebenresultate zu entdecken, muss man ein besonderes Augenmerk auf diese richten. In der «goal-free evaluation» (Scriven, 1991a), der zielfreien Evaluation, wird dies explizit versucht, indem alle Auswirkungen eines Evaluationsgegenstandes erfasst werden, ohne dessen Ziele zur Kenntnis zu nehmen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative, nicht beabsichtigte Resultate zu übersehen. Außerdem kann es angemessen sein, bei der Bewertung auch die Relation zu den Kosten zu berücksichtigen. Eventuell gibt es zur Erreichung der Ziele preisgünstigere, qualitativ aber vergleichbare Alternativen.

Zielklärung

Patton (2012, S.204) behandelt das Thema «Ziele» ausführlich. Er weist darauf hin, dass Programmziele für die Evaluation zentral wären, viele Programme aber über keine befriedigend formulierten Ziele verfügten. Evaluierende geraten deswegen in die herausfordernde Situation, mit den Programmverantwortlichen oft erst noch Ziele klären zu müssen, um mit systematischem Evaluieren überhaupt beginnen zu können. Damit dies nicht zu einem unbefriedigenden, da nicht zu Ergebnissen führenden «Zielklärungsspiel» (goal clarification game) führt, müssen Evaluierende über das Handwerkszeug der Zielklärung verfügen. Patton (2012, S.215ff.) konkretisiert dies mit den folgenden zehn Prinzipien für bedeutsame und nützliche Ziele:

1) Identifiziere solche Outcomes, die für diejenigen relevant sind, die die Arbeit im Programm tun.

2) Unterscheide klar zwischen Outcomes und Aktivitäten.

3) Spezifizieren ist ausschlaggebend. Spezifische Outcomes haben mehr Orientierungskraft.

4) Jedes Ziel sollte nur einen einzigen Outcome beinhalten.

5) Outcome-Formulierungen sollen leicht verständlich sein.

6) Schriftlich fixierte Ziele sollen sich auf die wichtigsten Programm-Outcomes beschränken.

7) Halte gewünschte Outcomes getrennt von den Wegen, auf denen sie erreicht werden sollen.

8) Unterscheide klar Ziele von Indikatoren sowie von Kriterien und Kriterienpunkten bzw. Schwellenwerten, ab denen ein befriedigendes Resultat erreicht ist. (➞ Kapitel 7)

9) Kopiere nicht einfach die Ziele von anderen, sondern rege die Beteiligten und Betroffenen an, eigene Ziele in eigener Sprache zu formulieren.

10) Halte die Aufmerksamkeit auf die zu erreichenden Resultate während des gesamten Programmverlaufes hoch.

Ein Programmkonzept kann an verschiedenen Zielarten ausgerichtet werden. Bei der Zielfindung und -klärung geht es oft zentral um die Frage, was die erwünschten Zustände sind, die bei Teilnehmenden durch bestimmte Interventionen oder Aktivitäten ausgelöst werden sollen.

Je nachdem, ob Ziele eines größeren Programms (z.B. eines Studiengangs) oder einer kurzen, einige Stunden umfassenden Maßnahme ausgewiesen werden sollen, müssen unterschiedlich viele Ziele formuliert sein. Die Gesamtzahl der Ziele muss – um Evaluierbarkeit zu erreichen – in einem überschaubaren Rahmen bleiben; eventuell müssen Prioritäten gesetzt werden. Sowohl für große als auch für fokussierte Evaluationsgegenstände kann das nachfolgend dargestellte dreigegliederte Zielsystem (Beywl, Bestvater & Friedrich, 2011, S.42–48; Beywl & Schepp-Winter, 2000) hilfreich sein, um Ziele systematisch zu klären. Es hat sich in der Zusammenarbeit zwischen Evaluierenden und Programmverantwortlichen bewährt und kann als Werkzeugkasten für die Zielklärung genutzt werden. Diese Gliederung ist eine Art Arbeitshilfe, um sowohl «visionäre Leitziele» (Zech, 2008, S.24) als auch messbare Detailziele formulieren zu können. Für eine Anwendung des dreigegliederten Zielsystems auf ein Bildungsnetzwerk mit einer ausführlichen Darstellung des Vorgehens sei auf Schmidt (2016) verwiesen.

Abbildung 2: Steuerungsfunktion des Zielsystems (in Anlehnung an Beywl & Schepp-Winter, 2000)

Leitziel

Ein Leitziel gibt die Grundausrichtung einer Organisation, eines Programms oder einer Bildungsmaßnahme an und ist längerfristig gültig. Es drückt zugrunde liegende Werte und Normen aus und gibt den Bereich an, auf den sich die Aktivitäten des Programms ausrichten sollen. Leitziele können Teil eines Leitbildes, der Philosophie einer Organisation oder von Grundkonzeptionen sein. Sie sind wegen ihrer Allgemeinheit und ihres übergeordneten Charakters nur schwer bis gar nicht operationalisierbar, dienen aber als Ausgangspunkt für die Festlegung überprüfbarer Detailziele.

Mittlerziel

Ein Mittlerziel verbindet die Ebenen der Leitziele und der Detailziele. Das Mittlerziel konkretisiert das Leitziel, indem es bestimmte Teilbereiche näher beschreibt. Im Gegensatz zum Leitziel enthält es bereits operationalisierte Elemente.

Detailziel

Ein Detailziel beschreibt präzise den Zielzustand, der durch bestimmte Interventionen erreicht werden soll. Es ist konkret, überprüfbar, zeitlich festgelegt und realistisch. Ein Detailziel ist operationalisiert und empirisch überprüfbar. Bei Bildungsmaßnahmen sind dies oft Lernziele im Sinne von Outcomes.

BEISPIEL 3

Nachfolgend findet sich ein Ausschnitt aus einem Zielsystem, das für ein Weiterbildungsangebot zum Thema «Evaluation» an einer Hochschule gelten könnte.

Leitziel der Weiterbildungseinrichtung einer Hochschule:

«Wir fördern die berufliche und persönliche Entwicklung der Teilnehmenden unserer Studiengänge, Kurse, Veranstaltungen und Alumninetzwerke.»

Mittlerziel für eine wissenschaftliche Weiterbildung in Evaluation:

«Die Teilnehmenden erwerben ein grundlegendes Verständnis für den Zusammenhang zwischen Evaluationszweck, Evaluationsfragestellungen, Evaluationsmodellen und empirischen Methoden.»

Detailziel für eine Teilsequenz dieses Weiterbildungsangebots:

«Die Teilnehmenden können die Begriffe ‹Evaluationszweck› und ‹Programmziel› in eigenen Worten erläutern und begründen, weshalb es für eine klare Evaluationsplanung relevant ist, beide Begriffe und Sachverhalte stets auseinanderzuhalten.»

Je nach Dauer und Größe eines Programms (z.B. gemessen in Finanzumsatz oder lokaler Verortung) fallen die Formulierungen auf den drei Ebenen unterschiedlich konkret aus: Leitziele können noch allgemeiner, Detailziele noch spezifischer formuliert werden. Die dargestellten zehn Prinzipien von Patton gelten für Detailziele im Konkretisierungsgrad des Beispiels. Werden diese noch spezifischer und handlungsleitend für konkrete Aktivitäten auf der Mikroebene, können sie auch mit Indikatoren operationalisiert sein und Kriterienpunkte bzw. Schwellenwerte enthalten (Abweichung von Prinzip 8).

Perspektivenwechsel bei der Zielbestimmung

Die konkrete Zielbestimmung ist zudem herausfordernd, wenn die Perspektive gewechselt wird, aus der man auf einen Evaluationsgegenstand schaut (was immer, zumindest probehalber, getan werden sollte).

BEISPIEL 4

Wird der Evaluationsgegenstand IT-Schulung aus der Sicht von Verantwortlichen einer Fortbildungsinstitution betrachtet, so kann der Lernerfolg einer gesamten Lerngruppe im Vordergrund stehen. Aus der Warte eines einzelnen Teilnehmenden kann dessen Lernerfolg (oder der einer bestimmte Teilgruppe) viel wichtiger sein, sodass Fragen der individuellen oder gruppenspezifischen Wirkungen einer Schulung in den Vordergrund rücken. Ist der Auftraggeber einer IT-Schulungsevaluation ein Verlag, der IT-Schulungsmaterialien zur Verfügung stellt, so kann sich der Fokus erneut verändern. Zwar ist auch hier Lernerfolg wünschenswert, aber es geht stärker um Einführungs- und Nutzungsbedingungen sowie die Bewertung der Materialien.

Intendierte Ziele des Evaluationsgegenstandes sowie ungewollte und unerwartete Resultate

Wie weiter oben schon beschrieben, ist darauf zu achten, dass eine ausschließliche Bestimmung der intendierten Ziele des Evaluationsgegenstandes zu kurz greift. Darüber hinaus müssen auch Vorstellungen über ungewollte und unerwartete Resultate sowie unerwünschte, aber bekannte Nebenresultate entwickelt werden.

BEISPIEL 5

Eine erfolgreiche Vermittlung von IT-Wissen als ein wichtiges Ziel einer IT-Schulung kann von vielen erwünschten wie auch unerwünschten/unvorhergesehenen Folgen begleitet werden. Handelt es sich bei einem Schulungszentrum z. B. um eine firmeninterne Fortbildungsinstitution, kann sich das Qualifikationsgefüge innerhalb der Firma dergestalt verschieben, dass Gehaltsbegehrlichkeiten geweckt werden, dass neuer Schulungsbedarf hinsichtlich einer Vertiefung des Gelernten entsteht, dass Schulungsbedarf für die noch nicht geschulten Mitarbeitenden gefordert wird oder dass für bestimmte Arbeitsbereiche ein Mangel an Fachkräften resultiert, da sich diese für andere Tätigkeiten weiterqualifiziert haben. Ein schlecht geplantes Fortbildungsprogramm kann die gesamte Organisationsstruktur eines Betriebes durcheinanderbringen. Eventuell kann dieselbe ebenfalls in den Fokus einer Evaluation geraten, wenn die Schulung betreffende Zufriedenheitsaspekte eine Rolle spielen. So mögen Teilnehmende zwar viel gelernt haben, was einem wichtigen Ziel der Schulung entspräche, aber gleichzeitig kann eine Reihe neuer Probleme auftauchen und eine sich in der Evaluation widerspiegelnde Unzufriedenheit erzeugt werden. Darüber hinaus kann eine langweilige Schulung demotivierend statt motivierend wirken, oder Streit zwischen Teilnehmenden kann Kommunikationskanäle nicht öffnen, sondern für lange Zeit verschließen. Und was würde ein Bildungsträger sagen, wenn das eingesetzte Schulungsmaterial derartig gut wäre, dass niemand mehr eine Schulung bucht, dafür aber jeder das Begleitheft erwirbt?

Unübersichtlichkeit bei komplexen Evaluationsgegenständen

Die Erstbeschreibung und das Zielsystem sind Kernelemente einer Gegenstands- oder Programmbeschreibung. Bei größeren, auf längere Zeit angelegten Bildungsmaßnahmen können beide so zahlreiche Daten und Informationen so liefern, dass diese sowohl für die Programmmitarbeitenden als auch für die Evaluierenden schwer zu fassen sind und die Programmbeschreibung unübersichtlich werden kann.

Logische Modelle als Visualisierungen von Evaluationsgegenständen

Um dieser Herausforderung zu begegnen, sind textlich-visuelle Darstellungen entwickelt worden, welche es ermöglichen, die wesentlichen Bestandteile des Programms und ihre Hauptverbindungen auf einen Blick zu sehen. In der Evaluationsfachsprache werden diese als «Logische Modelle» bezeichnet. Der Begriff bringt zum Ausdruck, dass ein (vereinfachtes) Abbild des Programms «modelliert» wird, und dass die gedachte Logik der Abläufe oder des Ineinandergreifens der Programm-Elemente sichtbar gemacht werden soll. Hoch gegriffen kann auch von der «Wirklogik» des Programms gesprochen werden, wobei eine solche Bezeichnung zusätzlich theoretisch begründete und empirisch bewährte Aussagen über die Wirkmechanismen erfordert, welche dazu führen, dass die Interventionen (unter bestimmten, anzugebenden Bedingungen) die angestrebten Zielzustände tatsächlich auslösen. Solche im Vergleich zu Logischen Modellen anspruchsvolleren «Programmtheorien» schließen deren wesentliche Elemente mit ein und sind dabei umfassender und differenzierter ausgearbeitet. Insbesondere werden die für den gedachten Programmablauf und die Verbindungen zwischen den Programmelementen relevanten Annahmen expliziert. Solche Wirkmechanismen werden möglichst durch vorliegende Forschungs- oder Evaluationsergebnisse bzw. für den Evaluationsgegenstand einschlägige Theorien begründet (vgl. Giel, 2013; Haubrich, 2009).

Giel (2013, S. 230) schreibt dazu: «Außerdem ist auch bestehendes Wissen einzubeziehen und auf bereits überprüfte Hypothesen zurückzugreifen. Eine Strategie, die oftmals vernachlässigt wird.» Dabei bieten auf den Bildungsbereich spezialisierte Online-Forschungsdatenbanken leichten Zugang zu einschlägigen Berichten und Fachartikeln. Beispielsweise genannt seien der Deutsche Bildungsserver, das Fachportal Pädagogik und pedocs für Deutschland, die Datenbank der Schweizerischen Koordinationsstelle für Bildungsforschung in der Schweiz, schule.at in Österreich, Eurydice für die EU und das Education Resources Information Center ERIC für den englischsprachigen Raum.

Neben Logischen Modellen und Programmtheorien existieren weitere Wirkmodelle. Balthasar und Fässler (2017) vergleichen z. B. «Logic Model», «Theory of Change» und den «realistischen Evaluationsansatz» miteinander.

Ein sehr einfaches Logisches Modell nutzt Michael Patton in seinen Workshops und Präsentationen. Ein Programm kann stark vereinfacht mit drei Elementen dargestellt werden:

Ein einfaches Logisches Modell für die Planungsphase des Programms

Abbildung 3: Einfaches Logisches Modell nach Patton in der Planungsphase des Programms

Bei Bildungsprogrammen ist die Ausgangslage oft dadurch charakterisiert, dass die Lerneingangssituation bei den Zielgruppen des jeweiligen Bildungsprogramms (IST) gegenüber den gesellschaftlich, von den Finanzierenden des Bildungsprogramms oder von den Teilnehmenden selbst gesetzten Zielen (SOLL) eine Lücke aufweist. Diese wird auch als «Bildungsbedarf» bezeichnet. Um diese Lücke zu schließen oder zumindest zu verkleinern, werden Interventionen geplant – also Bildungsmaßnahmen mit auf die Ziele zugeschnittenen Inhalten und Methoden. Eine wichtige Voraussetzung für einen Programmerfolg ist, dass die drei Elemente gut aufeinander abgestimmt sind, wofür die Programmverantwortlichen ihr Fachwissen zum jeweiligen Bildungsgebiet sowie pädagogisches Fachwissen (u.a. Lerntheorien, didaktische Theorien) einsetzen. Evaluation hat hier die Aufgabe, die Passung der Ziele auf die Bedarfe, die Passung der Interventionen auf die Ziele und die Gesamtkonsistenz des Programmkonzeptes samt seiner grundsätzlichen Umsetzbarkeit zu beschreiben und zu bewerten (vgl. proaktive und klärende Evaluation in ➞ Kapitel 6.1.1)

Ein einfaches Logisches Modell für die Realisierungsphase des Programms

Mit der Umsetzung der Interventionen werden (insbesondere intendierte, also den Zielen entsprechende) Resultate erzielt. Damit verändert sich die Darstellung in Bezug auf das dritte Element:

Abbildung 4: Einfaches Logisches Modell nach Patton in der Realisierungsphase des Programms

Bei den Resultaten handelt es sich im Bildungsbereich meist um Veränderungen oder Stabilisierungen bei den Zielgruppen des Programms (z.B. erweitertes Wissen oder neue Kompetenzen). Auch daraus entstehende Vorteile fallen darunter, wie z.B. Einstieg in das Beschäftigungssystem, beruflicher Aufstieg oder eine Gehaltserhöhung. Diese durch die Detailziele des Programms operationalisierten (gewünschten) Zustände bei den Zielgruppen nennt man auch «Outcomes». Evaluation hat hier die Aufgabe, Informationen darüber bereitzustellen, inwieweit die vorgesehenen Interventionen tatsächlich umgesetzt wurden, in welchem Umfang die Outcomes bei den Zielgruppen erreicht wurden und gegebenenfalls auch, inwiefern dies tatsächlich auf das Bildungsprogramm und seine Interventionen zurückführbar ist (interaktive, dokumentierende und wirkungsfeststellende Evaluation; ➞ Kapitel 6.1.1).

Nutzen der einfachen Logischen Modelle

Bereits diese beiden einfachen Drei-Elemente-Modelle erweisen sich in der Evaluationspraxis als sehr nützlich: Indem die Evaluierenden mit den Bildungsverantwortlichen die Elemente mit konkreten Angaben zum Programm füllen, entsteht ein konkretes und übersichtliches gemeinsames Bild des Programms, das in der weiteren Zusammenarbeit ergänzt oder korrigiert werden kann. Für die Evaluierenden ist es essenziell, dass ihr Bild vom Evaluationsgegenstand möglichst deckungsgleich mit dem der Bildungsverantwortlichen ist. Eine Annäherung beider Sichtweisen, was auch ein Kennenlernen des Gegenstandes seitens der Evaluierenden einschließt, entsteht im Dialog beider Seiten und wird von den Programmverantwortlichen sehr häufig als hilfreich empfunden.

In der Evaluations-Fachliteratur gibt es seit den 1960er-Jahren zahlreiche Gliederungsvorschläge für Logische Modelle mit unterschiedlich vielen Elementen, stärkerer Differenzierung oder bewusster Vereinfachung. Einen kurzen Überblick dazu geben Farrokhzad und Mäder (2014).

Der Programmbaum als anschauliches Logisches Modell

Als eine besonders anschauliche Version eines Logischen Modells hat sich im deutschsprachigen Raum der von Univation entwickelte «Programmbaum» stark verbreitet (vgl. zum Folgenden ausführlich Bartsch, Beywl & Niestroj, 2016). Die Metapher des Baumes (➞ Abbildung 5) streicht die Bedeutung der Outcomes als «Früchte» des Programms heraus. Unter der «Krone» befindet sich der Stamm mit den Programmaktivitäten, welche die Nährstoffe zuführen. Darunter befindet sich das Wurzelwerk, welches das Programm in seiner Umwelt verortet und die Ressourcen für das Programm bereitstellt. Das Konzept schließlich enthält den genetischen Code für das Programm (der allerdings – im Gegensatz zu einem echten Baum – verändert werden kann). Ähnlich den beiden Drei-Elemente-Modellen ist die Baummetapher eine starke Vereinfachung gegenüber dem tatsächlichen Programm. Dieses läuft in der Praxis nämlich nicht nur linear von unten nach oben ab, sondern es gibt immer wieder – auch unvorhergesehene – Rückschleifen, Unterprogramme, eingebettete Programme oder hintereinander geschaltete Programme (sogenannte Kaskadenprogramme). Es handelt es sich also um ein notwendigerweise unvollständiges Modell, das nicht mit der Realität des Programms zu verwechseln ist.

Abbildung 5: Programmbaum

Der Programmbaum kombiniert die beiden oben dargestellten Drei-Elemente-Modelle und weist damit vier Hauptgruppen auf:

Elemente des Programmbaums

❙ Bedingungen (Bildungsgesetze, Bildungsbudget, Einstellungen und Erwartungen im Kontext von Gesellschaft, Kultur oder Wirtschaft an die Bildung, strukturelle Merkmale des Bildungssystems wie z.B. duale Berufsbildung oder Ganztagsschul-Systeme; Kompetenzen als Beispiele für Incomes bei den Zielgruppen).

❙ Umsetzung, bestehend aus den zentralen Interventionen und (Hilfs-)Aktivitäten (wie Marketing von oder Imagewerbung für Bildung, Organisieren und Administrieren von Bildungsveranstaltungen, Durchführung von Bildungsmaßnahmen samt Lehren, Selbstlernen, Prüfen etc.).

❙ Resultate: Dieses Programmelement umfasst die erzielten Leistungen oder erstellten Produkte (Outputs, als die ausgestoßenen «Mengeneinheiten» im Sinne des Güterausstoßes des Programms), die dadurch bei den Zielgruppen ermöglichten oder verstärkten Outcomes sowie die Veränderungen in der das Programm tragenden Organisation oder dessen Umwelt (Impacts). Nicht zu vergessen sind die – wenn auch empirisch schwer fassbaren – nicht vorhergesehenen Nebenresultate, seien sie nun positiv oder negativ.

❙ Plan: Der Plan bzw. das Konzept schließlich verbindet die (im Rahmen der Programmplanung analysierten) Bedingungen des Programms mit der vorgesehenen Umsetzung. Ein Kernbestandteil sind die Ziele (➞ Abbildung 2 auf Seite 39). Hinzu kommen Wirkannahmen darüber, welche pädagogischen Interventionen angesichts der Eingangssituation der Teilnehmenden (Incomes) geeignet sind, zur Zielerreichung beizutragen.

Diese vier Hauptgruppen können weiter ausdifferenziert werden, sodass insgesamt zehn Programmelemente unterschieden werden. Die nachfolgende Darstellung definiert diese zehn Elemente und veranschaulicht sie für Programme der Medienbildung (in Anlehnung an Beywl & Jelitto, 2009).

Die Bestimmung und Beschreibung eines Evaluationsgegenstandes mit all seinen Facetten ist also kein triviales Unterfangen. Darüber Klarheit und womöglich Konsens zu erzielen, erleichtert den Zugang zu vielen der folgenden Anforderungen an die Planung und Umsetzung der Evaluation.

Tabelle 1: Programmbaum-Elemente, veranschaulicht für die Medienpädagogik

VERTIEFUNGSLITERATUR

❙ Beywl, W. & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden (QS29 – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe). Bonn: Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ).

❙ DeGEval – Gesellschaft für Evaluation e. V. (2016). Standards für Evaluation – erste Revision 2016. Mainz: DeGEval.

❙ Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Thousand Oaks: Sage Publications.

5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

	Lernziele von Kapitel 5:
	❙ Unterschiedliche Positionen von Evaluierenden unterscheiden können❙ Kompetenzen für Evaluierende benennen können❙ Vorteile einer frühen Einbindung von Akteuren erläutern können❙ Verschiedene Arten von Akteuren benennen und ihre Rollen in Bezug auf den Evaluationsgegenstand einerseits und auf die Evaluation andererseits zuordnen können❙ Den Begriff «Stakeholder» erläutern und Beispiele für «Stakes» verschiedener Akteursgruppen geben können

Akteure des Evaluationsgegenstandes, Akteure in Bezug auf die Evaluation

Wenn der Evaluationsgegenstand und dessen Ziele skizziert sind, werden im nächsten Schritt die Akteure bestimmt, die Interessen in Bezug auf den Evaluationsgegenstand und/oder an der Evaluation selbst haben. Zu unterscheiden sind also zwei Ebenen, auf die Personen, Personengruppen oder Organisationen ihre Interessen richten (Fitzpatrick, Sanders & Worthen, 2012, S.260): Auf der einen befindet sich der Evaluationsgegenstand (z.B. ein Bildungsprogramm), auf der anderen, der Beobachtungsebene, die Evaluation. Es gibt Akteure, die ausschließlich am Evaluationsgegenstand oder an der Evaluation interessiert sind. Oft hat aber ein und dieselbe Person auf beiden Ebenen Interessen, nimmt also auf beiden eine Rolle ein (vgl. die Beispiele in der folgenden ➞ Tabelle 2). Diesen Akteuren fällt es bisweilen schwer, zwischen den beiden Rollen und den daraus resultierenden Interessen zu unterscheiden, was z.B. für die Klärung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6) erforderlich ist. Wichtig ist, dass die Evaluierenden beide Rollen kennen und differenziert behandeln.

Stakeholder haben Interessen in Bezug auf den Evaluationsgegenstand

a) Akteure, die Interessen in Bezug auf den Evaluationsgegenstand haben, werden «Stakeholder» (vom englischen «holding stakes», Einsätze halten, z.B. bei einem Wettspiel, bei dem etwas zu gewinnen oder zu verlieren ist) genannt. Im Deutschen nennt man diese auch «Beteiligte und Betroffene». «Beteiligte» sind Personen, Gruppen oder auch Organisationen, die in Bezug auf den Evaluationsgegenstand aktiv und/oder einflussreich sind, also z.B. Finanzierende des Programms wie auch Akteure, die das Programm steuern (Programmverantwortliche) oder die im Rahmen des Evaluationsgegenstandes gegen Entgelt oder ehrenamtlich tätig sind (Mitarbeitende). «Betroffene» sind insbesondere Personen mit wenig Einfluss. Sie finden sich oft unter den Zielgruppen eines Programms, oder es sind von der Inanspruchnahme eines Programms Ausgeschlossene oder durch das Programm Benachteiligte, mitunter ohne von der Existenz des Programms zu wissen. So kann es z.B. sein, dass durch eine Fördermaßnahme für eine bestimmte Gruppe eher bildungsferner Personen durch die Förderrichtlinien Ausgeschlossene benachteiligt werden. Im Rahmen partizipativer Evaluationsansätze kann angestrebt sein, Betroffene zu Beteiligten zu machen. Die Trennlinie zwischen Beteiligten und Betroffenen ist oft nicht scharf zu ziehen (König, 2003, S.84).

Potenziell Nutzende haben Informationsinteressen in Bezug auf die Evaluation

b) Akteure, die Informationsinteressen in Bezug auf die Evaluation hegen, sind «potenziell Nutzende» der Evaluation und ihrer Ergebnisse. Diejenigen, die die Evaluierenden gemäß Evaluationsplan mit Informationen bedienen wollen, sind «Adressierte» oder «vorgesehene Nutzende» (intended users; Patton, 2008). Adressierte, die Ergebnisse später nutzen, sind dann tatsächlich Nutzende. Zudem gibt es Personen, die die Ergebnisse einer Evaluation nutzen (wollen), aber nicht zum eigentlich anvisierten Adressatenkreis gehören.

Diese Personenkreise überschneiden sich oft: Mitarbeitende von Organisationen, in denen evaluiert wird, sind in der Regel beteiligt und betroffen, können gleichzeitig Adressierte der Evaluation sein und diese dann auch tatsächlich nutzen. Ein Gegenbeispiel ist eine Stiftung, die Evaluationen fördert und eine Adressatin des Schlussberichtes ist, die jedoch keine eigenen Interessen am Evaluationsgegenstand hat. Ähnlich verhält es sich, wenn die allgemeine oder die wissenschaftliche Öffentlichkeit Adressatin ist.

Wichtigkeit der Rollenklärung

Bei den Rollenzuweisungen handelt es sich um analytische Trennungen. Sie signalisieren, ob Personen/Personenmehrheiten/Organisationen in Bezug auf den Evaluationsgegenstand und/oder in Bezug auf die Evaluation und ihre Ergebnisse involviert oder zu involvieren sind. Dadurch sollen die Evaluationsverantwortlichen angeregt werden zu klären, wer in welcher Rolle durch die verschiedenen Aktivitäten im Rahmen der Evaluation zu berücksichtigen ist.

Aus dem Gesagten ergibt sich ein Dreiecksverhältnis zwischen Stakeholdern des Evaluationsgegenstandes, vorgesehenen Nutzenden der Evaluationsergebnisse (Adressierten) und schließlich den Evaluierenden. Letztgenannte müssen die Interessen der Programmstakeholder klären, Informationsinteressen an der Evaluation herausarbeiten und Interessen- und Wertspannungen transparent machen. Schließlich müssen sie ihre eigene Position in diesem Interessenspiel klar benennen.

Rollen im Überblick

In ➞ Tabelle 2 wird dies für Rollen in der Bildungsevaluation nochmals dargelegt:

Tabelle 2: Typische Rollen in der Bildungsevaluation

➞ Tabelle 2 kann auch als Checkliste dienen, um in die Evaluation einzubeziehende oder zu berücksichtigende Akteure zu identifizieren.

Bei kleinen Trägern/Programmen können die Rollen (1) bis (6) von einer Person wahrgenommen werden. Anders bei einem bundesfinanzierten Programm (3): Umgesetzt und getragen von einem Trägerverbund (4) und geleitet durch eine Programmleiterin (5) kann die Evaluation durch einen vom Bund beauftragten Projektträger ausgeschrieben werden (2), wobei das Geld für die Evaluation vom Bundesministerium kommt (1). In manchen Fällen finanzieren Stiftungen oder Forschungsfonds Evaluationen (1), ohne dass sie eigene Interessen in Bezug auf das evaluierte Programm haben.

Bei überwiegend bis vollständig teilnehmenden-finanzierten Bildungsmaßnahmen sind (3) und (7) identisch. Wenn die Eltern finanzieren, trifft dies bei (3) und (8), wenn die Arbeitgebenden finanzieren, bei (3) und (9) zu.

Stakeholder und Adressierte

Es besteht in der Literatur keine Einigkeit über den Begriff der Stakeholder. An manchen Orten werden darunter nicht nur diejenigen gezählt (wie in diesem Text), die Interessen am Evaluationsgegenstand haben, sondern auch diejenigen, die – eventuell sogar ausschließlich – an der Evaluation und ihren Ergebnissen interessiert sind. Beides sind unterschiedliche, sich eventuell auch überlappende Interessensphären, wie aus ➞ Tabelle 2 ersichtlich ist.

BEISPIEL 6

So haben z.B. Programmleitende Interesse an ihrem Programm wie auch einen bestimmten Informationsbedarf, den sie durch die Evaluation abgedeckt sehen wollen. Teilnehmende sind hingegen stark an ihrer Weiterbildung interessiert, nicht aber an den Evaluationsergebnissen, und dies besonders dann nicht, wenn die Ergebnisse für ihre konkrete Weiterbildung gar keinen Nutzen haben (z.B. weil mögliche Verbesserungen erst dem nächsten Kurs zugutekommen). Hingegen haben vielleicht selbst zahlende Teilnehmende ein Interesse an einer kurzfristig wirksamen formativen Evaluation. Vorgesetzte mögen ein starkes Interesse an den summativen Evaluationsergebnissen haben, beeinflussen diese doch ihre künftigen Entscheidungen zur Entsendung von Mitarbeitenden in das entsprechende Angebot.

In der Bildung gibt es zahlreiche und sehr unterschiedliche Stakeholder und vorgesehene Nutzende (Adressierte). Dies macht eine sorgfältige und frühzeitige Bestimmung der Akteure, ihrer Rollen und Interessen erforderlich.

Nachfolgend werden verschiedene Akteure in der Bildungsevaluation näher betrachtet: Geld- und Auftraggebende der Evaluation (➞ Kapitel 5.1), Finanzierende und Träger des Bildungsangebots (➞ Kapitel 5.2), Programmleitende und -mitarbeitende (➞ Kapitel 5.3), Teilnehmende (➞ Kapitel 5.4), Vorgesetzte, Arbeitgebende, Arbeitskollegen (➞ Kapitel 5.5) sowie sonstige Akteure (➞ Kapitel 5.6). ➞ Kapitel 5.7 widmet sich den Evaluierenden. In ➞ Kapitel 5.8 werden die Beziehungen der unterschiedlichen Akteure untereinander betrachtet.

5.1 Geld- und Auftraggebende der Evaluation

Die Auftraggebenden

Die zentrale Rolle der Auftraggebenden einer Evaluation und derjenigen, die das Geld hierfür geben, liegt auf der Hand. Während deren Identifikation leicht ist, müssen die Evaluierenden in die Klärung der verschiedenen Interessen und Rollenüberschneidungen Zeit investieren.

Erwartungen an die Auftraggebenden

Von Auftraggebenden einer Evaluation wird erwartet, gegenüber der Evaluation und den daraus resultierenden, eventuell auch unerwarteten Ergebnissen aufgeschlossen zu sein. Dieser Sachverhalt gilt unter Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.180). Zudem sollen Auftraggebende kooperativ sein und engagiert am Evaluationsprojekt teilnehmen. Dieses Engagement soll sich aber nicht in einer Kontrollfunktion äußern. Evaluationsexpertise der Auftraggebenden wird nicht unbedingt als notwendig erachtet (Balzer, 2005, S.180).

Engagement der Auftraggebenden

Der Grad des Engagements der Auftraggebenden hat Auswirkungen auf die Evaluation. Starkes Engagement kann z.B. für klare Anforderungen und einen regen Informationsfluss sorgen, kann aber auch zu restriktiven Auflagen bis hin zu Versuchen der einseitigen Einflussnahme auf die Evaluationsergebnisse führen. Dies verlangt angemessene Reaktionen vonseiten der Evaluierenden.

Rolle der Auftraggebenden im Evaluationsgegenstand

Zur Beurteilung solcher Anforderungen ist es wichtig zu verstehen, in welchem Verhältnis Auftraggebende zum Evaluationsgegenstand stehen. Es kann zu Interessenkonflikten kommen, wenn Programmverantwortliche (z.B. Studiengangsleitende) selbst in die Evaluation involviert sind und ein stark gerichtetes Interesse an bestimmten Ergebnissen der Evaluation haben. Wenn sogar unabhängig von der Faktenlage ein zuvor bestimmtes Ergebnis erzielt werden soll, spricht man auch von Pseudo-Evaluationen (Stufflebeam & Coryn, 2014, S. 117–132).

Unterstützungssysteme für Evaluationen

Bei größeren Evaluationen in der Bildung können wissenschaftliche Beiräte oder Begleitgremien, in denen Fachverbände vertreten sind, überzogene Einflussversuche von Auftraggebenden abfedern (vgl. Baizerman, Fink & Roholt, 2012).

BEISPIEL 7

Eine Firma sucht nach dem besten Anbieter für eine Computerschulung. Da das Angebot auf dem Markt sehr groß ist, wird eine Evaluation in Auftrag gegeben, die den Markt sondieren und das beste Angebot identifizieren soll. Präferenzen hat die Firma keine, der Beste soll den Zuschlag erhalten. Entsprechend ist eine neutrale Evaluation möglich. Ganz anders sieht es aus, wenn einer der konkurrierenden Schulungsanbieter eine Evaluationsstudie in Auftrag gibt, um sich seine Qualität extern dokumentieren zu lassen. Auch wenn ein solches Evaluationsprojekt nicht parteiisch sein muss, müssen sich die Evaluierenden der Parteilichkeit der Auftraggebenden bewusst sein.

5.2 Finanzierende und Träger des Bildungsangebots

Finanzierende

Oftmals sind Auftraggebende von Evaluationen auch die Finanzierenden des Bildungsangebots und damit auch die Entscheidungsträger in Bezug auf den Evaluationsgegenstand, z.B. die Leitungsebene des Trägers (eventuell der Fakultät/der Hochschule). Bei internen Evaluationen kann es dann für die Evaluationsverantwortlichen sehr schwierig sein, eine neutrale Position einzunehmen. Beiräte oder externe Beratende können die Abhängigkeit einer internen Evaluation teilweise kompensieren. Auch im Sinne erhöhter Glaubwürdigkeit der Evaluation und ihrer Ergebnisse sind hier in der Regel externe Evaluationen angeraten, insbesondere, wenn diese summativ ausgerichtet sind.

Eine summative Evaluation mit bilanzierenden Schlussfolgerungen ist vor allem dann unabhängig durchführbar, wenn Auftraggebende zwar die Entscheidungskompetenz für das Programm haben, sich aber kaum an der Evaluation beteiligen, oder wenn sich die Rolle der Auftraggebenden und die des Entscheidungsträgers sinnvoll voneinander unterscheiden lassen.

Wer hat die Entscheidungskompetenz?

Für einige Autorinnen und Autoren ist dieser Punkt ein zentrales Unterscheidungskriterium von Evaluation und Qualitätsmanagement. Im Qualitätsmanagement wird der obersten Leitung nicht nur die Entscheidungskompetenz für das Programm, sondern auch die strategische Steuerungskompetenz für den Qualitätsmanagementprozess zugewiesen. In der Evaluation hingegen werden die Zuständigkeiten auf Auftraggebende/Programmverantwortliche einerseits und Evaluationsverantwortliche andererseits aufgeteilt.

Für die konkrete Evaluation ist es relevant zu wissen, wer die Entscheidungskompetenz für das Programm innehat. Liegt sie nicht bei den Auftraggebenden, so kann es hilfreich sein, Verbindungen zu den Entscheidungsträgern herzustellen und sie explizit einzubinden. Dies ist nicht nur in der Planungsphase, sondern während des gesamten Evaluationsprozesses sinnvoll (Hegarty & Sporn, 1988, S.336).

5.3 Programmleitende und -mitarbeitende

Programmleitende und -mitarbeitende als «Beteiligte»

Programmleitende und -mitarbeitende gehören zu den wichtigsten «Beteiligten», denn sie sind für das gesamte Lehr-Lern-Programm sowie das konkrete Unterrichtsgeschehen verantwortlich. Zwischen beiden Gruppen können Interessenkonflikte bestehen, die zu identifizieren sind. So können z.B. Programmleitende an einem zeitlich sehr flexiblen Einsatz von Kursleitenden («auf Abruf», im Rahmen von Honorarverträgen) interessiert sein, während die Unterrichtenden gerade in der damit verbundenen Kalkulationsunsicherheit eine Gefährdung ihrer Leistungsfähigkeit und damit Unterrichtsqualität sehen. Solche Interessenkonflikte sollten durch die Evaluierenden ohne hinreichende empirische Evidenz weder unterstellt noch ausgeschlossen werden. Vertrauliche Gespräche in der Eingangsphase, z.B. mit Personalvertretungen, können hier Klarheit schaffen. Oft zählen diese beiden Gruppen zu den primär vorgesehenen Nutzenden der Evaluation und ihrer Ergebnisse (Adressierte). Je mehr sich der Evaluationsgegenstand auf Kursebene bzw. beim Lehren und Lernen befindet, und je stärker die Evaluation formativ im Sinne einer verbesserungsorientierten Begleitung ausgerichtet ist, desto eher sind die Lehrenden die Hauptadressierten.

5.4 Teilnehmende

Teilnehmende als «Betroffene»

Teilnehmende an Bildungsmaßnahmen sind klassischerweise die Programm-«Betroffenen». Sie haben meist wenig Einfluss auf das Programm. Anders sieht dies bei selbst zahlenden Teilnehmenden aus (die z.B. den Vertrag kündigen könnten). Manche Bildungseinrichtungen haben auch Teilnehmendenvertretungen eingerichtet, die Ansprechpartner für die Evaluierenden sind. Besonders bei artikulationsschwachen – oft bildungsfernen – Gruppen müssen die Evaluierenden deren Interessen im Blick haben und im Evaluationsplan geltend machen. Schlussendlich gilt es in der Evaluation von Bildungsmaßnahmen auch darauf zu achten, dass Lernen gefördert wird und den Teilnehmenden Vorteile entstehen (vgl. den Standard der Dienstleistungsorientierung in Yarbrough, Shulha, Hopson & Caruthers, 2011).

Teilnehmende scheiden nicht selten nach der Evaluation aus der Bildungsmaßnahme aus. Nur dann, wenn sie auch künftig an Bildungsmaßnahmen des jeweiligen Trägers teilnehmen werden, versprechen sie sich einen unmittelbaren Nutzen aus der Evaluation. Gleichwohl sind die Teilnehmenden meist unverzichtbar für das Gelingen derselben: Ohne ihre Auskünfte und Bereitschaft, an den Erhebungen mitzuwirken, würden zentrale Evaluationsdaten fehlen. Im Sinne des langfristigen Aufbaus einer Evaluationskultur in der Bildung ist auch deswegen ein Einbezug von Interessen der Teilnehmenden, inklusive und gerade der artikulationsschwachen, eine wichtige Daueraufgabe. Die Rechtzeitigkeit der Evaluation, schnelle Rückmeldungen und für die Teilnehmenden verständliche und zugängliche Evaluationsberichte können hierzu beitragen (➞ Kapitel 11).

5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen

Vorgesetzte, Arbeitgebende, Arbeitskollegen als entfernt «Betroffene»

Vorgesetzte und Arbeitgebende und noch eher Arbeitskolleginnen und -kollegen der Teilnehmenden sind meist nicht unmittelbar mit der zu evaluierenden Bildungsmaßnahme vertraut. Sie nehmen nicht oder nur oberflächlich von ihr Kenntnis, es sei denn, sie sind konzeptionell in das Bildungsprogramm einbezogen, aber in irgendeiner Art und Weise dennoch betroffen. Dabei sind die möglichen Konstellationen sehr unterschiedlich und müssen jeweils für das zu evaluierende Bildungsangebot genau analysiert werden.

Vorgesetzte und Arbeitgebende entsenden Mitarbeitende in Bildungsmaßnahmen oder stellen sie dafür auf Antrag frei. Grundsätzlich sind sie an Lernerfolg, verwertbarem Wissen und Können im Arbeitsalltag oder gar finanziellen Erträgen interessiert. Wie weit sie dies mit ihren Mitarbeitenden klären, gar schriftlich fixieren, wie weit sie Interesse an der Evaluation und ihren Ergebnissen haben, fällt sehr unterschiedlich aus. Oft sind die Evaluierenden gefordert, dieses Interesse und ein Commitment von Arbeitgebenden für die Evaluation zu wecken. Ansonsten droht die Gefahr, dass Evaluationsergebnisse nicht genutzt werden.

Arbeitskollegen von Teilnehmenden können vom erworbenen Know-how derer, die an der Bildungsmaßnahme teilgenommen haben, profitieren (oder sie geraten ins Hintertreffen, da ihnen die entsprechenden Kompetenzen fehlen).

Andere Mitarbeitende in der Institution, in der das Bildungsangebot stattfindet, können ebenfalls betroffen sein. Sind die Angebote erfolgreich, nutzt das der Institution und deren Mitarbeitenden. Schlechte Angebote können hingegen zu einem schlechten Ruf und in der Folge zu Wettbewerbsnachteilen führen.

5.6 Sonstige Akteure

Sonstige Akteure als potenziell «Betroffene»

Wird der Kreis ausgeweitet, kann man weitere Betroffene identifizieren.

Einerseits kommen Kooperationspartner oder Zuliefernde in den Blick. Bildungsmaßnahmen, z.B. im Rahmen von Arbeitsmarktförderung, finden in einem komplexen Geflecht von Trägern und Diensten statt. Neben den Anbietern (Schulen, Bildungseinrichtungen etc.) sind dies z.B. Sozialämter und Arbeitsverwaltungen, soziale Dienste, Rehabilitationseinrichtungen bis hin zu Wohn- und Betreuungseinrichtungen. Für die Evaluierenden stellt sich jeweils die Frage, wie sehr der Kreis von Beteiligten und Betroffenen bei der Identifizierung auszuweiten ist und wo man aufhören sollte. Auch «die Gesellschaft» kann ein Stakeholder sein, z.B. im Falle der lokalen Volkshochschule, die ihre Kursangebote evaluieren lässt. Hier sind die Interessen der lokalen Politik oder der Bevölkerung vor Ort unmittelbar tangiert, und Evaluationsergebnisse werden dann bedeutsam, wenn sie auch von diesen Gruppen wahrgenommen, akzeptiert und womöglich genutzt werden.

Ein anderer Fall ist ein Anbieter von Standardsoftware, zu der Schulungen stattfinden. Da die Qualität der Schulung von z.B. Office-Produkten mitentscheidet, wie gut die Software verstanden und schlussendlich auch verkauft wird, besteht hier ein nachhaltiges Interesse an guten und passenden Schulungsangeboten.

5.7 Evaluierende

Die zentralen Rollen der Evaluierenden

Evaluationen können nicht von irgendjemandem durchgeführt werden, sondern nur von Personen, die für diese Aufgabe besonders qualifiziert sind: den professionellen Evaluierenden (Russ-Eft, Bober, de la Teja, Foxon & Koszalka, 2008; Scriven, 1996, S.158). Nachfolgend werden deren Rollen und Eigenschaften näher beschrieben.

Evaluierende können sehr viele verschiedene Rollen übernehmen, was bedeutsame Auswirkungen auf die Ausrichtung der gesamten Evaluation hat.

Nach Wottawa (1991, S.154) können vier typische Rollen unterschieden werden:

❙ der «Faktensammler», der primär für das Bereitstellen von Ergebnissen verantwortlich ist;

❙ der «Gutachter», der auch Bewertungen vornimmt;

❙ der «Entwickler», der hilft, aus den gewonnenen Ergebnissen Neues zu gestalten;

❙ der «Moderator», der namentlich die Zielfindung unterstützend begleitet.

Evaluative Beratung

Evaluierende arbeiten häufig mit Gruppen zusammen, die sich aus einer oder mehreren der vorgenannten Akteurskategorien zusammensetzen. Für solche Begleit- oder Steuergruppen leisten sie die «evaluation facilitation», eine evaluativ qualifizierte Fach- und Prozessberatung. Die Gruppen werden dabei unterstützt, gemeinsam Klärungsprozesse durchzuführen, und dabei evaluative Denkweisen anzuwenden (vgl. Patton, 2018b, S. 7–16).

Interne und externe Evaluation

Darüber hinaus können Evaluierende eine interne oder externe Position einnehmen (interne bzw. externe Evaluation). Widmer spricht in diesem Zusammenhang von Organisationsinternen versus Organisationsexternen (2004, S.85). Interne Evaluation wird von Personen gesteuert, die Mitglieder der die Bildungsmaßnahme tragenden Organisation sind. Externe Evaluationen führen hingegen Evaluierende durch, die von außerhalb kommen, z.B. aus Evaluationsinstituten oder -büros (Berkemeyer, Müller & van Holt, 2016, S.212). Diese Positionierung der Evaluierenden zu der den Evaluationsgegenstand tragenden Organisation fordert ihnen ab, immer wieder Transparenz über ihre Aufgaben und Zuständigkeiten herzustellen (Stufflebeam, Madaus & Kellaghan, 2000 S.28; Widmer, 2004, S.85).

Inhouse-Evaluation als Unterform der internen Evaluation

Wird eine interne Evaluationsstelle des Bildungsanbieters, die nicht auch hauptverantwortlich für das zu evaluierende Bildungsangebot ist, mit der Evaluation des Angebotes der eigenen Institution beauftragt, handelt es sich um eine Inhouse-Evaluation, einer Unterform der internen Evaluation.

Merkmale interner Evaluation

Internen Evaluationen wird oft zugeschrieben, dass sie schneller seien und weniger Aufwand erforderten, da hier die Evaluierenden mit den organisatorischen und personellen Gegebenheiten besser vertraut seien und über gesicherte Sachkenntnis zum Evaluationsgegenstand verfügten. Sie arbeiteten ohnehin vor Ort und hätten einfachen Zugang auch zu vertraulichen Informationen (Kromrey, 2001, S.118). Damit verbunden ist die Erwartung sowohl einer kostengünstigeren Evaluationsdurchführung, einer größeren Akzeptanz von Ergebnissen als auch einer (potenziell) gesicherten Umsetzbarkeit von Schlussfolgerungen in die Praxis. Doch geraten sie eher in Rollenkonflikte, da sie täglich Umgang mit den Mitarbeitenden der evaluierten Programme haben (Volkov & Baron, 2011, S.107–108), und nicht selten werden die für eine professionelle interne Evaluation erforderlichen Ressourcen und Kompetenzen unterschätzt (Meyer, 2017). Wenn interne Evaluationen – wie in vielen Bundesländern im Schulbereich – als extern auferlegt und mit zusätzlichen Arbeitsbelastungen verbunden werden, kann dies ihren produktiver Beitrag zur Entwicklung von Bildungsangeboten deutlich schmälern (Rückmann, 2016a).

Merkmale externer Evaluation

Hingegen müssen sich extern Evaluierende erst in die das Bildungsprogramm tragende Organisation einfinden, sind aber wegen ihrer weniger stark voreingenommenen Perspektive eher vor Betriebsblindheit geschützt. Ihre Berichte gelten eventuell mehr als diejenigen der «Propheten im eigenen Land», bei denen auch Abhängigkeiten bestehen können (Stockmann, 2002a, S.225). Extern Evaluierenden wird größere Objektivität, manchmal auch größere Evaluationsexpertise zugeschrieben. Dabei können sie allerdings je nach Ferne zum Feld und der dort geforderten fachlichen Expertise grobe Kunstfehler übersehen, oder sie werden von relevanten Informationen ferngehalten, ohne dass sie dies bemerken.

Selbst- und Fremdevaluation

Der Begriff «interne Evaluation» wurde oftmals synonym mit dem Begriff «Selbstevaluation» (Beywl, Bestvater & Friedrich, 2011; Buhren, 2018; Deutsche Gesellschaft für Evaluation, 2004; Hense, 2006), und der Begriff «externe Evaluation» synonym mit dem Begriff «Fremdevaluation» verwendet (Balzer, Frey & Nenniger, 1999, S.406). Im englischsprachigen Raum ist das zweite Begriffspaar nicht verbreitet, und es fehlt gar eine Übersetzung für «Fremdevaluation».

extern/intern und selbst/fremd

Man unterscheidet hier zwei Dimensionen (vgl. Beywl & Balzer, 2016, S.195): Während extern/intern leicht als (Nicht-)Mitgliedschaft operationalisiert werden kann, ist dies für fremd/selbst schwieriger. Diese zweite Unterscheidung kann aus einer kulturellen Perspektive erfolgen. Evaluierende handeln stärker als Insider oder aber als Outsider in Bezug auf Werte, Kultur oder Fachlichkeit des zu evaluierenden Gegenstandes. Demgemäß ist Selbstevaluation in das Werte- und Normengefüge einer Organisation oder eines Programms eingebunden. Hier können auch Professionskulturen eine wichtige Rolle spielen, z.B. von Lehrkräften oder sozialpädagogisch Tätigen, die Evaluationsgegenstände beschreiben und bewerten, für deren Qualität sie qua Funktion und Beruf privilegiert zuständig und verantwortlich sind. Hingegen stehen Fremdevaluierende als Outsider solchen professionellen oder auch weltanschaulich geprägten Qualitätsvorstellungen eher neutral gegenüber – die Bewertungskriterien anderer Stakeholder sind für sie grundsätzlich ebenso gültig (➞ Kapitel 7 und ➞ Kapitel 10).

Um eine Selbstevaluation handelt es sich dann, wenn Evaluierende von ihnen selbst geführte Bildungsmaßnahmen beschreiben und bewerten, und zwar auf dem Hintergrund der von ihnen verantworteten fachlichen Ziele und Qualitätskriterien. In diesem Fall geben sich die Evaluierenden selbst einen Auftrag (oder sie werden von Dritten dazu aufgefordert), den von ihnen fachlich und inhaltlich verantworteten Gegenstand zu untersuchen und zu bewerten. Dies geschieht in aller Regel mit dem Zweck, ihn zu verbessern, also in formativer Absicht. Hingegen ist eine summative Evaluationsrolle in diesem Fall wenig angemessen. Es wird ja eine komplexe Dienstleistung an sich selbst erbracht (Selbsthilfe), bei der Auftragsvergabe, Programmverantwortlichkeit und Evaluationszuständigkeit in einer Hand liegen. Interessenkonflikte sind kaum zu vermeiden und beeinflussen für Dritte womöglich intransparent den Evaluationsverlauf. Die Glaubwürdigkeit einer summativ angelegten Selbstevaluation ist chronisch bedroht (zur Unterscheidung formativ-summativ ➞ Kapitel 3 und ➞ Kapitel 6.1).

Inhouse-Evaluierende können sowohl eine Insider- als auch eine Outsider-Position einnehmen. Mit letzterer werfen sie einen «fremden» Blick auf die Maßnahmen eines Bildungsträgers, wenn sie z. B. nicht selbst Bildungsfachleute sind, sondern aus einem ganz anderen Berufsfeld stammen oder ihre Berufserfahrung z.B. im Gesundheitswesen oder in der Umweltevaluation gesammelt haben – dann sind sie interne Outsider.

Externe schließlich können eine Insider-Perspektive mitbringen, wenn es Fachkolleginnen und -kollegen sind mit einem gleichen Fachhintergrund wie bei den Programmverantwortlichen. Bei dieser Evaluationsart stammen die Evaluierenden aus einer anderen Institution, sind dem konkreten Evaluationsgegenstand also nicht verpflichtet, haben aber ein ähnliches Wertesystem und messen dem Typus des Evaluationsgegenstandes folglich einen grundsätzlich eher hohen Wert bei. Diesen Ansatz kann man als Peer-Evaluation bezeichnen (Gutknecht-Gmeiner, 2007a, 2007b).

Es ist keinesfalls so, dass generell intern Evaluierende besser geeignet wären als Externe, oder Insider versus Outsider. Je nach Situation bringt einmal die eine, einmal die andere Position und Perspektive mehr Vorteile für ein den Standards der Evaluation entsprechendes Vorgehen. Oft bietet sich auch eine Kombination der verschiedenen Evaluationsarten an, wenn z. B. interne Insider die Evaluation steuern und durchführen, dabei mit Unterstützung von externen Outsidern ihr Vorgehen reflektieren und sich methodischen Support sichern (Beywl, Speer & Kehr, 2004).

BEISPIEL 8

Das Direktorium eines großen Bildungsträgers mit einer hauseigenen Evaluationsstelle, die fachkompetent mit auf Bildung spezialisierten Evaluierenden besetzt ist, beschließt, eines seiner einjährigen Hauptprogramme in der beruflichen Weiterbildung zu evaluieren. Nach mehrjährigem Erfolg hinsichtlich Teilnehmendenzahlen und Rückmeldungen von Teilnehmenden und deren Betrieben kommt es in letzter Zeit vermehrt zu Abbrüchen. Sollte sich dies herumsprechen, müsste auch mit einem Rückgang der Teilnehmendenzahlen gerechnet werden. Die Evaluationsstelle wird daher beauftragt, das Programm zu evaluieren und insbesondere herauszuarbeiten, welche Faktoren für die Abbrüche entscheidend sind. Sie soll außerdem klären, wie das Programm angepasst werden kann, damit die Studierbarkeit im vorgegebenen Zeitraum bei Aufrechterhaltung der Ansprüche an die am Ende des Programms vorzuweisenden Kompetenzen gesichert ist. Die gut dreimonatige Evaluation zeigt sowohl im Umfeld (insbesondere Arbeitsmarktlage) wie im Programm selbst liegende Schwachstellen auf, für die in den kommenden zwölf Monaten durch die verantwortliche Programmleiterin Abhilfe geschaffen werden soll (u.a. Mentorensystem, bessere Vorbereitung auf Zwischenprüfungen, bei besonders schwierigen Programmteilen kleinere unterrichtsnahe Selbstevaluationen, die von den Unterrichtenden eigenständig durchgeführt werden, methodisch unterstützt von den Mitarbeitenden der Fachstelle). Nach erfolgter Umsetzung nehmen die Abbrüche zwar deutlich ab, die Teilnehmendenzahlen gehen dennoch langsam zurück. So beschließt das Direktorium, bei einem unabhängigen Evaluationsbüro – das nicht auf den Bildungsbereich spezialisiert ist – eine externe Evaluation in Auftrag zu geben, um mit einem Blick von außen eine weitere sichere Basis für die Grundsatzentscheidung über die Weiterführung des Programms, eventuell verbunden mit einer grundlegenden Curriculums-Revision, zu erhalten.

An Evaluierende werden – teils in Abhängigkeit zu ihrer Rollenzuschreibung – vielfältige Anforderungen gestellt.

So ist Evaluationsexpertise von zentraler Bedeutung. Scriven (1996, S.160) nennt als Anforderungen an Evaluierende u.a. Kenntnisse zu qualitativen und quantitativen Forschungsmethoden, zu testtheoretischen Konzepten, zu juristischen Bedingungen von Datenerhebungen, zu Mittelverwendung und persönlichem Umgang mit dem Evaluationsbudget und -personal, zu Personalevaluation (Mitarbeitendenbeurteilung), zu Ethik, Bedarfsanalysen, Kostenanalysen, Synthesemodellen, Evaluationsmodellen sowie zu evaluationsspezifischer Berichterstattung. Für ihn von geringerer Bedeutung ist in einem solchen Fall die Fachkenntnis der Evaluierenden im konkreten Handlungsfeld.

Wie weiter oben schon beschrieben (➞ Kapitel 2.1), hat die DeGEval – Gesellschaft für Evaluation e.V. Anforderungen und Kompetenzen zusammengestellt, «die für die angemessene Durchführung von Evaluationen unerlässlich sind» (2008, S.7). Der Vergleich mit einem Kompetenzprofil für Evaluation aus den USA zeigt übereinstimmende Schwerpunkte. Neben der Befähigung zur empirischen Untersuchungstätigkeit werden namentlich Kompetenzen zur Analyse von Situation und Kontext, zum Projektmanagement, zur reflexiven Praxis und im Bereich der interpersonellen und interkulturellen Kommunikation gefordert (Beywl, 2006a, S.333–335). Auch die Anforderungsliste der Schweizerischen Evaluationsgesellschaft (2012), die nicht unbedingt an jeden einzelnen Evaluierenden gerichtet ist, aber zumindest an Evaluationsteams, meldet mit evaluationsspezifischen Grundkenntnissen (Grundeigenschaften der Evaluation, verschiedene Evaluationsansätze, Evaluationsstandards), methodischen Kenntnissen (Konzepte und Designs von Evaluationen, Methoden und Instrumente der Datenerhebung und -analyse, Projektmanagement, Kommunikationsstrategien und -fähigkeiten) sowie sozialen und diversen persönlichen Kompetenzen ähnliche Ansprüche an.

Beywl, Speer und Kehr (2004, S.110) stellen für den Bereich der Sozialpolitik fest: «Nur wenige Evaluatoren/-innen bringen ein so breites Kompetenzprofil mit, […] was ggf. aufwendigere Teamlösungen erforderlich macht, wodurch evtl. auch Abhängigkeiten eines/-r einzelnen stark involvierten Evaluators/-rin vorgebeugt werden kann.» Dies dürfte auch für Bildungsevaluationen gelten.

Torres (1991, S.189) definiert für intern agierende Evaluierende spezifische Anforderungen. Sie schreibt jenen die Rolle beratender Vermittler zu, die besondere Fähigkeiten brauchen, um den spezifischen Kontext, in dem sie agieren, verstehen und handhaben zu können. Zu diesen Fähigkeiten zählt demnach, kontextbezogene Einflüsse zu verstehen (vgl. dazu Conner, Fitzpatrick & Rog, 2012; vgl. speziell für die Weiterbildung Hansen, 2010, S.18–101), die Perspektiven von Beteiligten und Betroffenen zu identifizieren und zu verstehen, Glaubwürdigkeit und Vertrauen zu maximieren, Methoden an den erkenntnistheoretischen Orientierungen des Evaluationspublikums auszurichten, den Verantwortlichen Entscheidungen und Ergebnisse nahezubringen, dieselben über unterschiedliche Ansichten und Perspektiven zu unterrichten, Toleranz gegenüber Mehrdeutigem aufzubringen sowie Veränderungen zu unterstützen. Viele dieser Kompetenzen gelten auch für andere Evaluationsarten.

Glaubwürdigkeit der Evaluierenden

Was Auftraggebende vor der Auftragsvergabe abschätzen müssen, ist die Vertrauenswürdigkeit der Evaluierenden. Um diese transparent zu machen, sollten bei der Vorstellung des Evaluationsvorhabens die Namen und zentralen Informationen über die Evaluierenden vermittelt werden. Etwas schwieriger ist es, die Unabhängigkeit der Evaluierenden zu überprüfen oder potenzielle Interessenkonflikte und Abhängigkeiten aufzudecken.

Unbestechlichkeit, Objektivität und Neutralität sind ebenfalls Eigenschaften, die von Evaluierenden verlangt werden. Diese können allerdings durch die Abhängigkeit der Evaluierenden in Hinblick auf Folgeaufträge bedroht sein. Auch kann die mit der Dienstleistungshaltung verbundene Tendenz vieler Evaluierender, den Bedürfnissen der Auftraggebenden gerecht zu werden, ein Problem darstellen (Pleger & Sager, 2016; Scriven, 1993a, S.83), sodass nicht mehr wissenschaftlich Notwendiges und Korrektes, sondern vonseiten der Auftraggebenden Gewünschtes in den Vordergrund rückt.

Über alle Phasen der Evaluation stellen sich ethische Herausforderungen. Diese zu meistern erfordert (inter-)kulturelle Fähigkeiten und Haltungen, die über das handwerklich-wissenschaftliche Können hinausgehen (vgl. Morris, 2008).

➞ Lösung auf Seite 233

	Übungsaufgabe 7:
	«Mögliche Rollen für Programm und Evaluation; Einsätze zum Programm»Lösen Sie nun die Übungsaufgabe 7:
	a) Charakterisieren Sie kurz (maximal 1000 Zeichen) ein Bildungsprogramm aus Ihrem Erfahrungsbereich (eventuell auf Ihr Ergebnis zu Übungsaufgabe 6 zurückgreifen).b) Welche Rollen (➞ Tabelle 2, S.47) kann eine Leitungsperson in Bezug einerseits auf dieses Programm (= den Evaluationsgegenstand), andererseits auf die darauf ausgerichtete Evaluation einnehmen? Listen Sie diese Rollen auf.c) Schreiben Sie für einige dieser Rollen eine oder mehrere Interessen (Erwartungen und/oder Befürchtungen) auf, welche sich aus der jeweiligen Rolle heraus auf das Bildungsprogramm – also nicht auf die Evaluation – richten (dreispaltige Tabelle: Rolle/Erwartungen/Befürchtungen).d) Wählen Sie ein relevantes, auf das Programm (!) gerichtetes Interesse aus und halten Sie stichwortartig fest, was eine Evaluation untersuchen könnte, sodass sie für die betreffende Rolle nützliche Informationen bereitstellt.

5.8 Akteure im Zusammenspiel

Warum ist es eigentlich notwendig, alle Akteure in einem so frühen Stadium der Evaluation, sogar noch vor der Konkretisierung der Evaluationszwecke und -fragestellungen, zu identifizieren?

Frühe Einbindung der Akteure steigert Evaluationsqualität

In vielerlei Hinsicht ist es zweckmäßig, die Beteiligten und Betroffenen in den Evaluationsprozess einzubinden. Das ist der Grundgedanke nutzungsfokussierter und auch partizipativer Evaluationsansätze. Ein zentrales Argument für den Einbezug von verschiedenen Beteiligten- und Betroffenengruppen besteht darin, dass man sich von deren Partizipation einen reibungslosen Ablauf, eine fundierte thematische Absicherung, hilfreiche Tipps für die konkrete Durchführung sowie eine gute Unterstützung bei der Nutzung der zu erzielenden Evaluationsergebnisse erhofft (Alkin, 1991; Mark & Shotland, 1985; O’Sullivan & D’Agostino, 2002; Patton, 2008, 2012).

Darüber hinaus wird es hilfreich sein, diese Personengruppen aktiv einzubinden, besonders auch dann, wenn Widerstände zu erwarten sind (Taut & Brauns, 2003). Außerdem kann der Einbezug derselben ihr Verständnis von Evaluationen erhöhen und sie sogar befähigen, ihr erworbenes Evaluationswissen später selbst anzuwenden. Dies zu ermöglichen, ist das zentrale Ziel des Empowerment-Ansatzes in der Evaluation (Fetterman, 2001).

Schließlich kann man fordern, dass Evaluationen in einer demokratischen Gesellschaft auf demokratischen Werten aufbauen sollen (House & Howe, 2000) und deswegen die Standpunkte der wichtigen Beteiligten- und Betroffenengruppen einzubeziehen sind (Strobl, Lobermeier & Heitmeyer, 2012).

Ob und in welchen Stadien der Evaluation der Einbezug von Beteiligten und Betroffenen sinnvoll ist, kann nicht allgemeingültig gesagt werden, sondern ist von Fall zu Fall zu entscheiden. Die Möglichkeiten sind vielfältig. Beteiligte und Betroffene können während des gesamten Prozesses einbezogen werden, oder ihre Mitarbeit ist besonders in einzelnen Phasen (ohne damit andere Phasen auszuschließen) des Evaluationsprozesses interessant, z.B. bei der Zielfindung, der Kriterienbestimmung, im Bewertungsprozess oder bei der Ergebnisnutzung.

Allerdings ist der Einbezug der Beteiligten und Betroffenen leichter beschrieben als realisiert. Sämtliche relevanten Personen(-gruppen) zu identifizieren, ist in der Praxis, besonders bei größeren Evaluationsgegenständen, selbst bei guten Voraussetzungen unmöglich bzw. würde kaum noch Zeit für die anderen (in den folgenden Kapiteln beschriebenen) Evaluationsaufgaben lassen.

Die Einbindung der Akteure muss systematisch erfolgen

Doch wen wählt man aus? Der Einbezug von Beteiligten und Betroffenen kostet Zeit und Geld (für die Identifikation der entsprechenden Personen, für die Kontaktaufnahme, für die Diskussionen und Datenerhebungen, für die Ergebnisverdichtung, -kommentierung und -verbreitung etc.). Hieraus resultiert eine Verminderung der Ressourcen für andere Aufgaben. Dies schränkt die Anwendung eines umfassend partizipativen Ansatzes ein.

Jedenfalls ist hierfür eine genaue Analyse erforderlich im Sinne einer «stakeholder analysis». Sie beinhaltet nicht nur die Identifikation der Beteiligten und Betroffenen, sondern ganz pragmatisch auch deren Hierarchisierung bezüglich ihrer Wichtigkeit für die Evaluation. So gibt es Personengruppen, die für den Erfolg einer Evaluation relevanter sind als andere. Eine mögliche Hierarchie könnte Entscheidungsberechtigte an oberster Stelle platzieren, gefolgt von Meinungsführenden und Schlüsselpersonen, gefolgt von Repräsentanten großer, dann kleiner Gruppen. Je nach Zweck der Evaluation kann diese Rangordnung auch anders ausfallen.

Auch wenn der Zugang zu den entsprechenden Personen hergestellt ist, sind die notwendigen Informationen nicht leicht zu beschaffen. So müssen Beteiligte und Betroffene z.B. motiviert und begleitet werden, damit ihre Wertvorstellungen und Erfahrungen so erhoben werden können, dass sie in einer Evaluation nutzbar sind (House & Howe, 1999).

Wenn es gelungen ist, die Anliegen der Beteiligten und Betroffenen zu klären, kann versucht werden, die möglicherweise sehr heterogenen Ansichten zu einem Konsens zu verdichten (House, 1995) oder einen Minimalkonsens herauszuarbeiten. Oft entscheiden in Konfliktfällen die Einflussreichen, insbesondere die Auftraggebenden der Evaluation.

Im Zusammenhang nutzungsfokussierter bzw. partizipativer Ansätze wird den Evaluierenden neben ihrer beschreibenden und bewertenden zusätzlich eine pädagogische Rolle zugeschrieben, deren Grundidee sogar älter ist als die partizipativen Ansätze selbst (Weiss, 1989): Evaluierende sollen sowohl mithilfe des Evaluationsprozesses wie auch der Evaluationsergebnisse weiterbildend tätig sein und dabei auch Wissen über die Evaluation vermitteln. Dies ist eine der Grundideen der sogenannten Empowerment Evaluation (Fetterman & Wandersman, 2005).

➞ Lösung auf Seite 235

	Übungsaufgabe 8:
	«Aus Einsätzen und Informationsinteressen Evaluationsarten ableiten»Lösen Sie nun die Übungsaufgabe 8 auf Basis von ➞ Tabelle 2, S.47:
	a) (1) Identifizieren Sie in Ihrem Fallbeispiel aus Übungsaufgabe 7 mindestens zwei der nachfolgend beschriebenen Beteiligten und Betroffenen. Geben Sie dabei jeweils an, (2) wer genau – mit Namensangabe – das im Fallbeispiel ist, (3) welche Einsätze (z.B. Hoffnungen, Befürchtungen, Konflikte) diese Personen in Bezug auf das Programm haben, also: in Bezug worauf sie zu gewinnen haben, in Bezug worauf zu verlieren und (4) welche (Informations-)Interessen folglich bestehen, auf die die Evaluation Antworten geben soll.Geldgebende der EvaluationAuftraggebende der EvaluationFinanzierende des ProgrammsTräger des ProgrammsProgrammverantwortlicheProgrammmitarbeitende, LehrendeTeilnehmende/ZielgruppenmitgliederAngehörige der ZielgruppenVorgesetzte, ArbeitgebendeArbeitskolleginnen und -kollegenFachöffentlichkeitAllgemeine Öffentlichkeit/SteuerzahlendeNotieren Sie Ihr Ergebnis in einer Tabelle mit vier Spalten a1), a2), a3), a4).b) Listen Sie beispielhaft auf, welche Evaluationsarten für mindestens zwei der Informationsinteressen infrage kommen, und nennen Sie Begründungen für den Einsatz der gewählten Evaluationsarten. Notieren Sie dieses Ergebnis in einer weiteren Tabelle mit den vier Spalten «Rolle», «Informationsinteresse», «Evaluationsart» sowie «Begründung».

VERTIEFUNGSLITERATUR

❙ Fitzpatrick, J.L., Sanders, J.R. & Worthen, B.R. (2012). Program Evaluation: Alternative Approaches and Practical Guidelines (4^th ed.). Boston: Pearson.

❙ Scriven, M. (1996). Types of Evaluation and Types of Evaluator. Evaluation Practice, 17 (2), 151–161.

❙ Stufflebeam, D. L. & Coryn, C. L. S. (2014). Evaluation Theory, Models, and Applications (2^nd ed.). San Francisco: Jossey-Bass.

❙ Wottawa, H. (1991). Zum Rollenverständnis in der Evaluation und der Evaluationsforschung. Empirische Pädagogik, 5 (2), 151–168.

6 Bestimmung der Evaluationszwecke und -fragestellungen

	Lernziele von Kapitel 6:
	❙ Evaluationszwecke nach Funktionen und Verwendungsabsichten unterscheiden können❙ Angemessene und fördernde Evaluationsfragestellungen formulieren können

Sind der Evaluationsgegenstand beschrieben und die Akteure der Evaluation bestimmt, ist eine weitere zentrale Aufgabe zu erledigen: die realistische Festlegung der Evaluationszwecke sowie die sorgfältige Formulierung spezifizierter, klar orientierender und priorisierter Evaluationsfragestellungen. Dieser Schritt gilt unter Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.191). Zugleich ist er Voraussetzung für die darauffolgenden Evaluationsschritte und führt zusammen mit den vorangehenden zu einem Datenerhebungsplan (➞ Kapitel 8).

6.1 Evaluationszwecke

Für Evaluationen als Auftragsarbeit und wissenschaftliche Dienstleistung sind Anforderungen, Wünsche und Interessen der Auftraggebenden und weiterer wichtiger Stakeholder zentral. Viele Evaluationen sind in einen politischen bzw. organisationalen Kontext eingebunden, der ihre Zwecke und Fragestellungen entscheidend mitbestimmt (Greene, 1990; Stockmann & Meyer, 2014; Widmer & De Rocchi, 2012).

Unterschiedliche Klassifikationen von Evaluationszwecken

Es gibt in der Literatur unterschiedliche Klassifikationen von Evaluationszwecken. Nachfolgend werden zwei herausgegriffen. In ➞ Kapitel 6.1.1 werden in funktionaler Hinsicht proaktive, klärende, interaktive, dokumentierende und wirkungsfeststellende Evaluation unterschieden. In ➞ Kapitel 6.1.2 wird nach Verwendungsabsichten unterschieden und es werden verbesserungsorientierte, entscheidungsorientierte und wissensgenerierende Evaluation dargestellt.

6.1.1 Evaluationszwecke nach Funktionen

Evaluationszwecke lassen sich nach fünf Funktionen unterscheiden. Damit wird einem verbreiteten Missverständnis begegnet. Dieses besteht darin, dass die Intervention – also z.B. die Lehrhandlung – zuerst durchgeführt sein muss und erst danach die Evaluation beginnen kann. Demnach wäre Evaluation immer rückblickend, würde stets versuchen, Erfolg oder Wirkung einer durchgeführten Maßnahme – also z.B. einer bereits gehaltenen Unterrichtsstunde oder einer praktischen Übung – nachträglich zu beschreiben und zu bewerten.

Evaluierbarkeitsprüfung

In den vergangenen 30 Jahren hat sich hingegen in der Evaluationstheorie durchgesetzt, dass zu Beginn einer Evaluation zu bestimmen ist, welche Funktionen sie erfüllen kann und soll. Dies hängt stark von der Reife des zu evaluierenden Programms ab: So können z.B. noch im Entstehen begriffene Programme nicht auf ihre Resultate oder gar Wirkungen hin untersucht werden. Hier bedarf es wichtiger Vorabklärungen bezüglich Bedarfsgerechtigkeit oder Umsetzbarkeit des Programms. Diese Aufgabe wird auch als «Evaluierbarkeitsprüfung» bezeichnet und ist eine Domäne der proaktiven Evaluation.

Angelehnt an Owen und Alkin (2007) werden die in ➞ Abbildung 6 dargestellten fünf Evaluationsfunktionen unterschieden und für den Bildungsbereich veranschaulicht:

Abbildung 6: Funktionen von Evaluation

Proaktive Evaluation

Proaktive Evaluation beginnt vor dem Start einer Bildungsmaßnahme (daher auch «ex-ante Evaluation»). Sie ermittelt, ob überhaupt ein Bedarf an der Maßnahme besteht, ob sie bei gegebenen Ressourcen (wie z.B. Finanzmittel, Lehrkapazitäten und Lehrkompetenzen) und in einem gegebenen Zeitrahmen durchgeführt werden kann bzw. ob solche erst geschaffen werden müssen. Eine allfällige Bedarfsermittlung oder -prüfung wird bei künftigen Bildungsteilnehmenden und eventuell bei Unternehmen und Bildungsinstitutionen durchgeführt, welche die Absolvierenden nachgelagert aus- oder weiterbilden oder beschäftigen. Im Rahmen des Bologna-Systems kann z.B. eine wichtige Fragestellung lauten: Welche Qualifikationsanforderungen haben aufnehmende Masterstudiengänge (eventuell an anderen Hochschulen), sodass das Bachelorangebot passgenau darauf ausgerichtet werden kann? Auch könnten sich Finanzierende des Programms und andere Stakeholder zuvor vergewissern wollen, ob sich der Mitteleinsatz entsprechend ihren strategischen Ziele überhaupt lohnt.

Klärende Evaluation

Klärende Evaluation findet statt, wenn die Umsetzung der Bildungsmaßnahme beschlossen ist und die Detailkonzeption entwickelt werden soll (oder auch in einer Re-Konzeptionierungsphase). Klären meint hierbei, das Konzept einer Bildungsveranstaltung (also das Gesamt von Lernzielen, Lehrmethoden oder interventionen, Lerninhalten etc.) datenbasiert auf Stimmigkeit zu überprüfen und zu bewerten, in welchem Maße das Konzept kohärent ist und auf die festgestellten Bedarfe passt. Es werden Informationen über die Lernausgangssituation erhoben, um zu kontrollieren, ob das geschaffene Lehrangebot eng daran anschließt oder ob z.B. zunächst Propädeutika oder Selbststudienangebote geschaffen werden müssen. Die klärende Evaluation ist eng verbunden mit der didaktischen Grob- und Feinplanung: Welche Interventionen oder Unterrichts-/Lehrmethoden eignen sich für die Verfolgung der Ziele, wie müssen Teilprogramme zeitlich abgestimmt und räumlich verortet werden?

Interaktive Evaluation

Interaktive Evaluation erfolgt parallel zu Bildungsveranstaltungen, besonders in der Entwicklungsphase einer Erstdurchführung oder in der Reorganisationsphase einer wiederholten Durchführung. Voraussetzung ist, dass Programmverantwortliche und -mitarbeitende die Bildungsmaßnahme nicht nur als Pilot, sondern bereits routinierter umsetzen und selbst über Erfahrungen mit deren Stärken bzw. Schwächen verfügen. Diese Evaluationsfunktion kann sich mit der didaktischen Qualität des Unterrichts beschäftigen und z.B. überprüfen, in welchem Maße ein informierender Unterrichtseinstieg erfolgreich gewesen ist oder wieweit es gelingt, die Lernenden zur aktiven Beteiligung an Diskussionen oder in Gruppenarbeiten zu ermuntern, den Unterricht gut zu strukturieren, den roten Faden stets sichtbar zu halten, oder ob sich die Lernenden gut auf die Leistungskontrolle vorbereitet sehen. Damit gibt sie Hinweise, welche Elemente des Unterrichts unverändert beibehalten, welche optimiert und welche gegebenenfalls ausgetauscht werden sollten. Erhebungen finden typischerweise zu mehreren Zeitpunkten statt, z.B. zu Beginn, in der Mitte und gegen Ende der Bildungsmaßnahme. Den Lernenden sollten laufend Rückmeldungen über Zwischenergebnisse oder gezogene bzw. zu ziehende Konsequenzen gegeben werden, um sie zu einer weiteren Beteiligung an den Erhebungen zu motivieren.

Dokumentierende Evaluation

Dokumentierende Evaluation verlangt eine ausgeprägte Programmreife. Sie beschafft Daten zu wichtigen Kennzahlen einer Bildungsveranstaltung oder auch eines großen und komplexen, womöglich national angelegten Programmbündels. Die Evaluierenden vereinbaren mit den wichtigen Stakeholdern einen Kranz von Kennzahlen, die über längere Zeiträume in regelmäßigen zeitlichen Intervallen standardisiert erhoben werden, sodass der Erhebungsaufwand auch bei einer großen Anzahl von Programmdurchführungen oder Umsetzungsorten in vertretbaren Grenzen bleibt. Die Herausforderung besteht darin, relevante, valide messbare Kennzahlen zu identifizieren und die Anzahl der Kennzahlen so zu begrenzen, dass sowohl der Erhebungsaufwand überschaubar bleibt als auch relativ zeitnahe Auswertungen und Interpretationen möglich sind. Häufig werden die «Leistungen» (Outputs) von Bildungsmaßnahmen gezählt und mit denjenigen anderer Bildungsangebote oder Bildungsanbieter verglichen. Beispiele sind Teilnehmendenzahlen von Beginn bis zum Ende der Maßnahme (bei Bildungsveranstaltungen ohne Teilnahmepflicht), Anzahl Lektionen, Arbeitsaufwand für Studierende und Dozierende in Stunden, Anzahl von Diskussionsbeiträgen im Forum der elektronischen Lernplattform, Anzahl durchgeführter (sowie bestandener) Leistungskontrollen oder durch Lehrende erbrachte Beratungsleistungen (Anzahl Beratende, Anzahl Beratene, Betreuungsminuten) etc. Dieses «Monitoring» der Bildungsveranstaltung veranschaulicht das Mengengerüst (unterrichtete Stunden, Teilnahmezahlen etc.) und trägt zum Leistungsausweis der Lehreinheit (z.B. einer Abteilung oder eines Bildungsanbieters) bei. Kennzahlenschemata für diese Evaluationsfunktion werden üblicherweise zentral durch den Träger vorgegeben oder mit den kooperierenden Stakeholdern ausgehandelt. Wenn mehrere Bildungsveranstaltungen z.B. mit denselben Lehrkennzahlen erfasst werden, können diese leicht über Organisationseinheiten zusammengezählt werden und weisen ihre realisierte Lehrkapazität aus. Beispiele für umfassende dokumentierende Evaluationen sind der «Ländermonitor frühkindliche Bildung» sowie der «Monitor Lehrerbildung», beide von der Bertelsmann-Stiftung (mit-)getragen.

Wirkungsfeststellende Evaluation

Wirkungsfeststellende Evaluation setzt reife Bildungsveranstaltungen mit bewährten Konzepten voraus. Für diese kann zum einen geprüft werden, in welchem Maße die Ziele erreicht werden. Üblicherweise sind die Lernziele (Outcome-Ziele) als operationalisierte (also messbare) Detailziele formuliert, sodass Zielerreichungsgrade festgestellt werden können. Ein darüber hinausgehender strenger empirischer Wirkungsnachweis, wie er durch bestimmte Designs erreicht werden kann (➞ Kapitel 8.1), bedarf aufwendigerer Inhouse- oder externer Fremdevaluationen. Lohnenswert ist dies für stark standardisierte Bildungsangebote, also z.B. solche, in denen es um die Aneignung eines genau bestimmten Wissenskanons geht, der über valide Leistungstests gemessen werden kann. Diese Möglichkeit besteht beispielsweise für bestimmte E-Learning-Angebote, wobei auch dort oft nur bei Grundkursen. Strenge Wirkungsnachweise sind dann sinnvoll, wenn Programme sehr stabil und so weit standardisiert oder zumindest ausführlich dokumentiert sind, dass sie auch repliziert werden können, z.B. auch an anderen Orten. Hingegen sind sie für Bildungsangebote, die «Unikate» sind (die in dieser Form, mit diesen Inhalten, mit dieser spezifischen Gruppe von Lernenden und durch diese bestimmte Lehrperson lediglich ein einziges oder wenige Male durchgeführt werden), kaum möglich (typischer Fall: maßgeschneiderter Inhouse-Führungskräfteworkshop). Wenn hier das didaktische Konzept des Bildungsangebots mit Zielen und darauf bezogenen Interventionen gut beschrieben ist, und Zielerreichung festgestellt wird, so kann mit einer hohen Plausibilität davon ausgegangen werden, dass die so angelegte Bildungsveranstaltung zu den festgestellten Resultaten beigetragen hat.

6.1.2 Evaluationszwecke nach Verwendungsabsichten

In ➞ Kapitel 6.1.2 geht es um die primären Absichten, mit denen die einflussreichen Stakeholder die Evaluation verwenden wollen. Unterschieden werden verbesserungsorientierte Evaluation (➞ Kapitel 6.1.2.1), rechenschaftslegungsorientierte Evaluation (➞ Kapitel 6.1.2.2), grundsatzentscheidungsorientierte Evaluation (➞ Kapitel 6.1.2.3) und wissensgenerierende Evaluation (➞ Kapitel 6.1.2.4).

6.1.2.1 Verbesserungsorientierte Evaluation

Bei der verbesserungsorientierten Evaluation geht es um eine Informationsbasis für Verbesserungen. Sie begleitet einen Evaluationsgegenstand (formative Evaluation) und soll auf ihn einwirken.

Sie kann zu verschiedenen Zeitpunkten der Bildungsmaßnahme ansetzen:

Sie ist vor deren Implementation notwendig, wenn zunächst Bedürfnisse und Bedarfe zu klären sind und die Bildungsmaßnahme noch nicht abschließend konzipiert ist, aber von unterschiedlichen Sichtweisen profitieren kann (vgl. proaktive Evaluationsfunktion).

Sind Bedürfnisse geklärt gilt es, Informationen für die Entwicklung des Evaluationsgegenstandes bereitzustellen (vgl. klärende Evaluationsfunktion).

BEISPIEL 9

Ein Softwarehaus will auch Computerschulungen anbieten und ist gerade dabei, ein Konzept zu Unterrichtsmaterialien zu erstellen. Um es entsprechend den neuesten pädagogisch-didaktischen Erkenntnissen zu konzipieren, wird eine Evaluationsstudie in Auftrag gegeben, welche die interne Konsistenz der Konzeption und ihre Passung auf die vorgesehene Zielgruppe überprüft.

Ist die Bildungsmaßnahme vollständig konzipiert und wird sie in der Praxis umgesetzt, richten sich Evaluationsfragestellungen darauf, wie das Konzept implementiert ist, wie die Durchführungspraxis aussieht oder auch, wie mit auftretenden Problemen umgegangen wird. In diesem Zusammenhang wird auch von «Compliance-Evaluation» gesprochen. Hierbei wird untersucht und bewertet, wie konsequent, konzeptgemäß und «treu» eine Maßnahme umgesetzt wird. Auch kann das Verhalten von Mitarbeitenden während einer Maßnahme oder die Einhaltung von zuvor definierten Bedingungen überprüft werden (Balzer, Frey & Nenniger, 1999, S.405). Auf diesen Informationen aufbauend kann die Bildungsmaßnahme angepasst werden. Ein unwirksames Programm braucht nicht unbedingt eine neue Konzeption, sondern eventuell eine andere oder stringentere Implementierung.

BEISPIEL 10

Implementationsfragestellungen richten sich z. B. darauf, ob eine Schulung auch tat- sächlich wie geplant abgelaufen ist bzw. ob die vorgenommenen Veränderungen angemessen sind. Dabei wird beispielsweise überprüft, ob die beschriebenen Lerninhalte in der vorgesehenen Art und Weise tatsächlich unterrichtet worden sind. Oftmals sind positiv beantwortete Implementationsfragestellungen Voraussetzung für die nachfolgende Untersuchung von Resultaten der Schulung. Denn nur wenn man genügend über die konkrete Programmdurchführung weiß, können die Evaluationsergebnisse zu den Resultaten der Schulung angemessen interpretiert werden.

Angenommen, es ist das Ziel einer Computerschulung, in einem Tageskurs die wich- tigsten Kenntnisse zur Benutzung des Internets zu vermitteln. Die Lernerfolgsüber- prüfung fällt sehr schlecht aus. Die Tatsache, dass während des Kurses ein heftiger Streit unter den Teilnehmenden ausgebrochen war, der zunächst geschlichtet werden musste, sodass eine Stoffvermittlung und -erarbeitung zeitweise nicht möglich war, wirft ein völlig anderes Licht auf die Evaluationsergebnisse, als wenn dem Schulungsplan ohne jede Störung gefolgt worden wäre.

Weiß man, dass sowohl die Implementation als auch der «Dauerbetrieb» wie geplant ablaufen, können Evaluationsfragestellungen zu Stärken und Schwächen der Maßnahme verfolgt werden.

BEISPIEL 11

Ein anderes Softwarehaus ist schon ein wenig weiter: Die Konzeption der Schulungen ist abgeschlossen und hat sich in einer ersten Umsetzungsphase bewährt. Eine Evaluationsstudie soll für den alltäglichen Einsatz klären, wie gut mit dem aktuellen Angebot die Ziele erreicht werden und an welchen Stellen Verbesserungen erforderlich sind.

Aus der Analyse der Stärken und Schwächen entstehen oft Ideen für die Modifikation der laufenden oder ähnlicher Maßnahmen.

Auch können differenzierte Wirkungen von Maßnahmen interessieren. Bei welchen Rahmenbedingungen erzielt der Evaluationsgegenstand besonders gute, wann oder für welche Personengruppen eher schlechte Resultate? Aus den Ergebnissen der Evaluation lassen sich differenzierte Modifikationsideen ableiten.

BEISPIEL 12

Eine Softwareschulung kann je nach Rahmenbedingung unterschiedliche Wirkungen haben. So gibt es Schulungsmaßnahmen, bei denen Teilnehmerinnen besser lernen, wenn sie von Dozentinnen unterrichtet werden, oder ein Schulungskonzept lässt sich am besten bei kleinen Lerngruppen durchführen. Ein anderes braucht bestimmte Vorkenntnisse aufseiten der Teilnehmenden, noch ein anderes erzielt besonders bei Anfängerinnen und Anfängern gute Resultate.

Generell kann festgehalten werden, dass verbesserungsorientierte Ansätze zunächst eine konkrete Maßnahme mit ihren Rahmenbedingungen untersuchen und Optimierungsideen ableiten.