Lernerfolgsmessung in Lernfabriken
Kompetenzorientierte Weiterentwicklung praxisnaher Schulungen

Michael Tisch, Christian Hertle, Joachim Metternich und Eberhard Abele, TU Darmstadt

Lernfabriken werden in den letzten Jahren vermehrt zur Entwicklung von Mitarbeiterkompetenzen eingesetzt. Den Teilnehmern sollen hierbei nicht träges Wissen oder Verhaltensweisen für bekannte Situationen vermittelt werden, vielmehr soll die Fähigkeit zur kreativen, selbstorganisierten Handlung entwickelt werden. Um dieses Ziel zu erreichen, ist eine Überprüfung der tatsächlichen Wirkungen von Schulungen notwendig. Bisher gibt es keine Methode, den Lernerfolg in Lernfabriken kompetenzorientiert zu erfassen. Im vorliegenden Beitrag wird ein Vorgehen zur ergebnisorientierten Evaluation mithilfe von Handlungsaufgaben vorgestellt. Somit können Schwachstellen aktueller Programme identifiziert und Schulungen kontinuierlich verbessert werden.

Um im internationalen Wettbewerb bestehen zu können, müssen sich Produktions- und Dienstleistungsunternehmen ständig an neue Rahmenbedingungen anpassen. Dabei spielt die Forderung nach Wandlungsfähigkeit von Fabriken und Betrieben eine wichtige Rolle. Ein zielgerichteter und effektiver Aufbau produktionsrelevanter Kompetenzen sowie die Befähigung, diese selbstständig anzupassen und weiterzuentwickeln, sind entscheidende Voraussetzungen für wandlungsfähige Unternehmen [1]. Im Fokus steht dabei die kompetenzorientierte Ausbildung der sogenannten „Knowledge Worker“. Nur so kann sich auch zukünftig die Produktion in Hochlohnländern rechnen [2]. Um die benötigten produktionstechnischen Kompetenzen zu entwickeln, bieten sich insbesondere Lernfabriken als handlungsorientierte Schulungsumgebungen an [3]. Kompetenzentwicklung bedeutet, die selbstorganisierte Handlungsfähigkeit der Teilnehmer auch in komplexen, neuartigen Umgebungen sicherzustellen [4, 5]. Die hierfür benötigten kompetenzorientierten Lernziele sind jedoch nur sinnvoll, wenn sie auch überprüfbar gemacht werden können [6].

Um Schulungen in Lernfabriken im Sinne des kontinuierlichen Verbesserungsprozesses zu optimieren [7], werden also Rückschlüsse bezüglich der Wirkung dieser Schulungen benötigt. Dafür müssen Lernprozesse sowie der Lernerfolg der Schulungen mit einem geeigneten Instrument analysiert und messbar gemacht werden [8]. Im Folgenden wird solch ein Vorgehen vorgestellt, welches am Beispiel der Prozesslernfabrik CiP (Technische Universität Darmstadt) validiert wurde.


Lernerfolgsmessung in Lernfabriken

Die Evaluation von Personalentwicklungsmaßnahmen soll die Qualität sowie den Erfolg der Schulungen über die unterschiedlichen Phasen des Weiterbildungsprozesses kontrollieren, um damit die Basis zur Verbesserung der Schulungen zu ermöglichen [9].

Gegenstand des vorliegenden Beitrags ist die Evaluierung am Ausgang der Lernfabrik (Bild 1). Hierzu liefert Kirkpatrick das in der Praxis am meisten beachtete Modell [10]. Kirkpatrick unterteilt dabei in die vier Ebenen: Reaktion, Lernen, Verhalten, Resultate [11]. Eine positive Abhängigkeit von der unteren auf die darüber liegenden Ebenen konnte in Studien jedoch nicht bestätigt werden [12] – von der Zufriedenheit der Teilnehmer kann also nicht auf einen entsprechenden Lernerfolg oder gar darüber hinaus geschlossen werden. Kirkpatricks Modell ermöglicht jedoch eine pragmatische und anschauliche Einordnung ergebnisbezogener Evaluierungsaktivitäten [13].

 


Bild 1: Möglichkeiten der Evaluation entlang
des Weiterbildungsprozesses, in Anlehnung an
[11, 12, 14, 15]. 


Reaktion

In der Praxis soll die Evaluation des Erfolgs von Weiterbildungsprogrammen meist über eine standardisierte Zufriedenheitsbefragung der Teilnehmer am Ende des Trainings abgefragt werden („Happy Sheets“) [14]. Wie oben dargestellt, kann jedoch von der unmittelbaren Reaktion der Teilnehmer nicht auf die darüber liegenden Ebenen und damit auf den Lern- und Transfererfolg geschlossen werden. 


Lernen

Häufig wird der Lernerfolg mithilfe von Wissenstests abgeprüft [16]. Dies greift an dieser Stelle jedoch deutlich zu kurz, da nicht die Vermittlung des Wissens, sondern die Entwicklung von Kompetenzen Ziel der Lernfabrikschulungen sind [4] und Wissen nicht mit Kompetenz gleichgesetzt werden kann. Vielmehr bildet das Wissen an sich die Basis für selbstorganisiertes Handeln in komplexen Situationen und stellt damit nur einen Teil der Kompetenz dar [5].

Transfer

Der Transfererfolg ist eng mit der Entwicklung von Kompetenz verknüpft. Gelingt die Entwicklung der intendierten Kompetenzen bei den Schulungsteilnehmern, so sind diese der Definition nach auch in der Lage, das Gelernte selbständig im eigenen Unternehmen anzuwenden [5]. Über die Kompetenzen wird also ein direkter Zusammenhang zwischen Lernen und Transfer geschaffen.

Resultate

Im Bereich Resultate ist die Wirtschaftlichkeit der Weiterbildungsmaßnahmen von Interesse (Return on Training). Die Planung und Durchführung einer Messung des Erfolgs auf der obersten Ebene ist sehr aufwändig und kann in den meisten Fällen lediglich eine verbesserte Arbeitsproduktivität erfassen: Durchgeführte Studien zeigen jedoch, dass der Return on Training in vielerlei Formen auftritt und nicht in jedem Fall eine gesteigerte Arbeitsproduktivität zur Folge hat [10]. Eine Evaluation der Resultate sollte deshalb immer auch die darunter liegenden Ebenen berücksichtigen [17].

Der vorliegende Beitrag adressiert die Messung des Lernerfolgs, wobei nicht nur Wissenselemente abgefragt werden sollen, sondern die selbstorganisierte Handlungsfähigkeit der Teilnehmer im Mittelpunkt steht. Da Kompetenzen selbst nicht direkt sichtbar sind, ist eine praxistaugliche Messung schwierig [5]. Im Gegensatz dazu sind deren Ausprägungen (Handlungen) beobachtbar und deren Voraussetzungen (Wissens-
elemente) abfragbar [18]. Um den Lernerfolg der Schulungsteilnehmer zu messen, müssen also deren Handlungen beobachtet werden und mit geeigneten Fragen das zugrunde liegende Wissen abgeprüft werden. Hier bietet die Lernfabrik durch die Art der handlungsorientierten Schulung eine ausgezeichnete Basis. Um Rückschlüsse auf die entwickelten Kompetenzen ziehen zu können, müssen die Schulungsteilnehmer die Handlungen in einer – den zu vermittelnden Kompetenzen entsprechenden – neuartigen Situation durchführen.

 


Bild 2: Vorgehen zur Weiterentwicklung von Lernfabrikschulungen.

Das Vorgehen zur Messung des Lernerfolgs und zur Weiterentwicklung von Lernfabrikschulungen mithilfe von Handlungsaufgaben ist in Bild 2 veranschaulicht und kann in die Phasen Vorbereitung, Durchführung und Nachbereitung der Messung eingeteilt werden. 

Um die Basis für eine zielorientierte Verbesserung der Schulung zu legen, müssen die Kompetenztransformationstabelle (1A) und darauf basierend die Lernfabrikschulung (1B) entwickelt werden (für eine ausführliche Erläuterung zur kompetenzorientierten Gestaltung einer Lernfabrikschulung mit der Kompetenztransformationstabelle [8]). Basierend auf der Kompetenztransformation muss eine Handlungsaufgabe (1C) zur lernzielorientierten Evaluation erstellt werden. Im Rahmen der beschriebenen Untersuchung wurden Lernziele ausschließlich im Bereich der fachlich-methodischen Kompetenzen definiert (1A), adressiert (1B) und in überprüfbar gemacht (1C). Eine schrittweise Ausweitung auf weitere Kompetenztypen, wie z. B. sozial-kommunikative Kompetenzen [5], ist geplant.

Gestaltung und Durchführung von Handlungsaufgaben

Bei der Entwicklung einer Handlungsaufgabe ist es entscheidend, die intendierten Kompetenzen zu adressieren, d. h. das Szenario der Aufgabe sollte mit den Anforderungen der Realität bezüglich der Handlungsfähigkeit der Teilnehmer in Einklang gebracht werden. Um dies zu erreichen, wird auf die Tabelle zur Kompetenztransformation zurückgegriffen. Die Kompetenztransformationstabelle beschreibt ausgehend von den intendierten Kompetenzen der Schulung die zugehörigen Handlungen sowie deren Wissenselemente – speziell das Professionswissen und das  konzeptuelle Wissen [19]. 

Mithilfe dieses Kompetenz-Handlungs-Wissenssystems lassen sich Handlungsaufgaben in den folgenden drei Schritten erstellen:

1.    Die den intendierten Kompetenzen zugehörigen Handlungen aus der Kompetenztransformationstabelle identifizieren.

2.    Ein Szenario kreieren, in dem möglichst viele dieser Handlungen stattfinden (müssen), um ein gesetztes Ziel zu erreichen.

3.    Ausgangssituation und Zielstellung den Schulungsteilnehmern zur Verfügung stellen.

 


Bild 3: Beispiel zur Gestaltung von Handlungsaufgaben.

Im Folgenden werden diese drei Schritte im Detail betrachtet und anhand eines Beispiels verdeutlicht (Bild 3). 

Schritt 1: Ausgehend von der Kompetenztransformationstabelle bilden die Handlungen die Basis für die Handlungsaufgabe – das Erstellen der Kompetenztransformationstabelle wird in [8] beschrieben. 

Schritt 2: Nachdem die notwendigen Handlungen identifiziert sind, muss nun ein Szenario erstellt werden, das die Durchführung der Handlungen erfordert. Dabei werden die intendierten Kompetenzen der Schulung dadurch eingefordert, dass die Teilnehmer die entsprechenden Problemstellungen selbstorganisiert, d. h. möglichst ohne Hilfe des Moderators o. ä., in einer fremden Umgebung bewältigen sollen – können Teilnehmer an einzelnen Stellen der Aufgabe trotz einiger Anstrengung nicht eigenständig fortfahren, unterstützt der Moderator durch führende Fragen bzw. sollte auch das nicht genügen durch Vorgabe des nächsten Schritts. Da solch ein Szenario je nach Thema und Lernumgebung der Schulung sehr unterschiedlich aufgebaut sein kann, werden an dieser Stelle allgemeingültige Erfolgsfaktoren für die Erstellung genannt:

  • Die Handlungsaufgabe findet in einem anderen Lehr-/Lernumfeld als die Schulung statt, so kann eine Transferleistung eingefordert werden.
  • Die Zielsetzung der Handlungsaufgabe erzwingt die Durchführung eines Großteils der unter Schritt 1 identifizierten Handlungen.
  • Die Komplexität der Aufgabe ist hoch, um die Teilnehmer fordern zu können.

Schritt 3: Zuletzt wird das Szenario der Handlungsaufgabe den Teilnehmern anhand einer Beschreibung der Ausgangslage sowie einer Zielsetzung in Form einer Aufgabenstellung vermittelt. Dabei ist es entscheidend, Informationen zu liefern, die für die Erfüllung des Ziels notwendig sind, ohne jedoch zu große Hilfestellung bezüglich des Vorgehens zu geben. Die Bearbeitung der Handlungsaufgabe kann sowohl individuell als auch in kleinen Gruppen durchgeführt werden. Je kleiner die Gruppen hierbei sind, umso aussagekräftiger sind die Ergebnisse der Evaluation. 

Strukturierte Beobachtung und Bewertung der Handlungsaufgabe 

Um Wirkungen der Lernfabrikschulung analysieren zu können, wurde ein Beobachtungsleitfaden erstellt, anhand dessen die praxisrelevanten Handlungen der Teilnehmergruppen in der konstruierten, komplexen Situation beobachtet und bewertet werden können. Der Beobachtungsleitfaden basiert auf der erstellten Kompetenztransformationstabelle (1A, Bild 2), die um umfassende Beobachtungskriterien erweitert wurde und die Handlungen bezüglich selbständiger Handlungsfähigkeit, Herleitung des Vorgehens, Aktivität der Teilnehmer und Ergebnis beurteilen soll. 

Anhand des Beobachtungsleitfadens lassen sich die Handlungen in einer begleitenden Beobachtung protokollieren. Für die Handlungen werden Indikatoren definiert, die während der Handlungsaufgabe beobachtbar sind. Den Indikatoren wird dabei im Vorfeld eine Bewertung bezüglich der beobachteten Handlungsqualität zugewiesen. Der begleitende Beobachter wird durch die vorstrukturierte Beobachtung entlastet und kann sich bei der Aufnahme der Einzelhandlungen auf die für die Auswertung entscheidenden Punkte konzentrieren – der vorstrukturierte Leitfaden erleichtert anschließend ebenso die Bewertung der Handlungen. Diese fließen gewichtet (subjektive Einschätzung des Schulungsanbieters, je nach Bedeutung für die Erreichung der Lernziele) in die Bewertung der zugeordneten Kompetenz ein. 

Um sicherzugehen, dass Teilnehmer nicht lediglich diese eine Handlung durchführen können, sondern auch das für die generelle Handlungsfähigkeit entscheidende zugrunde liegende Wissen verinnerlicht haben, sollten die Beobachter mit ihren Fragen nicht nur leiten („Was ist der nächste Schritt?“) sondern auch hinterfragen („Warum der nächste Schritt?“). Um den Fluss der Aufgabenbearbeitung nicht immer wieder zu unterbrechen, kann das Hinterfragen der Handlungen nach dem Bearbeiten der Aufgabe in Form eines Fachgesprächs stattfinden.


Bild 4: Ergebnisse der Lernerfolgskontrolle mit 6 Gruppen. 

Nachbereitung – Auswertung der Handlungsaufgabe und Anpassung der Schulung

Nach der Bewertung der Handlungsfähigkeit der Teilnehmer können die Lernziele aus der Kompetenztransformationstabelle mit der tatsächlich beobachteten Handlungsfähigkeit in der komplexen Realsituation verglichen werden. Mithilfe der gewonnenen Informationen aus der Handlungsaufgabe werden Schulungen entsprechend der identifizierten Schwachstellen angepasst. Auf diese Weise wird eine kontinuierliche Verbesserung der Lernfabrikschulungen erreicht – die tatsächlich entwickelten Kompetenzen nähern sich dabei schrittweise den Zielkompetenzen an.

Können die Teilnehmer die Aufgabe selbstständig, strukturiert lösen und besitzen das der Kompetenz (Ki) zugrunde liegende Wissen, würde Ki mit 100 % bewertet (Ziel der Schulung). Werden einzelne, zuvor definierte, Indikatoren zur Handlungsfähigkeit nicht beobachtet, resultiert eine Abwertung der Wirkung. Die Prozentzahlen sind zu den Erwartungen und Zielen einer Schulung relative Werte, sie sind abhängig von der jeweiligen Bewertung und Gewichtung der Indikatoren und erlauben somit keinen schulungsübergreifenden Vergleich des Erfolgs – die Wirkung einer Schulungsüberarbeitung hingegen wird auf diese Weise mess- und kontrollierbar.

Bild 4 zeigt eine Auswertung der Handlungsaufgabe mit 6 Studentengruppen. Die Gruppen 1-3 nahmen an der ursprünglichen, die Gruppen 4-6 an einer weiterentwickelten Schulung teil. Die Aufgaben im Bereich der Kompetenz K1 wurde von den Teilnehmern aller Gruppen nicht als Teil der Handlungsaufgabe wahrgenommen – über die Handlungsfähigkeit in diesem Bereich kann entsprechend keine Aussage getroffen werden (ggf. sind Änderungen der Aufgabenstellung, der Zielsetzung der Schulung oder der Schulung selbst nötig). Der Fokus der Verbesserungsaktivitäten lag auf der Kompetenz K2, hier ist ein deutlicher Sprung im Grad der Zielerreichung von 6-18 % auf 44-52 % erkennbar. Auch bezogen auf die Kompetenzen K3 und K4 konnte mit dem beschriebenen Vorgehen die Schulung zielorientiert verbessert werden. In den nächsten Durchläufen wird die Schulung auf dieselbe Art schrittweise verbessert.

Zusammenfassung und Ausblick

Im vorliegenden Beitrag wird gezeigt, wie Handlungsaufgaben dafür verwendet werden können, den Erreichungsgrad kompetenzorientierter Lernziele erfassbar zu machen. Schwachstellen der Schulungen können so lernzielbezogen erfasst, verbessert und Schulungen damit kontinuierlich weiterentwickelt werden. Neben der Evaluierung des Lernerfolgs erleichtern Handlungsaufgaben ebenso den Transfer des Gelernten von der Lernfabrikumgebung ins eigene Unternehmen – dieser stellt aktuell oftmals ein Hindernis dar [20]. In Zukunft müssen Konzepte gefunden werden, wie der Transfer weiter unterstützt werden kann. 

Dieser Beitrag entstand im Rahmen des Projekts „Innovative Lernmodule und -fabriken“, das vom Bundesministerium für Bildung und Forschung unter dem Kennzeichen 03V0137 gefördert wird.

Schlüsselwörter:

Lernfabriken, Lernerfolg, Kompetenzentwicklung, Handlungsaufgabe

Literatur:

[1] Abele, E.; Reinhart, G.: Zukunft der Produktion. München 2011.
[2] Mavrikios, D.; Papakostas, N.; Mourtzis, D.; Chryssolouris, G.: On industrial learning and training for the factories of the future. In: Journal of Intelligent Manufacturing 24 (2013) 3, S. 473-85.
[3] Cachay, J.; Abele, E.: Developing Competencies for Continuous Improvement Processes on the Shop Floor through Learning Factories. In: Proceedings of the 45th CIRP Conference on Manufacturing Systems (CIRP CMS) 2012, S. 638-43.
[4] Abele, E.; Tenberg, R.; Wennemer, J.; Cachay, J.: Kompetenzentwicklung in Lernfabriken für die Produktion. In: ZWF 105 (2010) 10, S. 909-13.
[5] Erpenbeck, J.; Rosenstiel, L. von: Handbuch Kompetenzmessung, 2., überarbeitete und erweiterte Auflage. Stuttgart 2007.
[6] Tenberg, R.: Lerndiagnostik im kompetenzorientierten Unterricht. In: Zeitschrift für Berufs- und Wirtschaftspädagogik 108 (2012) 4, S. 481-90.
[7] Krüger, C.; Winkens, M.; Nyhuis, P.: Continuous Improvement of Simulation Games. In: Proceedings of the 22nd International Conference on Production Research 2013.
[8] Tisch, M.; Hertle, C.; Cachay, J.; Abele, E.; Metternich, J.; Tenberg, R.: A Systematic Approach on Developing Action-oriented, Competency-based Learning Factories. In: Proceedings of the 46th CIRP Conference on Manufacturing Systems (CIRP CMS) 2013, S. 580-85.
[9] Solga, M.: Evaluation der Personalentwicklung. Wiesbaden 2011.
[10] Smith, A.: Return on investment in training. Research readings. Adelaide, Australien 2001.
[11] Kirkpatrick, D. L.: Evaluating training programs, 2. Auflage. San Francisco 1998.
[12] Alliger, G. M.; Tamnenbaum, S. I.; Bennett Jr., W.; Traver, H.; Shotland, A.: A Meta-Analysis of the Relations among Training Criteria. In: Personnel Psychology 50 (1997) 2, 341-358.
[13] Nerdinger, F. W.; Blickle, G.; Schaper, N.: Arbeits- und Organisationspsychologie. Berlin 2011.
[14] Becker, F. G.; Wittke, I.; Friske, V.: “Happy sheets”. Bielefeld 2010.
[15] Gessler, M.: Gestaltungsorientierte Evaluation und der Return on Investment von Weiterbildungsprogrammen. In: bwp@ (2005) 9.
[16] Lohaus, D.; Habermann, W.: Weiterbildung im Mittelstand. München 2011.
[17] Fritz, T.: Die monetäre Bewertung von Bildungsmaßnahmen als Teilaspekt des betrieblichen Bildungscontrollings. Hamburg 2012.
[18] Jung, E.: Kompetenzerwerb. München 2010.
[19] Pittich, D.: Studie zur Überprüfung des Zusammenhangs von Verständnis und Fachkompetenz bei Auszubildenden des Handwerks. Fachportal Pädagogik 2011.
[20] Reiß, J.: Analyse und Bewertung des Lern- und Transfererfolgs von Schulungsmodulen in der Prozesslernfabrik CiP. Bachelor Thesis, Darmstadt 2013.