10 Jahre Online-Evaluation der TA-Ausbildung

Vor 12 Jahren nahm ich die Einladung des Wissenschaftsrats zur Mitarbeit an mit dem Ziel, für den großen Ausbildungsverband DGTA ein Evaluationssystem zu erstellen. Ein unbedingter Bestandteil eines jeden Qualitätsmanagements insbesondere im Bildungsbereich.

In einer Expertenrunde, in der alle Fachgruppen vertreten waren,  wurden Items für den Erhebungsbogen entwickelt. Ziel war es, Kompetenzziele jeder guten TA Ausbildung zu erfassen und den Lernfortschritt zu erfragen. Neben diesen TA spezifischen inhaltsbezogenen Items sollten auch prozessbezogene Fragen zu Leitung und Gestaltung der Veranstaltung mit Kriterien guter TA-Didaktik sowie demographische Daten erhoben werden.

An einem Pre-Test nahmen 103 Teilnehmer aus 19 Weiterbildungsveranstaltungen Teil. Das Institut für Praxisforschung der Evangelischen Hochschule Nürnberg übernahm die wissenschaftliche Auswertung des Ergebnisses und bestätigte in einem Gutachten zur Validität und Reliabilität der Skalen, dass „sowohl die inhaltliche Validität als auch die Reliabilität des Fragebogens in ausreichendem Umfang“ gegeben sind. [1, S. 15]

Dieses hervorragende Ergebnis wurde zwei Jahre später bei einem Re-Test auf der Basis von 313 Datensätzen von Teilnehmern aus 82 Veranstaltungen von 27 Lehrenden in vollem Umfang bestätigt. In der Auswertung der Hochschule heißt es, dass nun „sehr sicher von einer ausreichenden Validität und Reliabilität des Instrumentariums auszugehen ist.“ [2, S. 25]

2017 wurde zur Sicherheit auch noch eine explorative Faktorenanalyse und Reliabilitätsmessung der Skala „Veranstaltungsleitung und Veranstaltungsgestaltung“  vom Institut für Psychologie der Pädagogischen Hochschule Heidelberg durchgeführt. Auch hier fiel das Ergebnis überaus positiv aus. Im Fazit des Gutachtens heißt es: es konnte „eine inhaltlich gut zu interpretierende, konstruktvalide und gut reliable Skala … gebildet werden. Eine inhaltliche Überarbeitung ist aus Sicht der Analyse nicht nötig, da alle Items auf den gefundenen Faktor ausreichend hoch laden.“ [3, S. 16]

Zum Start des Evaluationssystems am 1.4.2012 erschien am 10.5.2012 das Handbuch zum DGTA Online-Evaluations-System [4], in dem die Funktionen für Veranstaltungsleiter wie für Administratoren beschrieben sind und der Erhebungsbogen abgedruckt ist. Der Erhebungsbogen kann von Veranstaltungsleitern im Menuefeld der Evaluation zur Einsicht wie zum Download geöffnet werden. Eine kurze Gebrauchsanleitung findet sich auf der DGTA Homepage bei den Dokumenten der Gruppe EVA unter „FAQ fuer EVA“ [5].

Die Daten der Evaluation werden auf den Servern der Evangelischen Hochschule Nürnberg gespeichert, die auch die Datensicherheit garantiert. Der/Die Teilnehmer*in kann sich den ausgefüllten Erhebungsbogen unmittelbar nach dem Ausfüllen ausdrucken. Ein späterer Rückschluss auf die Daten ist – auch mit dem Zugangsschlüssel – nicht möglich. Die Leiter*innen der Veranstaltungen erhalten eine Auswertung der Rückmeldungen nur anonymisiert und keine personenbezogenen Daten. Die DGTA erhält Gesamtauswertungen, die keinen Rückschluss auf die Weiterbildungsteilnehmer*innen und keinen Rückschluss auf die Ausbilder*innen zulassen. Die Anonymität der Daten hat bei der Online-Evaluation der DGTA oberste Priorität! Das gilt auch bei Anfragen zur wissenschaftlichen Forschung mit den Daten. Die Hochschule Nürnberg hat sich vertraglich verpflichtet, Daten auch für diesen Zweck und nach vorheriger Genehmigung des Wissenschaftsrats nur anonymisiert zur Verfügung zu stellen.

Verschiedene Datenanalysen zeigen, dass sowohl Teilnehmer*innen an Einzelveranstaltungen wie Teilnehmer*innen an einer kontinuierlichen Weiterbildungsgruppe gleichermaßen überaus zufrieden mit ihrer TA Weiterbildung sind. [6, S. 6f]

Dabei wird die Ausbildungsstruktur der EATA im Blick auf den Kompetenzgewinn voll bestätigt. So konnte gezeigt werden, dass bei kontinuierlicher Teilnahme der Kompetenzzuwachs signifikant höher ist als bei einmaliger Teilnahme. Auch die lange Dauer einer TA Ausbildung wird deutlich durch einen mit der Anzahl der Ausbildungsjahre signifikant höheren Kompetenzzuwachs  gerechtfertigt. [7, S. 6ff]

Das gilt für alle Anwendungsfelder, wenngleich es im Blick auf Kompetenzbereiche auch signifikante Unterschiede zwischen den Anwendungsfeldern gibt [6, S. 7f und 7, S. 9ff]

Bedeutsam für den Lerngewinn war auch die Zufriedenheit der Teilnehmer*innen mit den Rahmenbedingungen der Veranstaltung, die in Kategorie 7 des Erhebungsbogen mit Aussagen zur Leitung, den Inhalten und der Gestaltung der Veranstaltung erfragt wird. [7, S. 18f]

Allerdings ist eine Tendenz zu erkennen, dass je jünger die Teilnehmer*innen sind, der subjektive Kompetenzzuwachs leicht geringer beurteilt wird. [6, S. 4f]

Weiterbildungskandidat*innen sind mit ihrer Ausbildung überzufällig zufriedener, wenn sie vernetzt sind. [6, S. 9]. Auch das bestätigt gute Ausbildungspraxis, die Peerarbeit und Intervision fördert.

Eine Bestätigung der Einführung der 3-jährigen Abschlüsse kann aus dem Analyseergebnis gezogen werden, das besagt, dass Personen, die eine Zertifizierung anstreben, systematisch über höhere Kompetenzzuwächse berichten. [7, S. 13f]

Macht dann die Fortführung der Ausbildung zum CTA noch einen Sinn? Gibt es in der Gruppe 4. bis 12. Ausbildungsjahr noch einen Kompetenzzuwachs? Eine eigene Datenanalyse dazu bestätigt, dass Kompetenz eine generische Größe ist. „Je höher die Erfahrung, d.h. je mehr Ausbildungsjahre die Teilnehmerinnen und Teilnehmer absolviert haben, desto höher geben diese im Mittel die wahrgenommene Kompetenz an.“ [8, S.8] Im Fazit der Studie heißt es: „In der Gesamtbetrachtung können bedeutsame Hinweise auf einen positiven Zusammenhang zwischen der Ausbildungsdauer und der wahrgenommenen Kompetenz der Veranstaltungsteilnehmerinnen und Veranstaltungsteilnehmer konstatiert werden. Zudem ist das Evaluationsinstrument der DGTA in der Lage diesen auch nachzuweisen, was als Hinweis auf Validität zu werten ist.“ [8, S.12]

Alles nicht neu, hab ich schon immer gewusst, mag so mancher sagen. Andere sehen in den Ergebnissen den Gewinn, das, was sie schon immer wussten, nun auch wissenschaftlich geprüft behaupten zu können.

In einem IJTARP – Aufsatz vom July 2017 [9] und einem Artikel in ZTA 4 / 2019 [10] habe ich das Evaluationssystem dargestellt und begründet.

Alle Gutachten, Datenanalysen und Publikationen kann der/die interessierte Leser*in über die DGTA Homepage, interner Bereich, Gruppe EVA/Dokumente („Publikationen zur Evaluation der DGTA_mit Link“) einsehen.

Die solide begründete Qualität von TA Ausbildung können sich Lehrende durch ein Siegel bestätigen lassen. 37 Lehrende (Stand 6.4.2022) führen das Siegel bereits in ihrem Internetauftritt oder ihrer Signatur. Bist Du dabei?

Insgesamt haben bisher 58 Lehrende an der Evaluation teilgenommen. Wenig oder viel? Für den sorgfältigen Statistiker bleibt das eine offene Frage, weil nicht bekannt ist, wie viele der 130 TA Lehrenden tatsächlich Ausbildungsgruppen habe. Belegt ist allerdings, dass in den letzten Jahren ca. 68 Lehrende zu einem zertifizierten TA Abschluss ausgebildet haben, dreijährige Ausbildung ebenso wie CTA (Auskunft DGTA Geschäftsstelle 8.4.2022).

Mittlerweile liegen 1400 Datensätze von Teilnehmer*innen aus 372 Veranstaltungen vor (Stand 8.4.2022). Eine neue Forschungsrunde kann beginnen. Wer eine interessante Forschungsfrage hat, eine Bachelor- oder Masterarbeit schreiben will oder den Datenbestand für seine Dissertation nutzen will, schreibe eine kurzes Exposé und sende es an den in Osnabrück neu zu wählenden Wissenschaftsrat über die Geschäftsstelle <gs@dgta.de>.

Mach mit bei der Evaluation Deiner Veranstaltungen. Es tut nicht weh aber tut gut – dem Ausbildungsverband DGTA, dem Anwenderverband DGTA und der Qualität Deiner Ausbildungspraxis.

Norbert Nagel
Projektleiter Evaluation im Wissenschaftsrat der DGTA

Literatur:

[1] Prof. Dr. König J, Ottmann S.: Entwicklung eines Fragebogens zur Messung des Kompetenzzuwachses durch die Seminare der DGTA : Wissenschaftliches Gutachten zur Validität und Reliabilität der Skalen. Nürnberg, Evangelischen Hochschule, Institut für Praxisforschung und Evaluation; 2012

[2] Prof. Dr. König J, Ottmann S.: Entwicklung eines Fragebogens zur Messung des Kompetenzzuwachses durch die Seminare der DGTA : Wissenschaftliches Gutachten zum Re-Test. Nürnberg, Evangelischen Hochschule Institut für Praxisforschung und Evaluation; 2014

[3] Prof. Dr. Dörfler T, M. Sc. Wildbrett J.: Entwicklung eines Evaluationsfragebogens der DGTA – Explorative Faktorenanalyse und Reliabilitätsmessung der Skala „Veranstaltungsleitung und Veranstaltungsgestaltung“ : Wissenschaftliches Gutachten. Heidelberg, Pädagogische Hochschule Institut für Psychologie; 2017

 [4] Deutsche Gesellschaft für Transaktionsanalyse e. V.: DGTA Online-Evaluations-System : Handbuch mit Erhebungsbogen. Neckargemünd bei Heidelberg, Verlag IPE; 2012/zweite Aufl. 2019

[5] Nagel N.: FAQ für EVA. Neckargemünd bei Heidelberg, Verlag IPE; 2021

[6] Prof. Dr. Dörfler T, Wildbrett J.: Datenanalyse zu den Zusammenhängen der Fragebogenkategorien 7 und 9 des DGTA-Evaluationsfragebogens : Ergebnisübersicht und Interpretationen. Heidelberg, Pädagogische Hochschule Institut für Psychologie; 2017

[7] Prof. Dr. Dörfler, T, Wildbrett J.: Datenanalyse zu den Zusammenhängen der Fragebogenkategorien 2 bis 5 mit den Kovariaten der Kategorien 7 und 9 des DGTA-Evaluationsfragebogens : Ergebnisübersicht und Interpretationen. Heidelberg, Pädagogische Hochschule Institut für Psychologie; 2017

[8] Wildbrett J.: Pädagogische Hochschule Heidelberg, Institut für Psychologie: Datenanalyse zum Zusammenhang der Ausbildungsdauer und der subjektiv empfundenen Kompetenz : Ergebnisübersicht und Interpretationen. Heidelberg, Pädagogische Hochschule Institut für Psychologie; 2017

[9] Nagel N, Prof. König J, Ottmann S, Hahnle A.: The development by the German Transactional Analysis Association of a scientifically-based online evaluation system of transactional analysis training. IJTARP Vol. 8 No 2; July 2017

[10] Nagel N.: Evaluation von Weiterbildung in Transaktionsanalyse : Qualitätsmanagement der DGTA durch eine Online-Evaluation auf wissenschaftlicher Basis. ZTA 4; 2019