Feedback Instrument for Rescue Force Development – Exercises for independent work (FIRE-EV)

Die Tätigkeit im Rettungswesen erfordert Kenntnisse u.a. in den Bereichen Technik, Naturwissenschaften, Medizin und Recht. Die Einsatzkräfte benötigen diese Kenntnisse, um ihre Arbeit adäquat durchführen zu können, z.B. zur korrekten Bedienung von Gerätschaften oder zur professionellen Versorgung von verletzten Personen. Insbesondere für Führungskräfte sind umfangreiche Kenntnisse in diversen Bereichen wichtig, da sie unter Zeitdruck weitreichende Entscheidungen treffen müssen. Das Nachschlagen von Informationen oder die Beratung mit anderen Führungskräften ist unter diesen Bedingungen oft nicht möglich. Dementsprechend hat der theoretische Unterricht in der Ausbildung von Rettungskräften einen hohen Stellenwert.

Die Einzelarbeit ist neben der Partnerarbeit, der Gruppenarbeit und dem Frontalunterricht eine der vier Sozialformen des Unterrichts (Siemer, 2007). Ziel der Einzelarbeit ist das selbstständige Erarbeiten und Vertiefen von Lerninhalten (Ulrich, 2016). Nach Pluntke (2013) ist bei der Einzelarbeit darauf zu achten, dass genügend Zeit für die Bearbeitung der Aufgaben vorhanden ist, dass die Instruktionen verständlich formuliert sind, und dass die gestellten Aufgaben weder zu Unter- noch Überforderung führen.

Im Rahmen der Rettungskräfte-Ausbildung kommen häufig EVA-Aufgaben zum Einsatz. Dabei handelt es sich um eine spezielle Form der Einzelarbeit. Die Lernenden erhalten Aufgaben, welche sie selbstgesteuert bei freier Zeiteinteilung z.B. als Vorbereitung für eine Prüfung bearbeiten können. Diese Aufgaben greifen in der Regel die in der zugehörigen Lehrveranstaltung besprochenen Themen auf und vertiefen sie. Dafür ist es erforderlich, dass die Lernenden über eine gewisse Planungskompetenz verfügen, dass sie ihre Motivation und Konzentration aufrechterhalten können, und dass eine Kontrolle bzw. Bewertung der Lernleistung möglich ist (Dietrich et al., 1999). Um Aufschiebeverhalten bei der Bearbeitung der EVA-Aufgaben zu vermeiden, sollten die Aufgaben klar formuliert sein, das Interesse der Lernenden wecken und nach Möglichkeit eine Vielzahl von Fertigkeiten ansprechen (Ackerman & Gross, 2005). Außerdem ist es hilfreich, wenn die Lernenden es als soziale Norm ansehen, dass die Aufgaben zeitnah bearbeitet werden, und wenn die schnelle Bearbeitung der Aufgaben belohnt wird (Ackerman & Gross, 2005). Eine solche Belohnung könnte beispielsweise in dem Lob der Dozentinnen und Dozenten oder auch in einer guten Vorbereitung auf die Prüfungsaufgaben bestehen.

EVA-Aufgaben kommen nicht nur im Rahmen der Rettungskräfte-Ausbildung zum Einsatz. Auch im Schulunterricht werden sie genutzt, um das selbstständige Erarbeiten von Lerninhalten durch die Schüler*innen zu fördern (Klippert, 2007). Selbstgesteuertes Lernen steht dabei im Zusammenhang mit besseren Noten in der Schule (Boekaerts, 1997). Auch in vielen weiteren Kontexten, in denen selbstgesteuertes Lernen relevant ist (z.B. Universität, Beruf; Sitzmann & Ely, 2011), können EVA-Aufgaben eine wichtige Rolle spielen.

Scale development

Der FIRE-EV wurde im Rahmen einer Kooperation zwischen dem Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) und der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster entwickelt und validiert. Das IdF NRW ist die zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW.

Alle berichteten statistischen Analysen wurden mithilfe der Statistiksoftware R (Version 4.1.1) durchgeführt.

Itemkonstruktion und Itemselektion

Der FIRE-EV entstand als ergänzendes Modul zum FIRE-Kernfragebogen (Schulte & Thielsch, 2019; Schulte et al., 2019). Dieser ist ein validiertes Instrument zur Bewertung und Evaluation der Führungskräfteausbildung in der Feuerwehr. Er erfasst vier Prozess-Faktoren (Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe) und zwei Outcome-Faktoren (Kompetenzerwerb, Vorbereitung & Transfer) guter Lehre. Neben diesen allgemeinen Faktoren sind für die Lehrevaluation auch spezifische Informationen zu den einzelnen Lehrmethoden von Interesse. Im Bereich der Rettungskräfte-Ausbildung am IdF NRW sind dies insbesondere Einsatzübungen, Planübungen, Gruppenarbeiten und Aufgaben zum eigenverantwortlichen Arbeiten. Entsprechende Items wurden jedoch nicht in den FIRE-Kernfragebogen aufgenommen, um ihn möglichst ökonomisch und flexibel einsetzbar zu gestalten (siehe Schulte & Thielsch, 2019). Stattdessen wurde eine Reihe von Zusatzmodulen entwickelt (Röseler et al., 2020; Röseler et al., 2021; Kleinstück et al., 2021). Dazu gehört auch der FIRE-EV. Er dient der gezielten Bewertung und Evaluation von EVA-Aufgaben, wie sie in der Ausbildung von Führungskräften der Feuerwehr typischerweise vorkommen. Bei der Entwicklung des Fragebogens wurde darauf geachtet, dass die Items keine rein feuerwehrspezifischen Inhalte erfassen, sondern prinzipiell auch bei Ausbildungen in anderen Organisationen, wie Zivil- und Katastrophenschutz, Polizei und Militär eingesetzt werden können.

Der in Tabelle 2 dargestellte Itempool wurde auf Grundlage des Münsteraner Fragebogens zur Evaluation – Zusatzmodul Hausaufgaben (MFE-ZHa; Grötemeier & Thielsch, 2014) entwickelt, einzig das Item EVA_1 wurde selbstkonstruiert. Die Items decken die folgenden inhaltlichen Aspekte von EVA-Aufgaben ab: adäquater Umfang (EVA_1, EVA_2), nützlicher Inhalt (EVA_3), Gestaltung der Aufgaben (EVA_4, EVA_5) und Nachbesprechung (EVA_6).

Tabelle 2

Itempool zur Skala FIRE-EV     

Nr.	Item
EVA_1	Ich hatte ausreichend Zeit die EVA-Aufgaben zu bearbeiten.
EVA_2	Der Umfang der EVA-Aufgaben war angemessen.*
EVA_3	Die EVA-Aufgaben haben mein Verständnis der Inhalte weiter vertieft.*
EVA_4	Die Aufgabenstellungen der EVA-Aufgaben waren verständlich.*
EVA_5	Der Schwierigkeitsgrad der EVA-Aufgaben war angemessen.*
EVA_6	Die EVA-Aufgaben wurden ausreichend nachbesprochen.

Anmerkung. Bis auf Item EVA_1 sind alle Items angelehnt an Grötemeier & Thielsch (2014). Die mit * markierten Items gingen in die finale Skala ein.

Studie I: Im Rahmen der Entwicklung des FIRE-Kernfragebogens wurden auch die Items zu Lehrmethoden, unter anderem die EVA-Items, Dozentinnen und Dozenten sowie Lehrgangsteilnehmenden am IdF NRW zur kritischen Begutachtung vorgelegt (vgl. Schulte & Thielsch, 2019). Diese bewerteten die Items hinsichtlich Verständlichkeit und Relevanz. Kein EVA-Item wurde von mehr als 3% der Stichprobe als unverständlich bezeichnet und bis auf das Item EVA_6 wurden jeweils von über 90% der Stichprobe als wichtig oder eher wichtig bezeichnet. Bei Item EVA_6 waren es lediglich 81%. Insgesamt gab es keine nennenswerten Unterschiede zwischen Dozentinnen/Dozenten und Lehrgangsteilnehmenden. Somit musste kein Item aufgrund von Unverständlichkeit oder fehlender Relevanz revidiert werden.

Studie II: Im nächsten Schritt wurde die Faktorenstruktur der EVA-Items anhand einer explorativen Faktorenanalyse (EFA) untersucht. Personen mit unvollständigen Angaben waren zuvor listenweise ausgeschlossen worden. Die deskriptiven Werte der Items und die Ergebnisse der Faktorenanalyse finden sich in Tabelle 3. Die Schiefe und der Exzess wurden mittels der describe-Funktion (Typ 1) aus dem R-Paket psych (Revelle, 2021; Version 2.1.9) berechnet. Für die EFA wurde ebenfalls das R-Paket psych genutzt. Das Item EVA_6 wurde in der EFA aufgrund der geringen Trennschärfe nicht berücksichtigt. Es wurde eine oblimin-rotierte Hauptkomponentenanalyse gerechnet. Die EVA-Items bilden in der EFA einen Faktor und weisen hohe Faktorladungen auf (siehe Tabelle 3). Aus inhaltlichen Gründen wurde Item EVA_1 ebenfalls ausgeschlossen, da es auch auf die Rahmenbedingungen der Ausbildungsveranstaltung bzw. das individuelle Zeitmanagement der Teilnehmenden bezogen werden könnte.

Tabelle 3

Deskriptive Daten und Explorative Faktorenanalyse der Lehrmethodenitems

Item	M	SD	Schiefe	Exzess	Trenn-schärfe	EFA
						Ladung	h2
EVA_1	5.84	1.22	-1.51	2.20	.45	.70	.48
EVA_2	5.50	1.36	-1.14	0.75	.44	.71	.51
EVA_3	5.78	1.06	-1.28	1.93	.53	.71	.50
EVA_4	5.67	0.98	-0.77	0.63	.52	.73	.53
EVA_5	5.75	0.91	-1.15	1.24	.55	.76	.58
EVA_6*	3.69	1.79	0.13	-1.15	.17

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. * = dieses Item ging nicht in die EFA ein. Es werden alle Faktorladungen > .20 berichtet. N = 242.

Stichproben

Stichprobe zu Studie I: An der Bewertung der Items in Studie I (Ende 2015) nahmen sieben Dozentinnen und Dozenten (86% männlich) sowie 26 Teilnehmende eines Gruppenführerlehrgangs (96% männlich) teil, sodass insgesamt N = 33 Personen befragt wurden. Die Dozentinnen und Dozenten wurden im Rahmen Ihrer Tätigkeit in der Gruppen- und Zugführerausbildung am IdF NRW gebeten, an der Studie teilzunehmen, während die Lehrgangsteilnehmenden im Rahmen ihres Lehrgangs auf die Studie angesprochen wurden. Für beide Gruppen war die Teilnahme an der Paper-Pencil-Befragung freiwillig und wurde nicht vergütet. Die befragten Dozentinnen und Dozenten waren zwischen 27 und 45 Jahre alt (M = 38.9; SD = 6.0). In der Gruppe der Lehrgangsteilnehmenden variierte das Alter zwischen 21 und 43 Jahren (M = 30.5; SD = 6.9).

Stichprobe zu Studie II: In Studie II nahmen zwischen Januar und April 2016 insgesamt 263 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung (PASI) teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. In der vorliegenden Analyse mussten die Daten von 108 Teilnehmenden ausgeschlossen werden, da sie nicht mit der Nutzung ihrer Daten einverstanden waren (n = 10), einen monotonen oder unrealistischen Antwortstil aufwiesen (n = 3) oder ein oder mehrere interessierende Items nicht beantworteten hatten (n = 8). Die Stichprobengröße für die EFA bestand demnach aus n = 242 Lehrgangsteilnehmenden. Die Befragten (95.5% männlich, 3.3% weiblich, 1.2% ohne Angabe) waren zwischen 21 und 55 Jahren alt (M = 31.8, SD = 6.5). Sie verfügten über eine mittlere Arbeitserfahrung von 13.8 Jahren (SD = 8.2) und absolvierten im Mittel 9.1 (SD = 15.4) Einsätze im Monat. 14.0% der Stichprobe arbeiteten bei der Berufsfeuerwehr, 70.7% bei der freiwilligen Feuerwehr und 15.3% gaben an, sowohl bei der Berufsfeuerwehr als auch bei der freiwilligen Feuerwehr tätig zu sein.

Stichprobe zu Studie III (Bestimmung der Itemkennwerte und Gütekriterien): Zwischen Januar und März 2017 nahmen insgesamt 415 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. Es mussten 30 Teilnehmende wegen fehlender Zustimmung zur Nutzung ihrer Daten und weitere 21 wegen einer oder mehrerer fehlender Antworten bei den EVA-Items ausgeschlossen werden. Die Stichprobengröße in Studie III belief sich somit auf 364 Lehrgangsteilnehmende, die zwischen 22 und 55 Jahre alt waren (M = 33.55, SD = 6.83). Davon waren 95.1% männlich und 3.8% weiblich (1.1% ohne Angabe). Die mittlere Einsatzerfahrung betrug 14.6 Jahre (SD = 11.9). Bei der Freiwilligen Feuerwehr waren 55.5% der Stichprobe tätig, bei der Berufsfeuerwehr 25.5%. Die übrigen Teilnehmenden gaben an, sowohl bei der Freiwilligen als auch bei der Berufsfeuerwehr tätig zu sein (20.6%; 1.4% ohne Angabe). Teilnehmende, die ausschließlich bei der Freiwilligen Feuerwehr tätig waren, absolvierten durchschnittlich 4.8 Einsätze pro Monat (SD = 4.3). Die Teilnehmenden, die zusätzlich oder ausschließlich bei der Berufsfeuerwehr tätig waren, absolvierten durchschnittlich 29.7 Einsätze pro Monat (SD = 24.5).

Itemanalysen

Studie III: Die angenommene einfaktorielle Struktur des FIRE-EV wurde anhand einer konfirmatorischen Faktorenanalyse (CFA) überprüft. Hierzu wurde das R-Paket lavaan (Rosseel, 2012; Version 0.6-10) mit Maximum-Likelihood-Schätzer (MLR) verwendet. Personen mit unvollständigen Angaben waren zuvor listenweise ausgeschlossen worden (siehe Stichprobenbeschreibung zu Studie III). Eine einfaktorielle Struktur ergab einen guten Fit (𝛸²(2) = 2.91, p = .234, CFI = .998, TLI = .995, RMSEA = .04 [.00,.12], SRMR = .01), beurteilt nach den Empfehlungen für Fit-Indizes von Hu und Bentler (1999), und durchgehend signifikante, hohe standardisierte Faktorladungen (≥.65) Die Ergebnisse der CFA sind in Abbildung 1 zu finden.

Abbildung 1

Ergebnisse der konfirmatorischen Faktorenanalyse

Anmerkung. Standardisierte Faktorladungen. Alle Faktorladungen sind signifikant mit p < .001. N = 364.

Itemkennwerte

Eine Übersicht der Kennwerte der finalen Items findet sich in Tabelle 4.

Tabelle 4

Mittelwerte, Standardabweichungen, Schiefe, Exzess und Trennschärfen der manifesten Items

	M	SD	Trennschärfe	Schiefe	Exzess
Item 1 (EVA_2)	5.70	1.17	.59	-1.12	1.29
Item 2 (EVA_3)	5.65	0.98	.64	-0.85	1.36
Item 3 (EVA_4)	5.53	1.09	.68	-0.88	0.74
Item 4 (EVA_5)	5.71	0.99	.76	-0.93	0.88

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. Die Schiefe und der Exzess wurden mittels der describe-Funktion (Typ 1) aus dem R-Paket psych (Revelle, 2021; Version 2.1.9) berechnet. Die Kennwertwerte basieren auf Stichprobe III (N = 364).

Quality criteria

Objektivität

Bei der Konstruktion des FIRE-EV wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass die Standardisierung des Fragebogens, das gebundene Antwortformat, die oben beschriebene Auswertungsmethode und die Angabe von Vergleichsdaten (siehe Deskriptive Statistiken; diese dienen als Orientierung, dürfen allerdings nicht als Normwerte verstanden werden) eine hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität grundsätzlich ermöglichen.

Reliabilität

Dem FIRE-EV liegt in der Stichprobe II ein essenziell tau-äquivalentes Messmodell (𝛸²(5) = 4.16, p = .526, CFI = 1.00, TLI = 1.00, RMSEA = .00 [.00,.08], SRMR = .05) und in der Stichprobe III ein tau-kongenerisches Messmodell (siehe Itemanalysen) zugrunde. Somit stellt Cronbachs α in Stichprobe II bzw. McDonalds ω in beiden Stichproben einen adäquaten Reliabilitätskoeffizienten dar (siehe Tabelle 5). Beide Koeffizienten werden analog interpretiert. Der FIRE-EV weist mit ≥ .73 eine zufriedenstellende Reliabilität im Sinne der internen Konsistenz auf.

Tabelle 5

Reliabilitätsanalyse des FIRE-EV

Stichprobe	Cronbachs α	McDonalds ω
Studie II (N = 242)	.73	.75
Studie III (N = 364)	.77	.78

Anmerkung. In einem 𝛸²-Differenzentest wurde ein kongenerisches gegen ein essenziell tau-äquivalentes Messmodell getestet.

Validität

Die Einordnung der im folgenden Abschnitt genannten Effektstärken erfolgt nach den Konventionen von Cohen (1992).

Inhaltsvalidität. Die Items wurden so konstruiert und ausgewählt, dass sie jene Aspekte abbilden, die aus theoretischer Sicht eine hohe Qualität der EVA-Aufgaben gewährleisten. Von Dozentinnen und Dozenten und Lehrgangsteilnehmenden am IdF NRW wurden die Items als generell relevant und verständlich bewertet (Studie I). Zusätzlich schätzten Experten des IdF NRW die in den Items enthaltenen Aspekte als relevant für den Lernerfolg ein. Insgesamt ist somit von inhaltlicher Validität auszugehen.

Konstruktvalidität. Im Hinblick auf die Konstruktvalidität des FIRE-EV wurden die Subskala Dozentenverhalten des FIRE-Kernfragebogens (Schulte & Thielsch, 2019; Schulte et al., 2019), der FIRE-G (Evaluation von Gruppenübungen) und die Punktzahl der Eingangsprüfung erhoben.

Der FIRE-EV misst die wahrgenommene Qualität von EVA-Aufgaben. Diese sollte sich deutlich mit dem Dozentenverhalten überschneiden. Die Dozentinnen und Dozenten schaffen die Grundlagen für eine erfolgreiche Bearbeitung der EVA-Aufgaben. Sie sind verantwortlich für die Vermittlung der für die Bearbeitung der EVA-Aufgaben relevanten theoretischen und praktischen Inhalte, für die Passung der Aufgaben zu diesen Inhalten sowie für präzise Instruktionen. Tatsächlich zeigt sich eine hohe positive Korrelation.

Neben der Einzelarbeit ist auch die Gruppenarbeit eine Sozialform des Unterrichts. Im Gegensatz zum Frontalunterricht geht es in beiden Formaten darum, dass Lehrinhalte eigenständig erarbeitet und vertieft werden. Wie gut dies funktioniert, hängt sowohl mit Blick auf EVA-Aufgaben als auch auf Gruppenarbeiten von der grundsätzlichen inhaltlichen und didaktischen Gestaltung der Lehrveranstaltung ab. Aus diesem Grund sollte der FIRE-EV positiv mit dem FIRE-G zur Evaluation von Gruppenübungen korrelieren. Die Daten zeigen eine hohe Korrelation.

Für die erfolgreiche Bearbeitung von EVA-Aufgaben ist Grundwissen in der entsprechenden Thematik notwendig, um beispielsweise die Aufgabenstellung zu verstehen und Bezüge zu den Lehrinhalten zu erkennen. Eine hohe Korrelation mit der Punktzahl in der Eingangsprüfung zu Beginn der Lehrveranstaltung würde bedeuten, dass der FIRE-EV vor allem das Vorwissen der Teilnehmenden abbildet und nicht die Güte der EVA-Aufgaben im Bezug zur konkreten Lehrveranstaltung. Die nicht signifikante Korrelationen des FIRE-EV mit der Punktzahl in der Eingangsprüfung ist jedoch ein Indikator dafür, dass dies nicht der Fall ist. Der FIRE-EV misst die Qualität der EVA-Aufgaben im Kontext der jeweiligen Lehrveranstaltung. Dies passt wiederum zur hohen Korrelation des FIRE-EV mit dem Dozentenverhalten.

Biasvariable. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Urteilenden nehmen, tatsächlich aber nicht mit ihr in Zusammenhang stehen (Spiel, 2001). Solch ein Einfluss kann durch die Stimmung der Teilnehmenden entstehen. Die Stimmung der Teilnehmenden wurde dabei anhand einer fünfstufigen Smiley-Skala von Jäger (2004) gemessen. Die Stimmung kann als theoretisch nicht völlig unabhängig vom FIRE-EV erachtet werden. So ist zu erwarten, dass sich ein großer Lernerfolg positiv auf die Stimmung auswirken. Kleine oder mittlere Zusammenhänge sprechen in diesem Zusammenhang daher nicht gegen die Validität der Skalen. Größere Zusammenhänge würden die Konstruktvalidität der Skalen jedoch in Frage stellen. Es zeigt sich eine kleine bis mittlere Korrelation des FIRE-EV mit der Stimmung zum Zeitpunkt der Erhebung.

Tabelle 6

Validitätsmaße des FIRE-EV

	FIRE-EV
	n	r
Konstruktbezogene Maße:
Dozentenverhalten (FIRE)	357	.51***
Gruppenarbeiten (FIRE-G)	361	.39***
Punktzahl Eingangsprüfung	221	.03 n.s.
Biasvariable:
Stimmung	357	.25***
Kriterienbezogene Maße:
Überforderung (FIRE)	360	-.35***
Gruppe (FIRE)	362	.30***
Kompetenzerwerb (FIRE)	354	.40***
Transfer (FIRE)	355	.39***
Gesamtzufriedenheit	353	.50***
Benotung des Seminars ††	360	.28***

Anmerkung. Paarweiser Ausschluss bei fehlenden Daten (= Frage ausgelassen oder als nicht sinnvoll beantwortbar beantwortet, auch bereits bei zur Bildung eines Skalenwerts notwendigen Items). ^† Zur besseren Interpretierbarkeit wurde die hier erhobene Schulnote umgepolt; hohe Werte entsprechen somit einer positiven Benotung des Seminars; aufgrund des Ordinalskalenniveaus der Schulnotenskala wurde eine Spearman-Korrelation berechnet. Die Daten stammen aus Studie III.
*p < .05, **p < .01, ***p < .001. N = 364.

Kriteriumsvalidität. EVA-Aufgaben werden eigenständig und ohne Hilfe bearbeitet, was das Risiko einer Überforderung beinhaltet. Qualitativ hochwertige EVA-Aufgaben sollten mit niedriger Überforderung einhergehen, was für einen negativen Zusammenhang mit der FIRE-Skala zu Überforderung spricht. Es ist ein moderater bis hoher Zusammenhang erkennbar. Er fällt stärker aus als die Korrelation zwischen der FIRE-Skala zu Überforderung und dem FIRE-G zur Evaluation von Gruppenarbeiten (r = -0.13, p = .015, n = 370) – einem Lernformat, das aufgrund von gegenseitiger Unterstützung innerhalb der Gruppe ein geringeres Überforderungsrisiko birgt.

EVA-Aufgaben sind eine Form der Einzelarbeit und werden ohne Hilfe durch die Lehrgangsgruppe bearbeitet. Sie sind allerdings nicht völlig unabhängig von der Gruppe zu sehen, da lernförderliche und motivierende Gruppenprozesse während eines Lehrgangs sich positiv in der Wahrnehmung von EVA-Aufgaben niederschlagen sollten. Die mittleren Korrelationen des FIRE-EV mit der Gesamtbewertung der Gruppe spiegelt das wider.

Aufgrund der wichtigen Rolle von EVA-Aufgaben in der theoretischen Ausbildung von Rettungskräften sollten hohe Werte des FIRE-EV mit dem selbstbeurteilten Lernerfolg einhergehen. Die hohen Korrelationen des FIRE-EV mit den FIRE-Skalen Kompetenzerwerb und Transfer bestätigen diese Annahme. Aus dem gleichen Grund sollte auch die Zufriedenheit der Teilnehmenden mit dem Lehrgang positiv mit dem FIRE-EV zusammenhängen. Zur Erfassung der Gesamtzufriedenheit wurde eine Skala bestehend aus vier Items genutzt (selbstgeneriert und entnommen aus Gläßer et al., 2002). Zudem wurde der Lehrgang anhand einer Schulnotenskala von den Teilnehmenden bewertet. Der FIRE-EV zeigt eine hohe Korrelation mit der Gesamtzufriedenheit der Lehrgangsteilnehmenden und eine mittlere Korrelation mit ihrer Benotung des Lehrgangs (siehe Tabelle 6).

Deskriptive Statistiken

Zur Berechnung der deskriptiven Statistiken wurden die Stichproben der Studien II und III zugunsten einer breiteren Datenbasis zusammengefasst. In der zusammengefassten Stichprobe (N = 606) zeigte der FIRE-EV einen Mittelwert von 5.66 (SD = 0.84). Es ergab sich eine Schiefe von -0.48 und ein Exzess von -0.03. In dieser Stichprobe lag der Anteil männlicher Teilnehmer bei 95.2% (3.6% weiblich, 1.2% ohne Angabe) und das mittlere Alter bei 32.9 Jahren (SD = 6.75). Die mittlere Einsatzerfahrung betrug 14.2 Jahre (SD = 10.1) bei durchschnittlich 13.9 Einsätzen pro Monat (SD = 19.9). Insgesamt waren 61.6% der zusammengefassten Stichprobe ausschließlich in der Freiwilligen Feuerwehr tätig, 19.8% ausschließlich in der Berufsfeuerwehr und 17.8% sowohl in der Freiwilligen als auch in der Berufsfeherwehr (0.8% ohne Angabe).

Nebengütekriterien

Der FIRE-EV erlaubt eine sehr zeit- und kostenökonomische Erfassung der Teilnehmendenurteile über die erlebte Qualität von EVA-Aufgaben. Die Durchführungsdauer darf mit etwa einer Minute (Schätzwert der Autoren) als gut zumutbar sowohl für Dozentinnen und Dozenten als auch für Teilnehmende gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

Weiterführende Literatur

Schulte, N. & Thielsch, M. T. (2019). Evaluation of Firefighter Leadership Trainings. International Journal of Emergency Services, 8(1), 34-49. http://doi.org/10.1108/IJES-03-2018-0020

Danksagung

Die Autoren möchten sich herzlich beim Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW), insbesondere bei Stephanie Vöge, Yannick Ngatchou und Thomas Löchteken, für die umfassende Unterstützung dieser Instrumentenerstellung bedanken.

Contact