Feedback Instrument for Rescue Force Development – Group work (FIRE-G)

Abstract:

 The Feedback Instrument for Rescue Force Development – Group work (FIRE-G) measures the perceived quality of group work in rescue force training. This instrument is an additional module for the Feedback Instrument for Rescue Force Development (FIRE, Schulte & Thielsch, 2019; Schulte et al., 2019), which is a questionnaire for the evaluation of leadership training courses for rescue forces. The FIRE-G was validated on basis of 375 firefighters who participated in training courses at the Institute of the North Rhine-Westphalia Fire Brigade (IdF NRW). A confirmatory factor analysis suggested one underlying factor. The scale shows satisfactory internal consistency and there are clear indications of construct and criterion validity.

• Language Documentation: deutsch
• Language Items:
• Number of Items: 3

• Survey Mode: PASI
• Processing Time: 1 Minute (Schätzung der Autoren)
• Reliability: Cronbachs Alpha = .83, McDonalds Omega ≥ .77
• Validity: Hinweise auf Kriteriumsvalidität und Konstruktvalidität
• Construct: Lernförderliche Interaktionen
• Catchwords: Feuerwehr, Rettungskräfte, Gruppenarbeit, Evaluation | fire service, rescue forces, group work, evaluation
• Item(s) used in Representative Survey: nein
• URL Website: go.wwu.de/fire
• Status of Development: validiert

Instrument

Instruktion

Liebe/r Lehrgangsteilnehmer/in,

wir danken Ihnen, dass Sie an der Befragung teilnehmen! Indem Sie die Gruppenarbeiten bewerten, helfen Sie uns, die Qualität der Lehre in der Rettungskräfteausbildung zu beurteilen und gegebenenfalls zu verbessern. Bitte geben Sie an, wie sehr Sie den untenstehenden Aussagen zustimmen. Kreuzen Sie für jede Aussage das Kästchen an, das den Grad Ihrer Zustimmung am besten wiedergibt. Es gibt bei dieser Befragung keine richtigen oder falschen Antworten.

Vielmehr interessieren wir uns für Ihre ganz persönliche Meinung.

Bitte beachten Sie:

• Machen Sie hinter jeder Aussage jeweils nur ein Kreuz in einem der vorgesehenen Kästchen. Bitte lassen Sie keine Aussagen aus. Wenn eine Aussage für Sie nicht sinnvoll beantwortbar ist, können Sie uns dies durch ein Kreuz in dem entsprechenden Kästchen mitteilen.
• Wenn Sie ein Kreuz ändern möchten, malen Sie das falsch markierte Kästchen vollständig aus und machen ein neues Kreuz an der gewünschten Stelle.

Ihre Teilnahme an der Befragung ist freiwillig. Zudem erfolgt die Befragung selbstverständlich anonym. Die Ergebnisse werden nur in gesammelter Form, das heißt beispielsweise in Form von Mittelwerten zurückgemeldet. Ein Rückschluss auf Ihre Person ist damit ausgeschlossen.

[Technischer Hinweis: Diese Instruktion wird nur gegeben, falls die Skala allein angewendet wird. Wird die Skala als Ergänzungsmodul an andere Fragebögen wie den FIRE angehangen, erfolgt keine separate Instruktion.]

Items

Tabelle 1

Items der Skala FIRE-G                                                

Nr.	Item
1	Ich habe bei den Gruppenarbeiten viel von anderen Teilnehmenden gelernt.
2	Alle Teilnehmenden haben sich entsprechend ihrer Kompetenzen an den Gruppenarbeiten beteiligt.
3	Die Gruppenarbeiten haben den Austausch zwischen den Teilnehmenden gefördert.

Anmerkung. Alle Items sind positiv gepolt.

Antwortvorgaben
Items 1 – 3:

Siebenstufiges Antwortformat mit den Optionen 1 = stimme gar nicht zu, 2 = stimme nicht zu, 3 = stimme eher nicht zu, 4 = neutral, 5 = stimme eher zu, 6 = stimme zu, 7 = stimme vollkommen zu. Ein zusätzliches Feld bietet die Möglichkeit anzugeben, dass das jeweilige Item nicht sinnvoll beantwortbar sei.

Auswertungshinweise

Generelle Hinweise:

Es ist darauf zu achten, dass die Auswertung anonym erfolgt. Dementsprechend sollten keine demographischen Variablen erhoben werden, anhand derer Rückschlüsse auf einzelne Personen gezogen werden können. Um Anonymität zu gewährleisten, empfehlen wir zudem, eine Auswertung erst vorzunehmen, wenn mindestens acht ausgefüllte Fragebögen vorliegen (bzw. in kleinen Veranstaltungen mit mehr als 9 aber weniger als 15 Teilnehmenden mindestens 50% an der Befragung teilgenommen haben; vgl. Thielsch & Weltzin, 2013).

Bepunktung:

Es wird 1 Punkt vergeben für „stimme gar nicht zu“, 2 Punkte für „stimme nicht zu“, 3 Punkte für „stimme eher nicht zu“, 4 Punkte für „neutral“, 5 Punkte für „stimme eher zu“, 6 Punkte für „stimme zu“ und 7 Punkte für „stimme vollkommen zu“. Bei der Antwort „nicht sinnvoll beantwortbar“ werden keine Punkte vergeben und das betreffende Item wird in der weiteren Auswertung für diese Person ignoriert. Für eine Online-Befragung empfehlen wir, alle FIRE-G Items als Pflichtfragen vorzugeben. Für eine Papierbefragung empfehlen wir, Personen, die ein Item oder mehr komplett auslassen, aus der Auswertung herauszunehmen. Eine hohe Anzahl von fehlenden Werten bei vielen Personen kann in einer mangelnden Passung des Fragebogens in dem jeweiligen Evaluationskontext begründet sein.

Berechnung der Skalenwerte:

Für die Anwendung der Skala in der Forschung bzw. für statistische Analysen (Skalenwerte pro Person): Die Punkte der von der jeweiligen Person beantworteten Items werden zunächst addiert. Anschließend werden Sie durch die Anzahl dieser Items dividiert.

Für die Ermittlung des Evaluationsergebnisses (Mittelwert der Skalenwerte): Für jedes Item wird zunächst der ungewichtete Item-Mittelwert berechnet. Dafür werden die Punkte jedes Items addiert (Punktsumme eines Items über alle Antwortenden hinweg) und durch die Anzahl der Lehrgangsteilnehmenden, die auf das jeweilige Item geantwortet haben, dividiert. Man erhält schließlich den Skalen-Mittelwert, indem man die drei Item-Mittelwerte des FIRE-G addiert und durch drei dividiert.

Interpretation:

Bei der Interpretation der Skalen gilt zu beachten, dass bei der Skala Gruppenarbeiten hohe Werte erstrebenswert sind. Grundsätzlich sollte der subjektive Charakter einer solchen Evaluation berücksichtigt werden. Das Evaluationsergebnis ist für die Dozentinnen und Dozenten eine Chance, wichtige Informationen über die eigene Lehrtätigkeit zu erhalten, im Falle des FIRE-G für die Gestaltung der Gruppenarbeiten aus Sicht der Veranstaltungsteilnehmenden. Es empfiehlt sich, eine Evaluationsbesprechung mit den Befragten abzuhalten. In diesem Rahmen können Ergebnisse des FIRE-G besprochen und mögliche Missverständnisse geklärt oder Verbesserungsideen zu Gruppenarbeiten gesammelt werden. Der Fragebogen eignet sich dabei auch zum Vergleich mit früheren Gruppenarbeiten oder zwischen verschiedenen Unterrichtskonzepten. Wenn keine eigenen Vergleichsdaten vorliegen, können die deskriptiven Statistiken (siehe unten) als Orientierung dienen. Von Seiten der verantwortlichen Organisation sollte die Evaluation technisch, aber auch inhaltlich unterstützt werden. Dies umfasst insbesondere Hilfestellungen, wenn Evaluationen wiederholt Verbesserungspotentiale aufzeigen sollten, sowie Belobigungen für qualitativ gute Unterrichtstätigkeit der Dozentinnen und Dozenten.

Anwendungsbereich

Der FIRE-G ist ein schriftlicher Fragebogen zur Evaluation von Gruppenarbeiten im Rahmen der Ausbildung von Führungskräften im Rettungswesen. In der Regel wird die FIRE-G-Skala dabei an den FIRE Kernfragebogen (Schulte & Thielsch, 2019; Schulte et al., 2019) als Ergänzungsmodul angehängt. Der FIRE Kernfragebogen eignet sich zur Evaluation der Ausbildung von Rettungskräften mit Führungsverantwortung und misst die Dimensionen Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe, Kompetenzerwerb und Transfer. Auch eine Kombination mit anderen FIRE-Skalen ist möglich, zum Beispiel mit dem FIRE-B zur Evaluation der Basisausbildung im Rettungswesen (Thielsch et al., 2019; Niemann & Thielsch, 2020) oder mit dem FIRE-CU zur Evaluation der Ausbildung von Führungsstäben (Thielsch et al., 2020; Thielsch & Hadzihalilovic, 2020).

Der FIRE-G erfasst Qualitätsmerkmale, die unabhängig von der jeweiligen Ausgestaltung einer Gruppenarbeit für diese Lehrmethode relevant sind. Der Fragebogen wurde im Feuerwehrkontext entwickelt. Theoriegeleitet ist davon auszugehen, dass die Qualitätsmerkmale guter Ausbildungen in anderen Organisationen des Rettungswesens vergleichbar sind. Da sich die Items des FIRE-G nicht auf spezifische Lehrinhalte des Rettungswesens beziehen, ist eine Nutzung außerhalb des Kontexts Rettungswesen grundsätzlich möglich. Dennoch ist es unabdingbar, die Inhaltsvalidität der Skala im Hinblick auf die konkret zu evaluierende Gruppenarbeit zu beurteilen. Die Entwicklung und Überprüfung erfolgte im Paper-Pencil-Format. Der FIRE-G kann im Paper-Pencil-Format oder als Online-Fragebogen (bei adaptierter Instruktion) durchgeführt werden. Die Bearbeitungszeit beläuft sich dabei auf etwa eine Minute (Schätzung der Autoren). Die Beurteilung der Gruppenarbeiten sollte möglichst zeitnah nach Abschluss dieser erfolgen. Falls es eine Abschlussprüfung gibt, sollte die Evaluation zeitlich vor dieser stattfinden, um möglichen Antwortverzerrungen durch die Prüfung und die Ergebnisse vorzubeugen.  

Der FIRE-G kann zudem zu Forschungszwecken eingesetzt werden, beispielsweise bei der Beantwortung von Forschungsfragen zur Aus- und Fortbildung von Rettungskräften. Darüber hinaus ist auch eine Nutzung außerhalb des Kontexts Rettungswesen möglich, zum Beispiel in der Lehr- und Lernforschung, insbesondere im Bereich der schulischen und beruflichen Bildung.

Theory

Die Tätigkeit im Rettungswesen erfordert Kenntnisse u.a. in den Bereichen Technik, Naturwissenschaften, Medizin und Recht. Die Einsatzkräfte benötigen diese Kenntnisse, um ihre Arbeit adäquat durchführen zu können, z.B. zur korrekten Bedienung von Gerätschaften oder zur professionellen Versorgung von verletzten Personen. Insbesondere für Führungskräfte sind umfangreiche Kenntnisse in diversen Bereichen wichtig, da sie unter Zeitdruck weitreichende Entscheidungen treffen müssen. Das Nachschlagen von Informationen oder die Beratung mit anderen Führungskräften ist unter diesen Bedingungen oft nicht möglich. Dementsprechend hat der theoretische Unterricht in der Ausbildung von Rettungskräften einen hohen Stellenwert.

Die Gruppenarbeit ist neben der Einzelarbeit, Partnerarbeit und dem Frontalunterricht eine der vier Sozialformen des Unterrichts (Drumm & Scholz, 2007). In der Gruppe tauschen die Gruppenmitglieder individuelle Erfahrungen aus, sodass neue Perspektiven auf den Lerninhalt aufgezeigt werden (Renkl, 2015). Des Weiteren können unterschiedliche Sichtweisen auftreten, welche die Gruppenmitglieder diskutieren müssen. Dafür ist es wichtig, dass sie ihr Wissen bzw. ihre Gedankengänge explizieren, erklären und hinterfragen, wobei auch Wissenslücken deutlich werden können (Renkl, 2015). Diese Prozesse fördern die aktive Auseinandersetzung mit den Lerninhalten. Die Durchführung von Gruppenarbeiten ist dann sinnvoll, wenn die entsprechende Aufgabe die beschriebenen Interaktionsprozesse zulässt (Renkl, 2015).

In der Ausbildung von Rettungskräften wird Gruppenarbeit beispielsweise eingesetzt, um anhand von Einsatzszenarien die Anwendung rechtlicher Regelungen einzuüben. Nach Pluntke (2013) lässt sich die Gruppenarbeit in drei Phasen untergliedern. (1) Zunächst erhalten die Gruppen einen mündlichen und/oder schriftlichen Arbeitsauftrag. Eine präzise Formulierung trägt zum effektiven Ablauf der Gruppenarbeit bei. (2) Darauf folgt die Arbeitsphase, in welcher die Gruppen eigenständig arbeiten. Die Dozentin / der Dozent verhält sich in dieser Phase passiv, steht jedoch für Fragen zur Verfügung. (3) Zuletzt kommt es zur Auswertung. Die erarbeiteten Ergebnisse werden im Plenum zusammengetragen. Die Dozentin / der Dozent moderiert diesen Prozess. Häufig stellen die Gruppenmitglieder in einer Präsentation ihre Ergebnisse dar.

Im Rahmen von Gruppenarbeit können Gruppenphänomene auftreten, welche die Effektivität der Gruppenarbeit mindern. Das soziale Faulenzen oder Trittbrettfahren beschreibt das Phänomen, dass Gruppenmitglieder ihre individuellen Anstrengungen reduzieren und sich weniger in die Gruppenarbeit einbringen, wenn ihr individueller Beitrag zur Erreichung der Gruppenziels bzw. zur Umsetzung des Arbeitsauftrags unklar oder nicht zuordenbar ist (Karau & Williams, 1993). Eng verwandt damit ist der Gimpel-Effekt. Dieser beschreibt das Phänomen, dass Gruppenmitglieder, die die reduzierten Anstrengungen von anderen Gruppenmitgliedern wahrnehmen, sich ebenfalls weniger in die Gruppenarbeit einbringen (Schnake, 1991). Dozentinnen und Dozenten können den Effekten entgegenwirken, indem sie tendenziell kleinere Gruppengrößen wählen, in der Aufgabenstellung klar definierte Rollen für die einzelnen Gruppenmitglieder aufstellen (Liden et al., 2004) und die Aufgabenstellung mit einer herausfordernden Zielsetzung verknüpfen (Schnake, 1991).

Scale development

Der FIRE-G wurde im Rahmen einer Kooperation zwischen dem Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) und der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster entwickelt und validiert. Das IdF NRW ist die zentrale Ausbildungs- und Weiterbildungsstätte für Feuerwehrangehörige und Mitglieder von Krisenstäben des Landes NRW.

Alle berichteten statistischen Analysen wurden mithilfe der Statistiksoftware R (Version 4.1.1) durchgeführt.

Itemkonstruktion und Itemselektion

Der FIRE-G entstand als ergänzendes Modul zum FIRE-Kernfragebogen (Schulte & Thielsch, 2019; Schulte et al., 2019). Dieser ist ein validiertes Instrument zur Bewertung und Evaluation der Führungskräfteausbildung in der Feuerwehr. Er erfasst vier Prozess-Faktoren (Dozentenverhalten, Anforderungsniveau, Struktur, Gruppe) und zwei Outcome-Faktoren (Kompetenzerwerb, Vorbereitung & Transfer) guter Lehre. Neben diesen allgemeinen Faktoren sind für die Lehrevaluation auch spezifische Informationen zu den einzelnen Lehrmethoden von Interesse. Im Bereich der Rettungskräfte-Ausbildung am IdF NRW sind dies insbesondere Einsatzübungen, Planübungen, Gruppenarbeiten und Aufgaben zum eigenverantwortlichen Arbeiten. Entsprechende Items wurden jedoch nicht in den FIRE-Kernfragebogen aufgenommen, um ihn möglichst ökonomisch und flexibel einsetzbar zu gestalten (siehe Schulte & Thielsch, 2019). Stattdessen wurde eine Reihe von Zusatzmodulen entwickelt (Röseler et al., 2020; Röseler et al., 2021; Kleinstück et al., 2021). Dazu gehört auch der FIRE-G. Er dient der gezielten Bewertung und Evaluation von Gruppenarbeiten, wie sie in der Ausbildung von Führungskräften der Feuerwehr typischerweise vorkommen. Bei der Entwicklung des Fragebogens wurde darauf geachtet, dass die Items keine rein feuerwehrspezifischen Inhalte erfassen, sondern prinzipiell auch bei Ausbildungen in anderen Organisationen, wie Zivil- und Katastrophenschutz, Polizei und Militär eingesetzt werden können.

Die vorliegende Itembatterie wurde neu entwickelt. In den ursprünglichen Itempool wurden zunächst Items aufgenommen, die die lernförderlichen Interaktionen mit anderen Gruppenmitgliedern erfassen (G_1, G_3, G_5, G_6). Weitere Items wurden hinzugenommen, um die organisatorischen Aspekte Unterstützung, Nachbesprechung und Aufgabenstellung abzubilden (G_2, G_4, G_7). 

Tabelle 2

Itempool zur Skala FIRE-G       

Nr.	Item	Ursprung
G_1	Ich habe bei den Gruppenarbeiten viel von anderen Teilnehmenden gelernt.*
G_2	Die Unterstützung der Dozentinnen und Dozenten bei den Gruppenarbeiten war ausreichend.	Grötemeier & Thielsch, 2014
G_3	Alle Teilnehmenden haben sich entsprechend ihrer Kompetenzen an den Gruppenarbeiten beteiligt.*
G_4	Die Gruppenarbeiten wurden ausreichend nachbesprochen.
G_5	Den Teilnehmenden ist an einem guten Ergebnis der Gruppenarbeiten gelegen. [revidiert in Studie I]	Grötemeier & Thielsch, 2014
G_6	Die Gruppenarbeiten haben den Austausch zwischen den Teilnehmenden gefördert.*
G_7	Die Leitfragen/Aufgabenstellungen der Gruppenarbeiten waren verständlich.

Anmerkung. Die mit * markierten Items gingen in die finale Skala ein.

Studie I: Im Rahmen der Entwicklung des FIRE-Kernfragebogens wurden auch die Items zu Lehrmethoden, unter anderem die Gruppenarbeits-Items, Dozentinnen und Dozenten sowie Lehrgangsteilnehmenden am IdF NRW zur kritischen Begutachtung vorgelegt (vgl. Schulte & Thielsch, 2019). Diese bewerteten die Items hinsichtlich Verständlichkeit und Relevanz. Bei Item G_5 zeigten sich Auffälligkeiten, da es lediglich von 76% der Stichprobe als wichtig oder eher wichtig bezeichnet wurde und von 7% als unwichtig eingeschätzt wurde. Es wurde daraufhin revidiert: „Mir war an einem guten Ergebnis der Gruppenarbeiten gelegen“.  Alle übrigen Gruppenarbeits-Items wurden jeweils von über 80% der Stichprobe als wichtig oder eher wichtig bezeichnet und kein Item wurde von mehr als 3% der Stichprobe als unverständlich bezeichnet. Dabei gab es keine nennenswerten Unterschiede zwischen Dozentinnen/Dozenten und Lehrgangsteilnehmenden. Somit musste kein weiteres Item aufgrund von Unverständlichkeit oder fehlender Relevanz revidiert werden.

Studie II: Im nächsten Schritt wurde die Faktorenstruktur der Gruppenarbeits-Items anhand zweier explorativer Faktorenanalysen (EFA) untersucht. Personen mit unvollständigen Angaben waren zuvor listenweise ausgeschlossen worden. Die deskriptiven Werte der Items und die Ergebnisse der Faktorenanalyse finden sich in Tabelle 3. Die Schiefe und der Exzess wurden mittels der describe-Funktion (Typ 1) aus dem R-Paket psych (Revelle, 2021; Version 2.1.9) berechnet. Aufgrund der geringen Streuung wurde das Item G_5 ausgeschlossen, sodass es nicht in die Faktorenanalysen einging. Für die Faktorenanalysen wurde ebenfalls das R-Paket psych genutzt. Es wurde zunächst eine oblimin-rotierte Hauptkomponentenanalyse gerechnet (EFA 1). Dabei zeigte sich bei allen Items eine hohe Faktorladung. Aus testökonomischen Gründen wurde beschlossen, nur Items in die finale Skala zu übernehmen, welche sich auf lernförderliche Interaktionen innerhalb der Gruppe bezogen (G_1, G_3, G_6). Die übrigen Items bezogen sich vor allem auf organisatorische Aspekte von Gruppenarbeiten, welche stark von den jeweiligen Dozenten abhängig sind. Zur Evaluation des Dozentenverhaltens liegen jedoch bereits der FIRE Kernfragebogen und der FIRE-DO zur Dozenteneinzelevaluation (Kleinstück et al., 2021) vor. Um den FIRE-G stärker vom Verhalten der Dozentinnen und Dozenten abzugrenzen, wurden die Items G_2, G_4 und G_7 ausgeschlossen. Es wurde eine weitere oblimin-rotierte Hauptkomponentenanalyse mit den verbleibenden Items berechnet (EFA 2), welche sehr hohe Faktorladungen bei allen Items zeigte. Die finale Version des FIRE-G besteht somit aus drei Items, die die lernförderliche Interaktion innerhalb der Gruppe erfassen.

Tabelle 3

Deskriptive Daten und Explorative Faktorenanalyse der Lehrmethodenitems

Item	M	SD	Schiefe	Exzess	Trenn-schärfe	EFA 1		EFA 2
						Ladung	h2	Ladung	h2
G_1	5.12	1.34	-0.91	0.67	.57	.72	.50	.83	.68
G_2	5.49	1.06	-0.96	0.56	.59	.73	.49
G_3	5.72	1.04	-1.39	2.52	.67	.80	.61	.84	.76
G_4	5.58	1.31	-1.55	2.38	.51	.66	.41
G_5	6.14	0.82	-1.75	4.67	.57
G_6	6.08	1.04	-1.81	4.56	.63	.74	.56	.81	.65
G_7	5.82	0.96	-1.32	2.93	.58	.69	.49

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. N = 240.

Stichproben

Stichprobe zu Studie I: An der Bewertung der Items in Studie I (Ende 2015) nahmen sieben Dozentinnen und Dozenten (86% männlich) sowie 26 Teilnehmende eines Gruppenführerlehrgangs (96% männlich) teil, sodass insgesamt N = 33 Personen befragt wurden. Die Dozentinnen und Dozenten wurden im Rahmen Ihrer Tätigkeit in der Gruppen- und Zugführerausbildung am IdF NRW gebeten, an der Studie teilzunehmen, während die Lehrgangsteilnehmenden im Rahmen ihres Lehrgangs auf die Studie angesprochen wurden. Für beide Gruppen war die Teilnahme an der Paper-Pencil-Befragung freiwillig und wurde nicht vergütet. Die befragten Dozentinnen und Dozenten waren zwischen 27 und 45 Jahre alt (M = 38.9; SD = 6.0). In der Gruppe der Lehrgangsteilnehmenden variierte das Alter zwischen 21 und 43 Jahren (M = 30.5; SD = 6.9).

Stichprobe zu Studie II: In Studie II nahmen zwischen Januar und April 2016 insgesamt 263 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. In der vorliegenden Analyse mussten die Daten von 108 Teilnehmenden ausgeschlossen werden, da sie nicht mit der Nutzung ihrer Daten einverstanden waren (n = 10), einen monotonen oder unrealistischen Antwortstil aufwiesen (n = 3) oder interessierende Items nicht beantworteten hatten (n = 10). Die Stichprobengröße für die EFA bestand demnach aus N = 240 Lehrgangsteilnehmenden. Die Befragten (95.4% männlich, 3.3% weiblich, 1.3% ohne Angabe) waren zwischen 21 und 55 Jahren alt (M = 31.8, SD = 6.5). Sie verfügten über eine mittlere Arbeitserfahrung von 13.7 Jahren (SD = 8.2) und absolvierten im Mittel 9.3 (SD = 15.5) Einsätze im Monat. 14.2% der Stichprobe arbeiteten bei der Berufsfeuerwehr, 70.0% bei der freiwilligen Feuerwehr und 15.8% gaben an, sowohl bei der Berufsfeuerwehr als auch bei der freiwilligen Feuerwehr tätig zu sein.

Stichprobe zu Studie III (Bestimmung der Itemkennwerte und Gütekriterien): Zwischen Januar und März 2017 nahmen insgesamt 415 Teilnehmende von Gruppen- und Zugführerlehrgängen am IdF NRW an der Paper-Pencil-Befragung teil. Die Teilnehmenden wurden jeweils im Rahmen ihres Lehrgangs auf die Studie angesprochen. Die Teilnahme war freiwillig und wurde nicht vergütet. Es mussten 30 Teilnehmende wegen fehlender Zustimmung zur Nutzung ihrer Daten und weitere 10 wegen einer oder mehrerer fehlender Antworten bei den Gruppenarbeits-Items ausgeschlossen werden. Die Stichprobengröße in Studie III belief sich somit auf 375 Lehrgangsteilnehmende, die zwischen 21 und 55 Jahre alt waren (M = 33.4, SD = 6.8). Davon waren 93.9% männlich und 4.8% weiblich (1.3% ohne Angabe). Die mittlere Einsatzerfahrung betrug 14.4 Jahre (SD = 10.4). Bei der Freiwilligen Feuerwehr waren 53.1% der Stichprobe tätig, bei der Berufsfeuerwehr 24.8%. Die übrigen Teilnehmenden gaben an, sowohl bei der Freiwilligen als auch bei der Berufsfeuerwehr tätig zu sein (20.0%; 2.1% ohne Angabe). Teilnehmende, die ausschließlich bei der Freiwilligen Feuerwehr tätig waren, absolvierten durchschnittlich 4.84 Einsätze pro Monat (SD = 4.33). Die Teilnehmenden, die zusätzlich oder ausschließlich bei der Berufsfeuerwehr tätig waren, absolvierten durchschnittlich 28.13 Einsätze pro Monat (SD = 24.38).

Itemanalysen

Studie III: Da der FIRE-G lediglich drei Items beinhaltet, handelt es sich um ein gerade identifiziertes Messmodell mit null Freiheitsgraden. Eine Berechnung von Signifikanztests und aussagekräftigen Fit-Indizes ist auf dieser Grundlage nicht möglich. Um dennoch die angenommene einfaktorielle Struktur des FIRE-G überprüfen zu können, wurde der konfirmatorischen Faktorenanalyse (CFA) ein essenziell tau-äquivalentes Messmodell zugrunde gelegt, welches aufgrund zusätzlicher Restriktionen zwei zusätzliche Freiheitsgrade aufweist (Czerwiński & Atroszko, 2021).  Ein 𝛸²-Differenzentest zwischen kongenerischem und essenziell tau-äquivalentem Messmodell ergab, dass ein tau-äquivalentes Messmodell tatsächlich adäquat ist (𝛸²_diff (2) = 2.95, df_diff = 2, p = .229). Für die CFA wurde das R-Paket lavaan (Rosseel, 2012; Version 0.6-10) mit Maximum-Likelihood-Schätzer (MLR) verwendet. Personen mit unvollständigen Angaben waren zuvor listenweise ausgeschlossen worden (siehe Stichprobenbeschreibung zu Studie III). Eine einfaktorielle Struktur ergab einen guten Fit (𝛸²(2) = 2.95, p = .229, CFI = .998, TLI = .997, RMSEA = .04 [.00,.12], SRMR = .04), beurteilt nach den Empfehlungen für Fit-Indizes von Hu und Bentler (1999). Die Ergebnisse der CFA sind in Abbildung 1 zu finden.

Abbildung 1

Ergebnisse der konfirmatorischen Faktorenanalyse

Anmerkung. Um die einfaktorielle Struktur anhand einer CFA überprüfen zu können, wurde anstelle eines gerade identifizierten kongenerischen Messmodells ein überidentifiziertes essenziell tau-äquivalentes Messmodell angenommen (Czerwiński & Atroszko, 2021). N = 375

Itemkennwerte

Eine Übersicht der Kennwerte der finalen Items findet sich in Tabelle 4.

Tabelle 4

Mittelwerte, Standardabweichungen, Schiefe, Exzess und Trennschärfen der manifesten Items

	M	SD	Trennschärfe	Schiefe	Exzess
Item 1 (G_1)	5.36	1.13	.69	-1.03	1.52
Item 2 (G_3)	5.68	1.02	.71	-1.43	3.16
Item 3 (G_6)	5.77	1.03	.67	-1.19	1.60

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme vollkommen zu). Es werden korrigierte Trennschärfen berichtet. Die Schiefe und der Exzess wurden mittels der describe-Funktion (Typ 1) aus dem R-Paket psych (Revelle, 2021; Version 2.1.6) berechnet. Die Faktorladungen siehe Abb. 1. N = 375.

Quality criteria

Objektivität

Bei der Konstruktion des FIRE-G wurden keine expliziten Objektivitätskriterien überprüft. Es kann davon ausgegangen werden, dass die Standardisierung des Fragebogens, das gebundene Antwortformat, die oben beschriebene Auswertungsmethode und die Angabe von Vergleichsdaten (siehe Deskriptive Statistiken) eine hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität grundsätzlich ermöglichen.

Reliabilität

Beim FIRE-G liegt in der Stichprobe zu Studie III (N = 375) ein essenziell tau-äquivalentes Messmodell vor (siehe Abschnitt zu Itemanalysen). In der Stichprobe zu Studie II (N = 240) liegt ein tau-kongenerisches Messmodell vor (𝛸²_diff (2) = 6.91, df_diff = 2, p = .032). Somit stellt Cronbachs α in Stichprobe III bzw. McDonald‘s ω in beiden Stichproben einen adäquaten Reliabilitätskoeffizienten dar. In Studie III beträgt Cronbachs α .83 und McDonald‘s ω ebenfalls .83. In Studie II liegt McDonalds ω bei .77. Zusammengefasst sprechen diese Werte für eine zufriedenstellende bis gute Reliabilität im Sinne der internen Konsistenz.

Validität

Inhaltsvalidität. Die konstruierten Items wurden von Dozentinnen und Dozenten und Lehrgangsteilnehmenden am IdF NRW als generell relevant und verständlich bewertet (Studie I). Zusätzlich schätzten Experten des IdF NRW die in den Items enthaltenen Aspekte als relevant für den Lernerfolg ein. Insgesamt ist somit von inhaltlicher Validität auszugehen.

Konstruktvalidität. Im Hinblick auf die Konstruktvalidität des FIRE-G wurden Subskalen des FIRE-Kernfragebogens (Schulte & Thielsch, 2019; Schulte et al., 2019) als konvergente und divergente Maße erhoben. Als divergente Maße wurden außerdem der FIRE-E (Evaluation von Einsatzübungen, Röseler et al., 2020), die Punktzahl der Eingangsprüfung und die Biasvariable Stimmung erhoben. Biasvariablen sind solche Variablen, die Einfluss auf die Einschätzung der Lehrqualität durch die Urteilenden nehmen, tatsächlich aber nicht mit ihr in Zusammenhang stehen (Spiel, 2001). Solch ein Einfluss kann durch die Stimmung der Teilnehmenden entstehen. Die Stimmung der Teilnehmenden wurde dabei anhand einer fünfstufigen Smiley-Skala von Jäger (2004) gemessen. Tabelle 5 zeigt die Korrelationen des FIRE-G mit den verschiedenen Validitätsmaßen basierend auf Studie III.

Konvergente Validität. Der Fokus des FIRE-G auf lernförderliche Interaktionen innerhalb der Gruppe spricht dafür, dass er substanziell mit der allgemeinen Bewertung der Lehrgangsgruppe korrelieren sollte (FIRE Skala Gruppe). Tatsächlich zeigt sich eine hohe Korrelation.

Divergente Validität. Neben den Gruppenarbeiten in der theoretischen Ausbildung sind die Einsatzübungen in der praktischen Ausbildung ebenfalls eine Form der Gruppenarbeit. Dort geht es allerdings weniger darum, zu diskutieren und im Austausch miteinander Lösungen zu finden, sondern um unter Zeitdruck praktische Handlungen durchzuführen. Diese Unterscheidung spiegelt sich in der mittleren Korrelation mit dem FIRE-E wider. Im Konstruktionsprozess des FIRE-G wurden gezielt Items ausgeschlossen, die sich auf das Dozentenverhalten während der Gruppenarbeiten bezogen (z.B. Durchführen von Nachbesprechungen), sodass der Fokus des Fragebogens auf Interaktionsprozessen innerhalb der Gruppe liegt. Dementsprechend korreliert der FIRE-G weniger stark mit der FIRE-Skala zum Dozentenverhalten als mit der Skala zur Gruppe. Die nicht signifikante Korrelationen mit der Punktzahl in der Eingangsprüfung ist ein Indikator dafür, dass Vorkenntnisse und Vorbereitungsstand nicht in die Bewertung der Gruppenarbeiten einfließen. Die erhobene Biasvariable Stimmung können als theoretisch nicht völlig unabhängig vom FIRE-G erachtet werden. So ist zu erwarten, dass sich ein großer Lernerfolg positiv auf die Stimmung auswirken. Kleine oder mittlere Zusammenhänge sprechen in diesem Zusammenhang daher nicht gegen die Validität der Skalen. Größere Zusammenhänge würden die Konstruktvalidität der Skalen jedoch in Frage stellen. Es zeigt sich eine kleine Korrelation des FIRE-G mit der Stimmung zum Zeitpunkt der Erhebung.

Tabelle 5

Validitätsmaße des FIRE-G

	FIRE-G
	n	r
Konvergente Maße:
Gruppe (FIRE)	373	.53***
Divergente Maße:
Dozentenverhalten (FIRE)	365	.43***
Einsatzübungen (FIRE-E)	368	.40***
Punktzahl Eingangsprüfung	222	-.04 n.s.
Stimmung	368	.22***
Kriterienbezogene Maße:
Kompetenzerwerb (FIRE)	365	.38***
Transfer (FIRE)	366	.32***
Gesamtzufriedenheit	363	.44***
Benotung des Lehrgangs †	371	.29***

Anmerkung. Paarweiser Ausschluss bei fehlenden Daten (= Frage ausgelassen oder als nicht sinnvoll beantwortbar beantwortet, auch bereits bei zur Bildung eines Skalenwerts notwendigen Items). ^† Zur besseren Interpretierbarkeit wurde die hier erhobene Schulnote umgepolt; hohe Werte entsprechen somit einer positiven Benotung des Seminars; aufgrund des Ordinalskalenniveaus der Schulnotenskala wurde eine Spearman-Korrelation berechnet. Die Daten stammen aus Studie III.
*p < .05, **p < .01, ***p < .001. N = 375.

Kriteriumsvalidität. Aufgrund der zentralen Rolle von Gruppenarbeiten in der theoretischen Ausbildung sollten hohe Werte des FIRE-G mit dem selbstbeurteilten Lernerfolg einhergehen. Die mittleren Korrelationen des FIRE-G mit den FIRE-Skalen Kompetenzerwerb und Transfer bestätigen diese Annahme. Aus dem gleichen Grund sollte auch die Zufriedenheit der Teilnehmenden mit dem Lehrgang positiv mit dem FIRE-G zusammenhängen. Zur Erfassung der Gesamtzufriedenheit wurde eine Skala bestehend aus vier Items genutzt (selbstgeneriert und entnommen aus Gläßer et al., 2002). Zudem wurde der Lehrgang anhand einer Schulnotenskala von den Teilnehmenden bewertet. Der FIRE-G zeigte eine mittlere Korrelation mit der Gesamtzufriedenheit der Lehrgangsteilnehmenden und eine kleine Korrelation mit ihrer Benotung des Lehrgangs (siehe Tabelle 5).

Deskriptive Statistiken

Zur Berechnung der deskriptiven Statistiken wurden die Stichproben der Studien II und III zugunsten einer breiteren Datenbasis zusammengefasst. In der zusammengefassten Stichprobe (N = 615) zeigte der FIRE-G einen Mittelwert von 5.62 (SD = 0.93). Es ergab sich eine Schiefe von -1.22 und einem Exzess von 2.27. In dieser Stichprobe lag der Anteil männlicher Teilnehmender bei 94.5% (4.2% weiblich, 1.3% ohne Angabe) und das mittlere Alter bei 32.79 Jahren (SD = 6.76). Die mittlere Einsatzerfahrung betrug 14.06 Jahre (SD = 10.12) bei durchschnittlich 14.11 Einsätzen pro Monat (SD = 19.86). Insgesamt waren 59.7% der zusammengefassten Stichprobe ausschließlich in der Freiwilligen Feuerwehr tätig, 20.7% ausschließlich in der Berufsfeuerwehr und 18.4% sowohl in der Freiwilligen als auch in der Berufsfeherwehr (1.3% ohne Angabe).

Nebengütekriterien

Der FIRE-G erlaubt eine sehr zeit- und kostenökonomische Erfassung der Teilnehmendenurteile über die erlebte Qualität von Gruppenarbeiten. Die Durchführungsdauer darf mit etwa einer Minute (Schätzwert der Autoren) als gut zumutbar sowohl für Dozentinnen und Dozenten als auch für Teilnehmende gelten. Es besteht die mit der Verwendung von Rating-/Likertskalen stets einhergehende Möglichkeit zur Verfälschung der Antworten. Um die Motivation zum ehrlichen Antworten zu erhöhen, sollte den Teilnehmenden in jedem Falle Anonymität zugesichert werden.

Weiterführende Literatur

Schulte, N. & Thielsch, M. T. (2019). Evaluation of Firefighter Leadership Trainings. International Journal of Emergency Services, 8(1), 34-49. http://doi.org/10.1108/IJES-03-2018-0020

Danksagung

Die Autoren möchten sich herzlich beim Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW), insbesondere bei Stephanie Vöge, Yannick Ngatchou und Thomas Löchteken, für die umfassende Unterstützung dieser Instrumentenerstellung bedanken.

Contact