feedback tool for Rescue Force Development – Basic Training (FIRE-B)

Abstract:

 The feedback tool for Rescue Force Development – Basic Training (FIRE-B) is used to measure the perceived quality of firefighter training at community and district level. Participants of these training courses at the voluntary fire brigade and the professional fire brigade are interviewed. The instrument is based on a qualitative analysis of characteristics of a good basic training with the fire brigade (N = 21) as well as on scales which are used for the evaluation of management training with the fire brigade or for the teaching evaluation at universities. The FIRE-B was tested and validated on the basis of two random samples (total = 708) with participants from various basic fire brigade training courses. Factor analyses show a six-factor questionnaire structure (structure & didactics, support & promotion, group, practice, material & premises, competence acquisition). The scales are to be judged as reliable. In addition, there are indications of content, construct and criterion validity

• Language Documentation: deutsch
• Language Items: German
• Number of Items: 33

• Reliability: Cronbachs Alpha ≥ .76, McDonalds Omega ≥ .76
• Validity: Hinweise auf Inhalts-, Konstrukt- und Kriteriumsvalidität
• Construct: Feedback zu Rettungskräftebasisausbildung (Struktur & Didaktik, Unterstützung & Förderung, Gruppe, Praxis, Material & Räumlichkeiten, Kompetenzerwerb)
• Catchwords: Feuerwehr, Evaluation, Ausbildung | fire brigade, evaluation, training
• Item(s) used in Representative Survey: nein
• Status of Development: validiert

Instrument

Instruktion

Liebe/r Ausbildungsteilnehmer/in,

wir danken Ihnen, dass Sie an der Befragung teilnehmen! Es geht darum, wie Sie den aktuellen Lehrgang der Feuerwehr bewerten. Sie helfen uns damit, die Qualität dieser Basisausbildung zu beurteilen und gegebenenfalls zu verbessern.

Wir werden Ihnen nachfolgend einige Aussagen präsentieren. Bitte teilen Sie uns für jede Aussage mit, wie sehr Sie dieser zustimmen. Kreuzen Sie für jede Aussage das Feld an, das den Grad Ihrer Zustimmung am besten wiedergibt. Generell gilt dabei: Es gibt keine richtigen oder falschen Antworten. Vielmehr interessieren wir uns für Ihre ganz persönliche Meinung.

Ihre Teilnahme an der Befragung ist freiwillig. Zudem erfolgt die Befragung selbstverständlich anonym. Die Ergebnisse werden nur in gesammelter Form, das heißt beispielsweise in Form von Mittelwerten aller Befragten, zurückgemeldet. Ein Rückschluss auf Ihre Person ist damit ausgeschlossen.

Items

Tabelle 1

Items der Skala FIRE-B                                                          

Nr.	Item	Subskala
1	Ich finde, die Ausbildung war klar strukturiert.	Struktur & Didaktik
2	Ich finde, die Ausbildung gab einen guten Überblick über das Themengebiet.	Struktur & Didaktik
3	Die Ausbilder/innen haben komplizierte Dinge verständlich erklärt.	Struktur & Didaktik
4	Ich finde, die Ausbilder/innen konnten den Unterricht/die Übungen flexibel an mein Wissen und meine Fähigkeiten anpassen.	Struktur & Didaktik
5	Die Ausbilder/innen haben die Themen interessant aufbereitet.	Struktur & Didaktik
6	Die Ausbilder/innen kannten sich mit den Inhalten der Ausbildung sehr gut aus.	Struktur & Didaktik
7	Die Ausbilder/innen hatten für die Probleme der Auszubildenden ein offenes Ohr.	Unterstützung & Förderung
8	Ich finde, die Ausbilder/innen waren an meinem Lernerfolg interessiert.	Unterstützung & Förderung
9	Die Ausbilder/innen motivierten mich, mich einzubringen.	Unterstützung & Förderung
10	Die Ausbilder/innen vermittelten Ruhe in schwierigen Situationen.	Unterstützung & Förderung
11	Die Ausbilder/innen konnten die Ausbildung mit ihren eigenen Einsatzerfahrungen gut ergänzen.	Unterstützung & Förderung
12	Die anderen Auszubildenden brachten sich aktiv ein.	Gruppe
13	Die anderen Auszubildenden arbeiteten motiviert mit.	Gruppe
14	Ich finde, es herrschte ein guter Zusammenhalt unter den Auszubildenden.	Gruppe
15	Ich finde, die praktischen Übungen waren realitätsnah.	Praxis
16	Ich finde, die Übungen wurden ausreichend nachbesprochen.	Praxis
17	Es gab ausreichend Gelegenheiten, das Gelernte praktisch zu erproben.	Praxis
18	Räumlichkeiten und Übungsanlagen waren ausreichend und in guter Qualität vorhanden.	Material & Räumlichkeiten
19	Die Qualität der im theoretischen Unterricht verwendeten Medien (Präsentationen, Filme, Skizzen, etc.) war gut.	Material & Räumlichkeiten
20	Lehrmaterialien (Bücher, Hefte, Arbeitsblätter, etc.) für den theoretischen Unterricht waren ausreichend und in guter Qualität vorhanden.	Material & Räumlichkeiten
21	Fahrzeuge, Geräte und Ausrüstung waren ausreichend und in guter Qualität vorhanden.	Material & Räumlichkeiten
22	Übungs- und Anschauungsmaterialien (Dummys, Schrottautos, etc.) waren ausreichend vorhanden.	Material & Räumlichkeiten
23	Durch die Ausbildung kann ich besser auf Gefahren reagieren.	Kompetenzerwerb
24	Durch die Ausbildung kann ich deutlich besser mit feuerwehrtechnischen Geräten und Fahrzeugen umgehen.	Kompetenzerwerb
25	Ich fühle mich durch die Ausbildung auf meinen nächsten Einsatz sehr gut vorbereitet.	Kompetenzerwerb
26	Durch die Ausbildung kenne ich meine persönlichen Grenzen besser.	Kompetenzerwerb
27	Durch die praktischen Übungen in der Ausbildung habe ich die nötige Sicherheit gewonnen, in verschiedenen Einsätzen meine Aufgaben in der Feuerwehr zu übernehmen.	Kompetenzerwerb
28	Durch die Ausbildung wurde meine Teamfähigkeit verbessert.	Kompetenzerwerb
29	Durch die Ausbildung konnte ich mein theoretisches Wissen deutlich erweitern.	Kompetenzerwerb

Tabelle 2

Je nach Evaluationskontext optionale Items

Nr.	Item
30	Das Tempo der Stoffvermittlung war zu hoch für mich.
31	Ich habe in der Ausbildung sehr viel gelernt.
32	Ich würde der Ausbildung insgesamt folgende Schulnote geben.
33	Platz für weitere Anmerkungen (Hier können Sie noch Lob, Kritik oder Anregungen zur Ausbildung äußern): Falls Sie mit einer oder mehreren der folgenden Rahmenbedingungen unzufrieden sind, beschreiben Sie bitte, was genau verbessert werden sollte. – Fahrzeuge, Geräte und Ausrüstung – Räumlichkeiten und Übungsanlagen – Übungs- und Anschauungsmaterialien – Lehrmaterialien

 Antwortvorgaben
Items 1-31:

Siebenstufiges Antwortformat mit den Optionen 1 = stimme gar nicht zu, 2 = stimme nicht zu, 3 = stimme eher nicht zu, 4 = neutral, 5 = stimme eher zu, 6 = stimme zu, 7 = stimme vollkommen zu. Ein zusätzliches Feld bietet die Möglichkeit anzugeben, dass das jeweilige Item nicht sinnvoll zu beantworten sei.

Item 32:

Sechsstufiges Antwortformat mit den Optionen 1 = sehr gut, 2 = gut, 3 = befriedigend, 4 = ausreichend, 5 = mangelhaft und 6 = ungenügend.

Item 33:

Offenes Antwortformat

Auswertungshinweise

Zur Bildung der Skalen-Mittelwerte werden die Antwortwerte der jeweiligen Antworten auf der Skala pro Befragtem addiert und durch die Anzahl der bearbeiteten Skalen-Items geteilt. Beispiel: Der Mittelwert der Skala Struktur & Didaktik berechnet sich aus der Summe der Antwortwerte der Items Nr. 1, 2, 3, 4, 5 und 6, geteilt durch die Anzahl der bearbeiteten Items. Analog dazu wird die Skala Unterstützung & Förderung mit den Items Nr. 7, 8, 9, 10 und 11 gebildet; die Skala Gruppe mit den Items Nr. 12, 13 und 14; die Skala Praxis mit den Items Nr. 15, 16 und 17; die Skala Material & Räumlichkeiten mit den Items Nr. 18, 19, 20, 21 und 22 und schließlich die Skala Kompetenzerwerb mit den Items Nr. 23, 24, 25, 26, 27, 28 und 29. Die Skalenmittelwerte pro Befragtem werden dann über alle Befragten hinweg gemittelt. Hohe Werte sind dabei gleichbedeutend mit einer positiveren Beurteilung der Ausbildung.

Wird ein Item mit nicht sinnvoll zu beantworten beantwortet, so ist dies als fehlender Wert zu behandeln. Für eine Online-Befragung empfehlen wir die Items 1-32 als Pflichtfragen vorzugeben. Für eine Papierbefragung empfehlen wir Personen, die drei Items oder mehr komplett auslassen, aus der Auswertung herauszunehmen. Eine hohe Anzahl von fehlenden Werten bei vielen Personen kann in einer mangelnden Passung des Fragebogens in dem jeweiligen Evaluationskontext begründet sein.

Wir schlagen hinsichtlich der Interpretation der Einzelitems (Nr. 30-32) vor, diese lediglich als allgemeine Rückmeldung im Sinne einer Checkliste zu nutzen, beziehungsweise offene Anmerkungen aus Item 33 erst bei einer substanziellen Zahl von vergleichbaren Nennungen als handlungsleitend heranzuziehen. Item 30 resultiert aus der Skala Überforderung des FIRE (siehe unten, Ergebnisse zu Studie II); Item 31 und 32 orientieren sich an vergleichbaren Items aus etablierten Evaluationsinstrumenten (bspw. FEVOR, Staufenbiel, 2000; KIEL, Gediga et al., 2000; MFE-Sr, Thielsch & Hirschfeld, 2012).

Generell möchten wir empfehlen, eine Auswertung erst vorzunehmen, wenn mindestens acht ausgefüllte Fragebögen vorliegen (bzw. wenn bei Veranstaltungen mit weniger als 15 TeilnehmerInnen mindestens 50% an der Befragung teilgenommen haben). Dabei ist darauf zu achten, dass die Auswertung anonym erfolgt. Dementsprechend sollten keine demographischen Variablen erhoben werden, anhand derer Rückschlüsse auf einzelne Personen gezogen werden können. Bei Papierbefragungen sollten die offenen Angaben aus Item 33 zunächst durch eine neutrale Person digitalisiert werden, damit Befragte nicht an der Handschrift erkannt werden können. Ist dies nicht möglich, so muss in der Befragung auf dieses Problem hingewiesen werden.

Grundsätzlich sollte der subjektive Charakter einer solchen Evaluation berücksichtigt werden. Ein Feedback aus der FIRE-Evaluation ist für die AusbilderInnen eine Chance, wichtige Informationen über die eigene Lehrtätigkeit aus Sicht der VeranstaltungsteilnehmerInnen zu erhalten. Es empfiehlt sich eine Evaluationsbesprechung mit den Befragten abzuhalten, in deren Rahmen Ergebnisse des FIRE-Bs besprochen und mögliche Missverständnisse geklärt werden können. Die Fragebögen eignen sich dabei auch zum Vergleich mit früheren gleichartigen Veranstaltungen oder zwischen verschiedenen Lehrkonzepten. Wenn keine eigenen Vergleichsdaten vorliegen, können die deskriptiven Statistiken in Tabelle 10 (siehe unten) als Orientierung dienen. Von Seiten der verantwortlichen Organisation sollte die Evaluation technisch, aber auch inhaltlich unterstützt werden. Dies umfasst insbesondere Hilfestellungen, sollten Evaluationen wiederholt Verbesserungspotenziale aufzeigen, sowie Belobigungen für qualitativ gute Unterrichtstätigkeit.

Anwendungsbereich

Der Fragebogen wurde zur Beurteilung der feuerwehrtechnischen Ausbildung auf Gemeinde- und Kreisebene in Deutschland entwickelt. Dazu zählen die Brandmeisterausbildung bei der Berufsfeuerwehr bzw. die Truppmann- oder Truppführerausbildung sowie sonstige nicht an Landesfeuerwehrschulen stattfindende Ausbildungen bei der Freiwilligen Feuerwehr. Grundsätzlich ist der FIRE-B zur Evaluation von Basisausbildungen und grundlegenden Lehrgängen auf Mitarbeiterebene im Bereich der Rettungskräfteausbildung geeignet. Eine Verwendung in anderen Ausbildungsbereichen verlangt eine vorherige empirische Überprüfung der Anwendbarkeit der Skalen. Schriftliche Prüfungen im Rettungswesen können mittels des FIRE-P (Thielsch, Busjan, & Frerichs, 2018) bewertet werden; zur Evaluation der Ausbildungen von Führungskräften empfiehlt sich der FIRE (Schulte & Thielsch, in press). Die Ausbildungsbeurteilung mit dem FIRE-B erfolgt nach Abschluss der Ausbildung, beziehungsweise eines spezifischen Lehrgangs oder Ausbildungsabschnitts.

Theory

Von Feuerwehrleuten wird schon nach Absolvieren der untersten Ausbildungsebene die “Übernahme von grundlegenden Tätigkeiten im Lösch- und Hilfeleistungseinsatz […] unter Anleitung” (Feuerwehr-Dienstvorschrift 2 [FwDV 2], 2012, S. 9) erwartet. Eine zentrale Aufgabe von Feuerwehrleuten ist das Retten, worunter das “Abwenden einer Gefahr von Menschen oder Tieren durch lebensrettende Sofortmaßnahmen, die sich auf Erhaltung oder Wiederherstellung von Atmung, Kreislauf und Herztätigkeit richten” (FwDV 3, 2008, S. 4) oder das “Befreien aus einer lebens- oder gesundheitsgefährdenden Zwangslage” (FwDV 3, 2008, S. 4) verstanden wird. Die Arbeit von Feuerwehrkräften zeichnet sich dadurch aus, dass sie oft gefährlich, körperlich sowie mental fordernd und zudem meist unvorhersehbar ist (Taber, Plumb, & Jolemore, 2008). Eine gute grundständige Ausbildung der Einsatzkräfte bildet die Basis für die Entwicklung der notwendigen Kenntnisse und Fähigkeiten, um auch in schwierigen Einsatzsituationen ein sicheres und zuverlässiges Handeln zu ermöglichen. Entsprechend steht eine hohe Ausbildungsqualität sowohl im gesellschaftlichen Interesse, um hochqualifizierte Einsatzkräfte im Ernstfall vor Ort zu wissen, als auch im persönlichen Interesse der Einsatzkräfte, um die eigene Gefährdung im Einsatz zu reduzieren.

Die grundständige Aus- und Fortbildung von Angehörigen öffentlicher Feuerwehren ist nach § 32 Abs. 1 des Gesetzes über den Brandschutz, die Hilfeleistung und den Katastrophenschutz (BHKG, 2015) Aufgabe der Gemeinden, der Kreise und der kreisfreien Städte. Im Gegensatz zu den Inhalten, dem groben Ablauf und der Stundenanzahl sind die Lehrmethoden und die genaue Ausgestaltung der Ausbildung nicht festgelegt, sondern können von jeder Feuerwehr und den AusbilderInnen unterschiedlich gehandhabt werden (z. B. VAP1.2-Feu, 2015). Eine Evaluation der Ausbildung kann den AusbilderInnen die Reflexion der eigenen Ausbildungspraxis erleichtern und bietet die Möglichkeit, einen Eindruck von der aktuellen Ausbildungsqualität in den verschiedenen Kommunen zu bekommen. Bisher steht nach derzeitigem Wissensstand kein wissenschaftlich entwickeltes Evaluationsinstrument für die Grundausbildung bei der Feuerwehr zur Verfügung, welches eine Beurteilung der Ausbildung auf Gemeinde- und Kreisebene durch die Auszubildenden ermöglicht. Für die Evaluation der Führungskräfteausbildung bei der Feuerwehr hingegen, existiert mit dem Feedback-Instrument zur Rettungskräfte-Entwicklung (FIRE; Schulte & Thielsch, in press) ein systematisch entwickeltes und validiertes Evaluationsinstrument. Das FIRE besteht aus den sechs Skalen Dozentenverhalten, Struktur, Überforderung, Gruppe, Kompetenzerwerb und Transfer. Es bildete die Grundlage für die Itemkonstruktion des FIRE-B, insbesondere da ausreichende bis gute interne Konsistenzen sowie Belege für die faktorielle Validität, Konstrukt-, Kriteriums- und Inhaltsvalidität vorliegen. Da allerdings bisher mit dem FIRE-Fragebogen nur Erfahrungen im Bereich Führungskräfte vorlagen, erfolgte im Rahmen der Skalenentwicklung eine Adaptation und Prüfung des Instruments für die Basisausbildung der Feuerwehr.

Scale development

Itemkonstruktion und Itemselektion

Das FIRE-B wurde im Rahmen eines Kooperationsprojekts der Organisations- und Wirtschaftspsychologie der Westfälischen Wilhelms-Universität Münster mit dem Institut der Feuerwehr NRW (IdF NRW) entwickelt. Im gleichen Kontext ist auch das FIRE (Schulte & Thielsch, in press) für die Evaluation der Führungskräfteausbildung bei der Feuerwehr entstanden. Da sich die Ausbildung auf Gemeinde- und Kreisebene nach Einschätzung von Experten des IdF NRW in vielen Punkten von der Führungskräfteausbildung unterscheidet, wurde der Itempool des FIRE-B in drei Studien neu entwickelt (siehe auch Streppel, 2018 und Kläpker, 2018):

In Studie I wurden Erfolgs- und Qualitätsfaktoren einer guten feuerwehrtechnischen Ausbildung auf Gemeinde- und Kreisebene als theoretische Grundlage für die Itemkonstruktion ermittelt. Dazu wurden in einem qualitativen Forschungsansatz inhaltliche Experten für die Grundausbildung bei der Feuerwehr befragt, was aus ihrer persönlichen Sicht wichtige Aspekte einer guten Ausbildung auf Gemeinde- und Kreisebene sind. Erfolgs- und Qualitätsfaktoren der Ausbildung wurden in einer Online-Befragung zum einen mithilfe der Critical Incident Technique erfasst (CIT; Flanagan, 1954) und zum anderen konnten die TeilnehmerInnen in vier offenen Fragen direkt wichtige Aspekte einer guten Ausbildung benennen. Diese vier Fragen betrafen Aspekte einer guten Ausbildung bei der Feuerwehr, Merkmale eines guten Ausbilders bzw. einer guten Ausbilderin und seines bzw. ihres Lehrstils, relevante Rahmenbedingungen sowie Faktoren, durch die Auszubildende selbst zu einer guten Ausbildung beitragen können. Eine qualitative Inhaltsanalyse führte zu acht Kategorien einer guten Grundausbildung bei der Feuerwehr: Didaktik, Motivation & Engagement, Persönlichkeit, Inhalte & Methoden, Struktur & Organisation, Material & Räumlichkeiten, Gruppe und Erreichen der Lernziele.

Auf Grundlage der identifizierten Kategorien wurde ein Itempool für eine vorläufige Version des Fragebogens gebildet, der mit 51 Items umfassend die genannten erfolgsentscheidenden Aspekte abbildet. Da zudem die Ergebnisse der Studie I einige Parallelen zu Merkmalen guter Lehre an Hochschulen und in der feuerwehrtechnischen Führungskräfteausbildung aufwiesen, wurden soweit möglich

1. a)Items, die für die Evaluation der Führungskräfteausbildung bei der Feuerwehr entwickelt wurden (Babiel, 2016; Olde lütke Beverborg, 2017; Schulte & Thielsch, in press), oder
2. b)Items aus etablierten Evaluationsinstrumenten, welche an Hochschulen eingesetzt werden (TRIL, Gläßer et al., 2002; MFE-ZGr, Grötemeier & Thielsch, 2010a; MFE-ZHa, Grötemeier & Thielsch, 2010b; MFE-V, Hirschfeld & Thielsch, 2009; HILVE, Rindermann & Amelang, 1994; FEVOR, FEPRA, Staufenbiel, 2000; MFE-Sr, Thielsch & Hirschfeld, 2012),

übernommen und ggf. an den feuerwehrtechnischen Kontext und die Ausbildung auf Gemeinde- und Kreisebene angepasst (siehe auch Tabelle 3, aus Gründen der Ökonomie wurde auf die Darstellung der Items, die nicht in der finalen Fragebogenversion enthalten sind, verzichtet). Diese vorläufige Fragebogenversion wurde in Studie II mit Mitgliedern verschiedener Feuerwehren in Deutschland pilotiert, um anschließend eine begründete Itemselektion auf Basis der deskriptiven Itemkennwerte vorzunehmen, die Faktorenstruktur des Fragebogens aufzudecken und erste Validierungen durchzuführen.

Tabelle 3

Items des FIRE-B mit Angabe der Originalitems, die als Grundlage dienten, sowie deren Quellen

Nr.	Item	Quelle	Originalitem
1	Ich finde, die Ausbildung war klar strukturiert.	FIRE (Schulte & Thielsch, in press)	Ich finde, die Lehrveranstaltung war klar strukturiert.
2	Ich finde, die Ausbildung gab einen guten Überblick über das Themengebiet.	FIRE (Schulte & Thielsch, in press)	Ich finde, die Lehrveranstaltung gab einen guten Überblick über das Themengebiet.
3	Die Ausbilder/innen haben komplizierte Dinge verständlich erklärt.	Grabbe (2003); TRIL (Gläßer et al., 2002)	Der/Die Lehrende erläuterte schwierige Sachverhalte verständlich. / Sie hat komplizierte Dinge strukturiert erklärt.
4	Ich finde, die Ausbilder/innen konnten den Unterricht/die Übungen flexibel an mein Wissen und meine Fähigkeiten anpassen.	Robertz (2015)	Ich finde, der Dozent konnte die Struktur des Trainings flexibel auf den Bedarf der Teilnehmer anpassen.
5	Die Ausbilder/innen haben die Themen interessant aufbereitet.	MFE-Sr (Thielsch & Hirschfeld, 2012)	Der/Die Lehrende hat das Thema interessant aufgearbeitet.
6	Die Ausbilder/innen kannten sich mit den Inhalten der Ausbildung sehr gut aus.	FIRE-Dozent (Olde lütke Beverborg, 2017)	Der/die Dozent/in kannte sich mit den Inhalten der Lehre sehr gut aus.
7	Die Ausbilder/innen hatten für die Probleme der Auszubildenden ein offenes Ohr.	MFE-V (Hirschfeld & Thielsch, 2009)	Der/Die Lehrende hatte für die Belange der Studierenden ein offenes Ohr.
8	Ich finde, die Ausbilder/innen waren an meinem Lernerfolg interessiert.	FIRE (Schulte & Thielsch, in press)	Ich finde, die Dozenten waren am Lernerfolg der Teilnehmer interessiert.
9	Die Ausbilder/innen motivierten mich, mich einzubringen.	FIRE (Schulte & Thielsch, in press)	Die Dozenten motivierten mich, mich einzubringen.
10	Die Ausbilder/innen vermittelten Ruhe in schwierigen Situationen.
11	Die Ausbilder/innen konnten die Ausbildung mit ihren eigenen Einsatzerfahrungen gut ergänzen.	FIRE-Dozent (Olde lütke Beverborg, 2017)	Der/die Dozent/in konnte den Unterricht mit seinen/ihren eigenen Einsatzerfahrungen gut ergänzen.
12	Die anderen Auszubildenden brachten sich aktiv ein.	FIRE (Schulte & Thielsch, in press)	Die anderen Teilnehmer brachten sich aktiv ein.
13	Die anderen Auszubildenden arbeiteten motiviert mit.	Grabbe (2003)	Die Teilnehmer arbeiteten motiviert mit.
14	Ich finde, es herrschte ein guter Zusammenhalt unter den Auszubildenden.	FIRE (Schulte & Thielsch, in press)	Ich finde, es herrschte ein guter Zusammenhalt im Lehrgang.
15	Ich finde, die praktischen Übungen waren realitätsnah.	TRIL (Gläßer et al., 2002)	Die behandelten Inhalte waren lebensfern.
16	Ich finde, die Übungen wurden ausreichend nachbesprochen.	MFE-ZHa (Grötemeier & Thielsch, 2010b)	Die Hausaufgaben wurden ausreichend nachbesprochen.
17	Es gab ausreichend Gelegenheiten, das Gelernte praktisch zu erproben.	Babiel (2016)	Es gab ausreichend Gelegenheiten, das Gelernte praktisch zu erproben.
18	Räumlichkeiten und Übungsanlagen waren ausreichend und in guter Qualität vorhanden.	FEVOR (Staufenbiel, 2000)	Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.
19	Die Qualität der im theoretischen Unterricht verwendeten Medien (Präsentationen, Filme, Skizzen, etc.) war gut.	MFE-Sr (Thielsch & Hirschfeld, 2012)	Die Qualität der in der Vorlesung verwendeten Medien (Folien, Filme, Skizzen, etc.) war gut.
20	Lehrmaterialien (Bücher, Hefte, Arbeitsblätter, etc.) für den theoretischen Unterricht waren ausreichend und in guter Qualität vorhanden.	FEVOR (Staufenbiel, 2000)	Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.
21	Fahrzeuge, Geräte und Ausrüstung waren ausreichend und in guter Qualität vorhanden.	FEVOR (Staufenbiel, 2000)	Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.
22	Übungs- und Anschauungsmaterialien (Dummys, Schrottautos, etc.) waren ausreichend vorhanden.	FEVOR (Staufenbiel, 2000)	Die Hilfsmittel zur Unterstützung des Lernens (z. B. Literatur, Skript, Folien) sind ausreichend und in guter Qualität vorhanden.
23	Durch die Ausbildung kann ich besser auf Gefahren reagieren.
24	Durch die Ausbildung kann ich deutlich besser mit feuerwehrtechnischen Geräten und Fahrzeugen umgehen.
25	Ich fühle mich durch die Ausbildung auf meinen nächsten Einsatz sehr gut vorbereitet.	FIRE (Schulte & Thielsch, in press)	Ich fühle mich auf meinen nächsten Einsatz, den ich leiten werde, sehr gut vorbereitet.
26	Durch die Ausbildung kenne ich meine persönlichen Grenzen besser.	FIRE (Schulte & Thielsch, in press)	Durch meine Teilnahme am Lehrgang kenne ich meine persönlichen Grenzen besser.
27	Durch die praktischen Übungen in der Ausbildung habe ich die nötige Sicherheit gewonnen, in verschiedenen Einsätzen meine Aufgaben in der Feuerwehr zu übernehmen.	FIRE (Schulte & Thielsch, in press)	Durch die praktischen Übungen im Lehrgang habe ich die nötige Sicherheit gewonnen, einen Einsatz zu leiten.
28	Durch die Ausbildung wurde meine Teamfähigkeit verbessert.	MFE-ZGr (Grötemeier & Thielsch, 2010a)	Durch die Gruppenarbeiten wurde meine Teamfähigkeit verbessert.
29	Durch die Ausbildung konnte ich mein theoretisches Wissen deutlich erweitern.	Robertz (2015)	Ich konnte mein Wissen deutlich erweitern.
Anmerkung. Alle Items wurden auf Grundlage der Ergebnisse von Studie I ausgewählt, umformuliert bzw. neu formuliert. Items ohne Angabe einer Quelle und eines Originalitems wurden basierend auf den Ergebnissen von Studie I neu formuliert.

Der aus Studie II hervorgehende Fragebogenentwurf (bestehend aus 30 Items auf sechs Skalen) wurde in Studie III anhand einer neuen Stichprobe validiert. Dazu wurde auf Basis einer unabhängigen Stichprobe zum einen eine konfirmatorische Faktorenanalyse durchgeführt, um die angenommene Faktorenstruktur zu überprüfen. Darüber hinaus dienten bivariate Korrelationen zwischen den Skalen des Fragebogenentwurfs und ausgewählten Validierungskriterien zur umfassenden Beurteilung von Konstrukt- und Kriteriumsvalidität. Das Ergebnis von Studie III ist das finale FIRE-B mit 29 Items auf sechs Skalen plus vier optionalen Items.

Stichproben

An Studie I nahmen 13 Auszubildende, 4 Ausbilder und 4 Personen, die hauptsächlich eine steuernde Funktion in einer Feuerwehrschule innehaben, teil. Alle 21 Teilnehmer waren männlich. Die Altersspanne der Auszubildenden lag bei 18 bis 31 Jahren (M = 22.46; SD = 3.60), der Ausbilder bei 25 bis 49 Jahren (M = 34.00; SD = 10.52) und der Personen in steuernder Funktion bei 33 bis 46 Jahren (M = 37.50; SD = 5.80). Insgesamt 24 % der Teilnehmer gehörten der Berufsfeuerwehr an, 57 % der Freiwilligen Feuerwehr und 19 % sowohl der Berufsfeuerwehr als auch der Freiwilligen Feuerwehr. Im Mittel waren die Teilnehmer seit 4.50 Jahren bei der Berufsfeuerwehr (SD = 7.20) und seit 12.28 Jahren (SD = 8.36) bei der Freiwilligen Feuerwehr tätig. Die Befragung wurde von 48 % aller Teilnehmer in Bezug auf die Ausbildung bei der Berufsfeuerwehr beantwortet und von 52 % in Bezug auf die Ausbildung bei der Freiwilligen Feuerwehr. Studie I wurde web-basiert durchgeführt und war von Ende August bis Oktober 2017 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis, die Befragten erhielten als Kompensation nach Abschluss der Studien einen Ergebnisbericht.

In Studie II setzte sich die Stichprobe für die Item- und explorative Faktorenanalyse aus 257 Personen (229 Männer, 26 Frauen, 2 keine Angabe) mit einer Altersspanne von 16 bis 51 Jahren (M = 25.75; SD = 6.48) zusammen. 37 % der TeilnehmerInnen waren (ehemalige) Auszubildende in der Ausbildung zur BrandmeisteranwärterIn bei der Berufsfeuerwehr und 63 % (ehemalige) Auszubildende in der Truppmann- oder Truppführerausbildung bei der Freiwilligen Feuerwehr. Von den Auszubildenden bei der Berufsfeuerwehr (n = 94) hatten 39 % die Ausbildung als BrandmeisteranwärterIn abgeschlossen. Von den Auszubildenden bei der Freiwilligen Feuerwehr (n = 163) waren 12 % in der Truppmannausbildung, 47 % zwischen der Truppmann- und Truppführerausbildung, 5 % in der Truppführerausbildung und 36 % hatten die Truppführerausbildung bereits abgeschlossen. 60 % der TeilnehmerInnen kamen aus Nordrhein-Westfalen, jeweils 7 % aus Baden-Württemberg und aus Niedersachsen und 6 % aus Bayern. Aus den übrigen Bundesländern kamen jeweils weniger als 5 % der TeilnehmerInnen. Zur Berechnung der Korrelationen im Rahmen der Itemanalysen sowie der explorativen Faktorenenanalyse wurden die fehlenden Werte der Items zur Ausbildungsevaluation mit dem Expectation-Maximization-Algorithmus imputiert. Es handelte sich dabei um die Items, bei denen die TeilnehmerInnen die Verweigerungsoption (nicht sinnvoll zu beantworten) ausgewählt hatten. Fehlende Werte traten bei 18 % der ProbandInnen auf. Insgesamt fehlten nur 0,5 % der Daten. Studie II wurde web-basiert durchgeführt und war von Januar bis Anfang März 2018 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis, die Befragten erhielten als Kompensation nach Abschluss der Studien einen Ergebnisbericht.

Die Stichprobe in Studie III bestand aus N = 451 (414 Männer, 37 Frauen) Feuerwehrleuten im Alter zwischen 18 und 63 Jahren (M = 34.02; SD = 9.92). Die TeilnehmerInnen wurden dazu aufgefordert, die Ausbildung zu beurteilen, die sie zum Befragungszeitpunkt absolvierten beziehungsweise zuletzt absolviert hatten. Bei 24 % der Befragten handelte es sich dabei um die Brandmeisterausbildung bei der Berufsfeuerwehr. Weiterhin beurteilten 19 % die Truppmannausbildung und 33 % die Truppführerausbildung bei der Freiwilligen Feuerwehr. Eine sonstige Ausbildung, die auf Gemeinde- bzw. Kreisebene durchgeführt wird, war Beurteilungsgegenstand von 24 % der Stichprobe. Aus Nordrhein-Westfalen kamen 448 Personen. Jeweils eine befragte Person kam außerdem aus Baden-Württemberg, Niedersachsen und Sachsen-Anhalt. Studie III wurde web-basiert durchgeführt und war von Juli bis September 2018 online erreichbar. Die Teilnahme erfolgte auf freiwilliger und anonymer Basis. Die Befragten erhielten als Kompensation nach Abschluss der Studie III einen Ergebnisbericht und konnten zudem an der Verlosung eines Jahresabonnements einer feuerwehrspezifischen Zeitschrift teilnehmen.

Itemanalysen und Itemkennwerte

Die 51 Items der vorläufigen Fragebogenversion wurden vorrangig hinsichtlich ihrer Verteilung, der Antwortraten und Iteminterkorrelationen sowie auf Basis ihrer Korrelation mit dem Mittelwert von acht Items zum selbsteingeschätzten Kompetenzerwerb (alle sieben Items der oben dargestellten Skala Kompetenzerwerb sowie ein Item, das aufgrund inhaltlicher Redundanz nicht in das finale Instrument aufgenommen wurde) bewertet. Letztere Korrelation wurde als Hinweis für die inhaltliche Relevanz der Items sowie der Praktikabilität im Feedbackprozess betrachtet. Der Itempool konnte in dieser ersten Itemselektion auf 44 Items reduziert werden: Ein Item wurde aufgrund einer auffälligen Verteilung im Histogramm und einer niedrigen Korrelation mit dem selbsteingeschätzten Kompetenzerwerb sowie ein weiteres Item wegen einer hohen Iteminterkorrelation ausgeschlossen. Zudem wurden drei Items zur Überforderung in der Ausbildung nicht mitaufgenommen, da sie vergleichsweise hohe Mittelwerte und niedrige Standardabweichungen aufwiesen, nicht mit dem selbsteingeschätzten Kompetenzerwerb korrelierten und von einem Experten des IdF NRW als weniger relevant eingeschätzt wurden. Es wird empfohlen, ein Item als zusätzliches Einzelitem zur Erfassung der Überforderung zu nutzen (siehe oben, Item 30). Zwei Items wurden ausgeschlossen, da sie vergleichsweise hohe Mittelwerte und niedrige Standardabweichungen aufwiesen und für den Feedbackprozess möglicherweise problematisch sein könnten, da sie auf stabile Persönlichkeitseigenschaften der AusbilderInnen abzielten. Für eine detaillierte Darstellung der Ausschlussgründe siehe Streppel (2018)[1].

Mit diesen 44 Items wurde eine explorative Faktorenanalyse (EFA; Hauptachsenanalyse mit obliquer Promax Rotation) und eine Trennschärfenanalyse durchgeführt. Der Kaiser-Meyer-Olkin Test zur Prüfung der Stichprobeneignung zeigte mit einem Wert von .94 eine sehr gute Stichprobeneignung zur Durchführung einer Faktorenanalyse an. Der Bartlett-Test auf Sphärizität wurde signifikant, χ²(946) = 7172.29, p < .001, und deutet damit ebenfalls auf eine gute Eignung der Daten hin. Die Faktoranzahl wurde aufgrund des Kaiser-Kriteriums (Eigenwerte > 1; Guttman, 1954; Kaiser & Dickmann, 1959), der Betrachtung des Screeplots (Cattell, 1966) und des Minimum-Average-Partial-Tests (MAP-Test; Velicer, 1976) bestimmt. Das Kaiser-Kriterium sprach für eine Lösung mit sieben Faktoren, die visuelle Inspektion des Screeplots sowie die Originalversion des MAP-Tests (Velicer, 1976) für sechs Faktoren und die revidierte Version des MAP-Tests (Velicer, Eaton & Fava, 2000) für fünf Faktoren. Das Kaiser-Kriterium tendiert generell dazu, die Faktoranzahl zu überschätzen (Moosbrugger & Schermelleh-Engel, 2008). Zudem erschienen nur die Lösungen mit fünf oder sechs Faktoren konzeptionell sinnvoll. Da die Lösung mit fünf Faktoren einen inhaltlich sehr breiten Faktor enthielt (Unterstützung, Förderung, Struktur & Didaktik), wurde die Lösung mit sechs Faktoren gewählt, die diesen Faktor in zwei Faktoren unterteilt (Unterstützung & Förderung, Struktur & Didaktik). Der erste Faktor (Eigenwert = 17.10) klärt 38.86 %, der zweite Faktor (Eigenwert = 2.67) 6.06 %, der dritte Faktor (Eigenwert = 2.35) 5.34 %, der vierte Faktor (Eigenwert = 1.80) 4.10 %, der fünfte Faktor (Eigenwert = 1.54) 3.50 % und der sechste Faktor (Eigenwert = 1.24) 2.83 % Varianz auf.

Auf Grundlage der Ergebnisse der EFA wurde eine zweite Itemselektion vorgenommen, die zur Reduktion des Itempools auf 30 Items führte. Acht Items wurden aufgrund ihres Ladungsmusters (und in einigen Fällen aufgrund weiterer Kriterien) ausgeschlossen: Fünf Items wurden aufgrund niedriger Ladungen < .5 oder Doppelladungen > .3 entfernt. Zwei Items wurden aufgrund vergleichsweiser niedriger Ladungen ≤ .54 und niedrigen Korrelationen mit dem mittleren selbsteingeschätzten Kompetenzerwerb (r ≤ .27) ausgeschlossen. Ein Item wurde aufgrund einer Doppelladung (.32) und einer hohen Iteminterkorrelation (r = .68) ausgeschlossen. Hingegen wurden fünf Items mit geringen Ladungen < .4 und/oder Doppelladungen ≥ .3 aufgrund hoher Korrelation von r ≥ .5 mit dem mittleren selbsteingeschätzten Kompetenzerwerb als inhaltlich relevant angesehen und dementsprechend beibehalten. Die inhaltliche Relevanz der Items stellte somit das wichtigere Entscheidungskriterium dar. Des Weiteren wurden zwei Items aufgrund nur geringer bis moderater Korrelationen mit dem Kriterium (r ≤ .34) und vier Items aufgrund hoher Trennschärfen (r_it ≥ .67) sowie hoher Iteminterkorrelationen (r ≥ .65), die auf die inhaltliche Redundanz der Items hindeuten können, ausgeschlossen. Hohe Trennschärfen wurden in diesem Fall als Ausschlussgrund gewählt, um Faktoren zu erhalten, die möglichst unterschiedliche Facetten des Konstrukts umfassen.

Anschließend wurde eine erneute EFA (Hauptachsenanalyse, Promax-Rotation) mit den finalen 30 Items und sechs Faktoren berechnet, um die Faktorstruktur der optimierten Lösung zu erhalten (vgl. Beavers et al., 2013). Inhaltlich bildet in dieser EFA Faktor 1 den Kompetenzerwerb in der Ausbildung ab, Faktor 2 betrifft die Struktur der Ausbildung und die didaktischen Fähigkeiten der AusbilderInnen, Faktor 3 beschreibt die Qualität und Verfügbarkeit von Materialien und Räumlichkeiten, Faktor 4 die Unterstützung und Förderung der Auszubildenden durch die AusbilderInnen, Faktor 5 bezieht sich auf die Auszubildendengruppe und Faktor 6 betrifft schließlich den Praxisbezug in der Ausbildung (für Itemstatistiken siehe Tabelle 4). Das Instrument besteht damit aus der Outcome-Skala Kompetenzerwerb (Faktor 1), die auf die Folgen bzw. Wirkungen der Ausbildung fokussiert, und aus fünf Prozess-Skalen (Faktor 2-6), die eine Beurteilung der Durchführung und Umsetzung der Ausbildung ermöglichen (vgl. Döring & Bortz, 2016). Alle bis hierhin genannten Analysen wurden mit dem Programm IBM SPSS Statistics – Version 24 durchgeführt.

Tabelle 4

Mittelwerte, Standardabweichungen, Trennschärfen und Faktorladungen der 30 Items in Studie II

	M	SD	Trennschärfe	Faktorladung
Struktur & Didaktik
Item 1a	5.09	1.54	.72	.97
Item 1b*	5.33	1.45	.65	.84
Item 2	5.58	1.16	.68	.57
Item 3	5.60	1.10	.68	.50
Item 4	5.04	1.56	.68	.43
Item 5	5.35	1.22	.69	.42
Item 6	5.86	1.15	.67	.42
Unterstützung & Förderung
Item 7	5.77	1.25	.73	.96
Item 8	5.74	1.32	.70	.73
Item 9	5.40	1.44	.71	.59
Item 10	5.63	1.27	.69	.57
Item 11	5.80	1.40	.57	.31
Gruppe
Item 12	5.52	1.16	.68	.76
Item 13	5.58	1.07	.67	.75
Item 14	5.95	1.17	.64	.72
Praxis
Item 15	5.09	1.42	.60	.55
Item 16	5.48	1.43	.64	.55
Item 17	5.16	1.49	.63	.53
Material & Räumlichkeiten
Item 18	5.60	1.44	.63	.77
Item 19	5.40	1.42	.65	.71
Item 20	5.33	1.71	.59	.68
Item 21	5.63	1.52	.54	.67
Item 22	5.38	1.64	.58	.59
Kompetenzerwerb
Item 23	5.74	1.14	.70	.82
Item 24	5.80	1.41	.70	.79
Item 25	5.45	1.34	.70	.77
Item 26	5.29	1.59	.63	.73
Item 27	5.65	1.24	.66	.72
Item 28	5.47	1.36	.60	.67
Item 29	5.67	1.46	.62	.57

Anmerkung. *Item 1b wurde im Rahmen der CFA in Studie III aus dem finalen FIRE-B ausgeschlossen. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu), 248 ≤ N ≤ 257 (Mittelwerte und Standardabweichungen) bzw. N = 257 (Trennschärfen und Faktorladungen). Zur Berechnung der Trennschärfen und Faktorladungen wurde der Datensatz mit imputierten Werten genutzt.

Die angenommene Fragebogenstruktur konnte in Studie III anhand einer konfirmatorischen Faktorenanalyse bestätigt werden (vgl. Abbildung 1). Die statistische Datenauswertung wurde mit RStudio (RStudio Team, 2016, Version 1.1.456) durchgeführt. Dabei wurde insbesondere auf die Pakete lavaan (Rosseel, 2012, Version 0.6.3), plyr (Wickham, 2011, Version 1.8.4), psych (Revelle, 2018, Version 1.8.10) und semPlot (Epskamp, 2017, Version 1.1) zurückgegriffen. Bei der Berechnung der konfirmatorischen Faktorenanalyse wurde ein robuster Maximum-Likelihood-Schätzer mit Huber-White-Standardfehlern und einer skalierten Teststatistik, die asymptotisch mit der Yuan-Bentler Teststatistik vergleichbar ist (MLR), verwendet (vgl. Steinmetz, 2015). Auffallend war eine hohe Korrelation zwischen Item 1 (“Ich finde, die Ausbildung war klar strukturiert.”) und Item 1b (“Ich konnte in der Ausbildung den Ausbildungsablauf immer nachvollziehen.”) der Skala Struktur & Didaktik. Nach inhaltlichen Überlegungen wurden die beiden Items als redundant beurteilt. Da Item 1a globaler und verständlicher erschien, wurde Item 1b aus dem Modell entfernt. Der Modell-Fit für den finalen FIRE-B mit 29 Items auf sechs Skalen ist nach Schermelleh-Engel, Moosbrugger, und Müller (2003) als gut (RMSEA = .05; SRMR = .04) bis akzeptabel (CFI = .95; TLI = .95) einzuordnen. Der c²-Test wurde signifikant (c²(362) = 585.12, p < .001), was bei großen Stichproben üblich ist (Tanguma, 2001). Im Verhältnis zu den Freiheitsgraden ist der c²-Wert jedoch als gut zu beurteilen (c²/df = 1.62). Die finale Version des FIRE-B besteht damit aus 29 Items (für Mittelwerte, Standardabweichungen und Faktorladungen siehe Tabelle 5, für Korrelationen der Skalen Tabelle 6).

Abbildung 1. Ergebnisse der konfirmatorischen Faktorenanalyse. Berichtet werden standardisierte Koeffizienten.

Tabelle 5
Mittelwert, Standardabweichungen, Trennschärfen und Faktorladungen der 29 Items in Studie III

	M	SD	Trennschärfe	Faktorladung
Struktur & Didaktik
Item 1	5.22	1.38	.73	.74
Item 2	5.33	1.33	.75	.78
Item 3	5.58	1.10	.75	.81
Item 4	5.39	1.19	.74	.68
Item 5	5.93	1.45	.66	.82
Item 6	5.22	1.28	.73	.76
Unterstützung & Förderung
Item 7	5.51	1.26	.72	.76
Item 8	5.52	1.28	.74	.79
Item 9	5.17	1.35	.73	.79
Item 10	5.41	1.31	.72	.78
Item 11	5.86	1.17	.65	.69
Gruppe
Item 12	5.41	1.06	.70	.80
Item 13	5.37	1.13	.74	.84
Item 14	5.82	1.18	.64	.71
Praxis
Item 15	5.11	1.39	.58	.71
Item 16	5.33	1.35	.58	.72
Item 17	5.17	1.45	.60	.72
Material & Räumlichkeiten
Item 18	5.36	1.49	.61	.71
Item 19	5.12	1.36	.60	.72
Item 20	4.96	1.59	.52	.62
Item 21	5.26	1.51	.56	.66
Item 22	5.15	1.55	.60	.71
Kompetenzerwerb
Item 23	5.74	1.15	.73	.78
Item 24	5.74	1.27	.60	.61
Item 25	5.48	1.24	.73	.80
Item 26	5.21	1.41	.65	.70
Item 27	5.60	1.25	.67	.76
Item 28	5.21	1.35	.59	.62
Item 29	5.80	1.18	.62	.64

Anmerkung. Skala von 1 (stimme gar nicht zu) bis 7 (stimme voll zu), 442 ≤ N ≤ 451.

Tabelle 6

Korrelationen zwischen den Skalen des FIRE-B

	Struktur & Didaktik	Unterstützung & Förderung	Gruppe	Praxis	Material & Räumlichkeiten	Kompetenz-erwerb
Struktur & Didaktik		.75***	.47***	.62***	.55***	.64***
Unterstützung & Förderung	.77***		.51***	.57***	.51***	.60***
Gruppe	.48***	.52***		.53***	.39***	.47***
Praxis	.61***	.53***	.41***		.48***	.60***
Material & Räumlichkeiten	.58***	.48***	.27***	.56***		.41***
Kompetenzerwerb	.56***	.53***	.40***	.53***	.38***

Anmerkung: ***p < .001 (zweiseitig). Werte oberhalb der Diagonale beruhen auf Daten der Studie II (N = 257), Werte unterhalb der Diagonale beruhen auf Daten der Studie III (N = 451).

[1] Diese Arbeit kann bei Bedarf durch die Autoren als PDF zur Verfügung gestellt werden.

Contact

•        Meinald T. Thielsch, Prof. Dr. Dipl.-Psych., Westfälische Wilhelms-Universität Münster, Institut für Psychologie, E-Mail: [email protected]
•        Lena Kläpker, M.Sc. Psychologie, E-Mail: [email protected]
•       Lisa Streppel, M.Sc. Psychologie,E-Mail:[email protected]