Sicherheitskulturumfragen: Die Ergebnisse ohne trügerische Beruhigung lesen

A group of maintenance workers in a dimly lit hangar hesitate to fill out a safety survey while a supervisor watches, creating a tense atmosphere.

Eine Sicherheitskulturumfrage liefert fast immer beruhigende Ergebnisse. Die Durchschnittswerte liegen im oberen Bereich der Skala, die Rücklaufquote ist akzeptabel, und die Präsentation, die den Vorstand erreicht, besagt, dass die Organisation in guter Verfassung ist. Diese Lesart ist meistens falsch – nicht, weil die Daten schlecht sind, sondern weil der Mittelwert einer Sicherheitskulturumfrage die am wenigsten aussagekräftige Zahl darin ist. Die Informationen stecken in den Lücken, der Streuung und im Schweigen.

Was eine Umfrage misst und was sie nicht kann

Ein Sicherheitskultur-Fragebogen misst Wahrnehmungen, die von Personen geäußert werden, die sich entschieden haben zu antworten, zu einem bestimmten Zeitpunkt, über Dinge, die sie für wahr halten. Er misst nicht die Sicherheit, nicht das Risiko und nicht, ob das Managementsystem funktioniert. Er misst, was Mitarbeiter glauben, was passieren würde, wenn sie etwas melden, was sie glauben, dass ihre Vorgesetzten tatsächlich belohnen, und ob sie glauben, dass sich danach etwas ändert.

Das ist ein enges Instrument, und genau darin liegt sein Wert. Im Rahmen des Sicherheitsmanagements nach ICAO-Anhang 19 und den europäischen Managementanforderungen, die für Betreiber, Part-145-Wartungsorganisationen und Organisationen zur Aufrechterhaltung der Lufttüchtigkeit gelten, hängt ein großer Teil des Systems davon ab, dass Menschen freiwillig Informationen liefern, die sonst niemand hat. Gefahrenmeldungen, Ereignismeldungen, vertrauliche Berichte und die informelle Bemerkung an einen diensthabenden Vorgesetzten sind alles freiwillige Handlungen. Eine Umfrage ist eine der wenigen Möglichkeiten, die Bereitschaft zu testen, die das gesamte System voraussetzt.

Was sie nie kann, ist feststellen, ob diese Bereitschaft berechtigt ist. Mitarbeiter können glauben, dass Meldungen sicher sind, wenn sie es nicht sind, oder glauben, dass sie gefährlich sind, obwohl die Richtlinie solide und nur nicht sichtbar ist. Wahrnehmungen sind die Messung; die Realität muss anderswo durch Abgleich mit den Systemaufzeichnungen festgestellt werden.

Eine Sicherheitskulturumfrage zeigt, was Mitarbeiter denken, nicht, was wirklich passiert. Sie misst nur ihre Wahrnehmungen, nicht die tatsächliche Sicherheit. Die Ergebnisse müssen mit anderen Daten abgeglichen werden, um ein vollständiges Bild zu bekommen.

Ein Betrieb mit einer Rücklaufquote von 80% bei einer Umfrage könnte auf den ersten Blick gut dastehen. Doch wenn diese Quote durch Druck von Vorgesetzten erreicht wurde, sind die Antworten möglicherweise nicht ehrlich. Die Mitarbeiter könnten Angst haben, die Wahrheit zu sagen, was zu falschen Ergebnissen führt.

Die Rücklaufquote ist ein Signal über die Organisation, nicht eine Qualitätsbewertung

Die Rücklaufquote wird als Indikator für Vertrauen behandelt, und die Versuchung ist, sich zu freuen, wenn sie hoch ist. Nützlicher ist es, sie als Beobachtung darüber zu lesen, wie die Antworten erhoben wurden.

Eine hohe Quote, die durch freiwillige, anonyme, außerhalb der Dienstzeit erfolgte Beantwortung erzielt wurde, ist ein echt gutes Zeichen: Die Menschen glaubten, es lohnt sich, ihre Zeit zu investieren. Eine hohe Quote, die durch das Nachsetzen von Vorgesetzten, das Ausfüllen von Formularen während einer Besprechung unter Beobachtung oder dadurch, dass die Teilnahme zur Voraussetzung für etwas anderes gemacht wird, erzielt wurde, ist etwas völlig anderes. Sie sagt Ihnen, dass die Organisation in der Lage ist, Compliance zu erreichen, was niemand bezweifelte, und sie verzerrt die Antworten ins Beschönigende.

Das Gegenteil gilt ebenfalls. Eine niedrige Quote ist nicht nur ein Problem der Stichprobenziehung. Es ist ein Ergebnis. Wenn zwei Drittel der Linienpiloten nicht auf eine Umfrage geantwortet haben, ob es sicher ist, sich zu äußern, ist die sinnvolle Arbeitshypothese nicht Gleichgültigkeit. Die Nichtantwort ist der am wenigsten ausgewertete Datenpunkt im gesamten Prozess, und sie hat eine spezifische Verzerrung: Die Menschen, die am meisten an der Vertraulichkeit des Verfahrens zweifeln, tauchen naturgemäß am seltensten in den Daten auf.

Die Falle. Eine Rücklaufquote zu berichten, ohne anzugeben, wie die Umfrage verteilt wurde. Die gleiche Prozentzahl bedeutet das Gegenteil, je nachdem, ob ein Vorgesetzter in der Nähe stand, und die Verteilungsmethode wird fast nie in der Zusammenfassung präsentiert.

Lesen Sie die Lücken, bevor Sie den Durchschnitt lesen

Eine der konsistentesten Erkenntnisse in der Sicherheitsklimaforschung ist, dass verschiedene Personengruppen innerhalb derselben Organisation systematisch unterschiedliche Antworten geben und dass der Unterschied größer und stabiler ist als jeder organisationsweite Durchschnitt. Das Management bewertet das Sicherheitsklima typischerweise höher als die operative Ebene. Flugbesatzung und Kabinenbesatzung weichen oft bei derselben Frage über dieselben Flüge ab. Linienwartung und Basiswartung antworten unterschiedlich zum Zeitdruck.

Ein älterer Mann im Anzug hält ein Tablet mit einer Umfrage, während ein jüngerer Mann in einer Schutzwesten mit verschränkten Armen skeptisch dreinschaut.
Umfrageergebnisse erfordern kritische Prüfung, keine unreflektierte Zustimmung.

Diese Lücken sind die Diagnose. Eine Organisation, deren Durchschnitt hoch ist, deren Lücke zwischen Management und operativer Ebene aber groß ist, ist nicht in guter Verfassung: Es ist eine Organisation, in der die für das System verantwortlichen Personen nicht wissen, wie es sich anfühlt, darin zu arbeiten. Das ist, in Westrums klassischer Beschreibung des Informationsflusses, der Unterschied zwischen einer Organisation, in der schlechte Nachrichten weitergegeben werden, und einer, in der sie auf dem Weg nach oben gefiltert werden.

Die Lücke zwischen den Bevölkerungsgruppen lesen
Vergleich Eine große Lücke deutet darauf hin Worauf als Nächstes achten
Oberes Management versus operative Ebene Informationen werden nach oben gefiltert; die Führung erhält ein bereinigtes Bild Wie Berichte zusammengefasst werden, bevor sie den Accountable Manager erreichen
Flugbesatzung versus Kabinenbesatzung Asymmetrische Bereitschaft, Bedenken über die Cockpittür hinaus zu äußern Gemeinsames Training, Briefing-Praxis und wie Kabinenberichte nachverfolgt werden
Eine Basis oder Außenstation versus der Rest Ein lokaler Management-Effekt statt einer unternehmensweiten Kultur Lokale Dienstplanung, Personalbesetzung und wer dort kürzlich gewechselt hat
Neueinsteiger versus langjährige Mitarbeiter Entweder eine gelungene Einarbeitung oder eine noch nicht erlernte Resignation, je nach Richtung In welche Richtung die Lücke zeigt und wie lange es dauert, bis neue Mitarbeiter konvergieren
Vertrags- oder Zeitarbeitskräfte versus Festangestellte Meldungen werden als Risiko für zukünftige Arbeit wahrgenommen Ob die Just-Culture-Richtlinie explizit nicht-permanentes Personal abdeckt

Diese Art der Stratifizierung kollidiert mit der Vertraulichkeit, und der Zusammenstoß ist real. Die Ergebnisse für eine Basis mit wenigen Kabinenbesatzungsmitgliedern oder für eine einzelne Wartungsschicht auszuweisen, kann Personen ebenso effektiv identifizieren wie das Drucken ihrer Namen. Die praktische Regel ist, eine Mindestzellgröße vor dem Start der Umfrage festzulegen, sie zu veröffentlichen und alles darunter zurückzuhalten – auch wenn die zurückgehaltene Zelle gerade die interessante ist. Nachträgliche Entscheidungen sehen genau so aus, als würde ein schlechtes Ergebnis versteckt, ob es nun der Fall ist oder nicht.

Streuung, « weiß nicht » und der Freitext

Drei Teile des Datensatzes werden regelmäßig verworfen und sind wertvoller als die Hauptwerte.

Streuung. Zwei Fragen können beide im oberen Bereich der Skala durchschnittlich liegen: eine, weil fast jeder zustimmt, die andere, weil die Hälfte der Befragten stark zustimmt und ein Viertel stark ablehnt. Die zweite ist eine gespaltene Belegschaft und die erste eine gefestigte, und der Durchschnitt verbirgt den Unterschied vollständig. Jeder Punkt mit einer bimodalen Verteilung verdient Aufmerksamkeit, unabhängig von seinem Mittelwert.

Die « weiß nicht »-Rate. Bei Fragen zur Richtlinie – ob eine Just-Culture-Richtlinie existiert, was nach Einreichung einer Meldung passiert, wer über disziplinarische Maßnahmen entscheidet – ist eine hohe « weiß nicht »-Rate nicht neutral. Sie misst die Sichtbarkeit eines Mechanismus, von dem die Organisation glaubt, ihn kommuniziert zu haben. Eine Richtlinie, die existiert und unbekannt ist, schützt niemanden, weil der Schutz nur funktioniert, wenn die Person, die entscheidet, ob sie meldet, im Moment der Entscheidung daran glaubt.

Der Freitext. Kommentarfelder sind der Ort, an dem das spezifische, umsetzbare Material zu finden ist, und sie sind das erste Opfer einer überstürzten Analyse. Sie sollten systematisch codiert werden, nicht selektiv zitiert: Zählen Sie die Themen, notieren Sie, welche Personengruppen welche erheben, und widerstehen Sie der Sogwirkung des einzelnen eindrucksvollen Kommentars. Ein prägnanter Satz von einem Befragten wird eine Managementdiskussion in einem Maße dominieren, das außer Verhältnis zu seinem Gewicht steht, und er wird ein Thema verdrängen, das leise von vierzig Personen erhoben wurde.

Der richtige Reflex. Bevor die Ergebnisse präsentiert werden, legen Sie schriftlich fest, was als schlechtes Ergebnis gelten würde. Die Festlegung der Schwelle nach dem Sehen der Zahlen garantiert, dass die Zahlen als akzeptabel interpretiert werden.

Die Punkte, die das stärkste Signal tragen

Nicht alle Fragen sind gleich diagnostisch. Eine Handvoll von Punkten spiegeln direkt die Mechanismen wider, auf die das Managementsystem angewiesen ist, und diese verdienen es, einzeln gelesen zu werden, anstatt in eine zusammengesetzte Bewertung einbezogen zu werden.

Fragenfamilien und wie sie typischerweise falsch gelesen werden
Fragenfamilie Was sie tatsächlich misst Typische Fehlinterpretation
« Ich würde meinen eigenen Fehler melden » Erwartete persönliche Konsequenz der Selbstmeldung Gelesen als Ehrlichkeit; es ist eine Vorhersage über die Reaktion der Organisation
« Meldungen führen zu sichtbaren Veränderungen » Ob der Feedback-Kreislauf geschlossen ist und dies auch sichtbar ist Gelesen als Zufriedenheit; es sagt die zukünftige Meldungsrate voraus
« Ich weiß, was mit einer Meldung passiert, nachdem ich sie eingereicht habe » Sichtbarkeit des Prozesses, nicht Vertrauen in ihn Zusammengeführt mit Vertrauenspunkten, was ein behebbares Kommunikationsproblem verbirgt
« Ich kann ein Anliegen mit einem ranghöheren Kollegen besprechen » Steilheit des Autoritätsgradienten in der Praxis Gelesen als Trainingsergebnis; es ist weitgehend ein lokales Management-Ergebnis
« Dienstpläne und Ziele drängen mich nicht, Abkürzungen zu nehmen » Wahrgenommene Balance zwischen Produktion und Schutz Als Stimmungsfrage behandelt; gehört zum Risikobild
« Sicherheit wird von der oberen Führung ernst genommen » Ruf der Führung, schwach mit Verhalten verknüpft Wird am meisten gewichtet, obwohl es der am wenigsten umsetzbare Punkt im Formular ist

Die letzte Zeile ist die, auf die man achten muss. Generische Führungsverpflichtungsfragen schneiden fast überall gut ab und sind schwer mit messbaren Ergebnissen zu verknüpfen. Sie sind angenehm zu präsentieren und kaum in Maßnahmen umzusetzen, genau deshalb landen sie auf der ersten Folie.

Die Wahrnehmung mit dem abgleichen, was das System bereits aufzeichnet

Eine Umfrage, die für sich genommen gelesen wird, ist eine Meinungsumfrage. Abgeglichen mit den eigenen Betriebsaufzeichnungen der Organisation, wird sie zum Beleg. Die Abgleiche sind günstig, weil die Daten bereits im Sicherheitsmanagementsystem existieren.

Umfrage-Signal gegen einen harten Indikator
Umfrage-Signal Indikator zum Vergleich Was ein Widerspruch bedeutet
Hohe angegebene Bereitschaft, Meldungen zu machen Meldungsrate pro Personengruppe und der Anteil der Selbstmeldungen Die angegebene Bereitschaft ist eher Wunsch als Wirklichkeit; die Barriere ist praktisch, nicht kulturell
« Meldungen führen zu Veränderungen » Zeit, um eine Maßnahme abzuschließen, und wie der Abschluss kommuniziert wird Maßnahmen werden administrativ abgeschlossen, ohne dass jemand es bemerkt
Geringer wahrgenommener Produktionsdruck Trends bei zurückgestellten Beanstandungen, Dienstplanstörungen, verspätete Änderungen am Plan Druck ist normalisiert und wird nicht mehr als Druck wahrgenommen
Vertrauen in die Just-Culture-Richtlinie Anzahl und Ergebnis von Fällen, in denen die Richtlinie tatsächlich angewendet wurde Das Vertrauen beruht auf einer Richtlinie, die nie öffentlich getestet wurde
Starke Bewertungen an einer Basis Lokale Meldungsqualität, nicht Meldungsvolumen Volumen kann gefördert werden; Qualität spiegelt wider, ob Meldungen sinnvoll sind

Das Meldungsvolumen verdient eine eigene Warnung. Eine steigende Meldungszahl wird meist als Erfolg präsentiert und ist es oft – aber sie kann genauso gut eine neue Gefahr, eine neue Meldepflicht oder eine Kampagne bedeuten, die Meldungen von geringem Wert gefördert hat. Volumen ohne Qualitätsbewertung ist eine Management-Metrik, keine Sicherheitsmetrik.

Benchmarking, Trendlinien und die Versuchung des Ziels

Zwei Gewohnheiten richten mehr Schaden an als jede einzelne Fehlinterpretation.

Die erste ist externes Benchmarking. Der Vergleich eines Scores mit einer Branchenzahl setzt ein identisches Instrument, eine identische Zusammensetzung der Befragten und eine identische Verteilungsmethode voraus. Diese Bedingungen werden selten erfüllt, und der Vergleich misst meist methodische Unterschiede. Wo der Vergleich zwischen Betreibern wirklich hilft, ist in der Formulierung der Fragen und darin, wo andere Organisationen tätig geworden sind – eine Diskussion, die zwischen Praktikern, auch auf den FL330 Fachforen, nützlicher stattfindet als durch ein gekauftes Benchmarking.

Die zweite ist die Umwandlung eines Scores in ein Ziel. Sobald ein Sicherheitskultur-Score in einem Managementziel erscheint, erwirbt die Organisation ein Interesse an der Zahl anstatt an der Sache, die sie darstellt. Die Mechanismen sind banal und effektiv: Erinnerungen, die genau nach einem guten Monat getimt sind, Framing in der Einleitung, Ermutigung der Enthusiasten und Schweigen gegenüber den Skeptikern. Der Indikator driftet nach oben, und die zugrunde liegende Realität bewegt sich nicht.

Was tatsächlich eine Entscheidung auf Ebene der Geschäftsleitung erfordert

Die meisten Umfrageergebnisse fallen in die Zuständigkeit der Sicherheitsabteilung. Einige gehören nicht dazu, weil sie Dinge betreffen, die nur der Accountable Manager ändern kann. Es lohnt sich, sie in der Präsentation explizit zu trennen, weil ein Bericht, der beides mischt, meist dazu führt, dass das Sicherheitsbüro aufgefordert wird, Probleme zu beheben, über die es keine Befugnis hat.

  • Alles über die Konsequenzen von Meldungen. Die Grenze zwischen einem akzeptablen Fehler und inakzeptablem Verhalten ist eine Frage der Richtlinie und der Disziplin. Sie kann nicht durch Kampagnen gelöst werden, und sie muss von der Person festgelegt werden, die disziplinarische Entscheidungen unterzeichnet.
  • Alles über Produktionsdruck. Bodenzeiten, Dienstplanstabilität, Personalreserven, Toleranz für zurückgestellte Beanstandungen. Das sind kommerzielle Entscheidungen mit Sicherheitsfolgen, und sie liegen außerhalb der Befugnisse des Sicherheitsmanagers.
  • Alles über die Sichtbarkeit von Feedback. Ob Ergebnisse veröffentlicht werden, in welcher Form und mit welcher Verzögerung. Das ist günstig zu beheben und wird zuverlässig vernachlässigt.
  • Dauerhafte Lücken nach Basis oder Funktion. Ein lokales Muster, das zwei Umfragezyklen überdauert, ist ein Managementproblem an diesem Standort, nicht eine kulturelle Eigenschaft der Belegschaft dort.

Neu messen, ohne den Leuten die Antwort beizubringen

Die Wiederholung einer Umfrage ist der Ort, an dem sich der größte analytische Wert ansammelt, und wo er am leichtesten zerstört wird. Halten Sie die Formulierung der Kernpunkte stabil, sonst misst der Trend die Überarbeitung und nicht die Organisation. Halten Sie die Verteilungsmethode stabil, aus dem gleichen Grund. Ändern Sie nur eine Sache auf einmal und dokumentieren Sie, was sich geändert hat.

Vor allem: Geben Sie eine Rückmeldung, bevor Sie erneut fragen. Die zuverlässigste Methode, die nächste Rücklaufquote zu senken, ist, eine Umfrage durchzuführen, nichts über die Ergebnisse zu sagen und nichts Sichtbares zu ändern. Mitarbeiter ziehen den offensichtlichen Schluss, und sie ziehen ihn genau: Diese Übung dient dazu, sie zu vermessen, nicht ihnen zu helfen. Die nächste Zahlensammlung wird ruhiger aussehen, die Rücklaufquote wird niedriger sein, und die Organisation wird sie als Verbesserung einordnen.

Commentaires

Schreibe einen Kommentar

Découvrez l’écosystème FL330

FL330, c’est toute l’aviation professionnelle — explorez nos autres espaces.