Risikomatrizen: Warum klassifizieren zwei Betreiber dasselbe Ereignis unterschiedlich?

Two safety analysts in a control room discussing a risk matrix classification discrepancy, with an aircraft visible through the window.

Zwei Sicherheitsabteilungen erhalten dieselbe Ereignismeldung. Die eine schließt sie als gelb, die andere als rot, und beide haben recht. Das ist kein Versagen eines der beiden Systeme — dafür ist eine Risikomatrix da. Schweregrad und Wahrscheinlichkeit sind keine Eigenschaften des Ereignisses; sie sind Eigenschaften der Barrieren, die es überstanden haben, und der Exposition, die der Betreiber misst. Zwei Matrizen zu vergleichen, ohne ihre Skalen zu vergleichen, ergibt eine Zahl ohne jede Bedeutung.

Eine Matrix ist eine Sprache, kein Messinstrument

Das Fünf-mal-fünf-Raster, das in fast jedem Sicherheitsmanagement-Handbuch erscheint, reproduziert die Beispielskalen, die in den Sicherheitsmanagement-Materialien der ICAO veröffentlicht sind: eine Schweregradskala, die von katastrophal bis vernachlässigbar reicht, und eine Wahrscheinlichkeitsskala, die von häufig bis extrem unwahrscheinlich reicht. Was dasselbe Material sagt und was verloren geht, wenn das Raster in ein Handbuch kopiert wird, ist, dass die Skalen beispielhaft sind. Die Organisation wird erwartet, ihre eigenen zu definieren, kalibriert auf das, was sie tut.

Diese Anweisung ist keine Einladung, vage zu sein. Sie trägt der Tatsache Rechnung, dass ein Offshore-Hubschrauberbetreiber, eine Regionalfluggesellschaft und eine Part-145-Organisation keine Wahrscheinlichkeitsskala teilen können, weil sie weder eine Expositionseinheit noch eine Flottengröße noch einen Satz glaubwürdiger Ergebnisse gemeinsam haben. Ein Raster, das unverändert aus dem Handbuch eines anderen Betreibers übernommen wird, ist ein Raster, dessen Ankerpunkte das Geschäft eines anderen beschreiben.

Die erste Frage, die man sich bei jeder Risikoklassifizierung stellen sollte, lautet daher nicht „Ist das rot oder gelb?“. Sie lautet „An welcher Skala gemessen, von wem definiert, woran verankert?“.

Schweregrad ist, was die Barrieren übrig gelassen haben, nicht, wie das Ereignis genannt wurde

Der häufigste Fehler bei der Ereignisklassifizierung besteht darin, den Schweregrad aus dem Titel des Ereignisses abzulesen. Ein Heckaufsetzer ist ein Heckaufsetzer; ein Höhenverstoß ist ein Höhenverstoß; daher ist der Schweregrad festgelegt. Das ist er nicht.

Schweregrad in einem Sicherheitsmanagementsystem ist eine Aussage über das glaubwürdige Ergebnis des Unfallszenarios, zu dem dieses Ereignis gehörte, wenn es weitergegangen wäre. Das bedeutet, dass der Bewerter das Szenario benennen muss, nicht das Ereignis. „Höhenverstoß“ ist kein Szenario. „Höhenverstoß in besetztem Luftraum auf konvergierendem Kurs, mit dem bordseitigen Kollisionswarnsystem als einziger verbleibender Barriere“ ist ein Szenario, und sein glaubwürdiges schlimmstes Ergebnis ist nicht dasselbe wie das der identischen Höhenabweichung in leerem Luftraum unter Radarabdeckung, während ein Fluglotse zusieht.

Deshalb führen dieselben Wörter in zwei Berichten zu zwei Schweregraden. Beide Bewerter beantworten dieselbe Frage ehrlich, aber zu zwei verschiedenen Situationen, die im Meldeformular denselben Namen erhalten haben.

Die Falle. Klassifizierung nach Ereignistaxonomie. Die Taxonomie existiert, damit Ereignisse gezählt und gruppiert werden können; sie ist kein Schweregrad-Schlüssel. Sobald eine Matrix aus dem Ereignistyp statt aus dem Szenario gespeist wird, hört das ganze System auf, Risiko zu messen, und beginnt, Vokabular zu messen.

Der Schweregrad hängt nicht vom Namen des Ereignisses ab, sondern davon, was hätte passieren können. Ein Höhenverstoß in dichtem Verkehr ist gefährlicher als einer in leerem Raum, selbst wenn beide gleich aussehen.

Ein Airbus A320 verpasst die Landebahn um 200 Fuß auf einem Flughafen mit Radarüberwachung (kein Szenario) vs. eine Boeing 737 verpasst die Landebahn um 200 Fuß auf einem Flughafen ohne Radar, während ein anderes Flugzeug auf derselben Flugbahn anfliegt (katastrophales Szenario).

Die Barriere-Frage, richtig gestellt

Die nützlichste Methode hierfür ist der Zwei-Fragen-Ansatz, der in der Ereignisrisikoklassifizierungsmethode verwendet wird, die viele Betreiber neben ihrer Matrix übernommen haben. Er fragt, in dieser Reihenfolge: Wenn das Ereignis weitergegangen wäre, welches ist das glaubwürdigste Unfallszenario, zu dem es geführt hätte? Und wie viel Barrierekapazität stand noch zwischen dem Ereignis und diesem Ergebnis?

Die zweite Frage ist die, die die eigentliche Arbeit leistet. Barrieren werden nicht gezählt; sie werden auf Wirksamkeit bewertet. Drei prozedurale Barrieren, die alle davon abhängen, dass dieselbe Besatzung dasselbe bemerkt, sind funktional eine einzige Barriere. Eine Barriere, die zufällig funktionierte — ein Fluglotse, der zufällig den richtigen Sektor beobachtete —, ist keine wirksame Barriere, sondern eine glückliche, und sie als wirksam einzustufen, ist genau die Art, wie sich ein Betreiber einredet, ein schweres Ereignis sei Routine gewesen.

Die in diesen Schemata verwendeten Skalen sind absichtlich nichtlinear, sodass ein Ereignis mit einem glaubwürdigen katastrophalen Ergebnis und keiner verbleibenden Barriere jede andere Zelle im Register dominiert. Das ist eine bewusste Designentscheidung, und es ist einer der Punkte, an denen sich zwei Betreiber unterscheiden: Eine Organisation, die eine lineare Fünf-mal-fünf-Skala verwendet, lässt zu, dass eine große Anzahl geringfügiger Ereignisse in jeder aggregierten Ansicht ein einziges nahezu katastrophales Ereignis überwiegt. Ein nichtlineares Schema tut das nicht.

Wahrscheinlichkeit ist eine Rate, und eine Rate benötigt einen Nenner

Auf der Wahrscheinlichkeitsachse wird die Abweichung zu einer Frage der Arithmetik statt des Ermessens. „Gelegentlich“ bedeutet nichts, solange die Organisation nicht festlegt: gelegentlich pro was?

Die Wahl des Nenners ist nicht neutral. Ein Kurzstreckenbetreiber, der Sektoren von einer Stunde fliegt, und ein Langstreckenbetreiber, der Sektoren von elf Stunden fliegt, können identische Raten pro Sektor bei Anflug- und Landeereignissen haben und Raten pro Stunde ausweisen, die sich um eine Größenordnung unterscheiden. Keiner lügt. Sie messen unterschiedliche Dinge, und nur einer der beiden Nenner steht überhaupt in einem kausalen Zusammenhang mit Anflug- und Landeereignissen.

Gleiche Ereignisse, unterschiedliche Nenner: warum sich die Wahrscheinlichkeitszelle bewegt
Nenner Passt zu welchen Gefahren Verzerrt
Pro Flugstunde Reiseflug, Systeme, ermüdungsbedingte Exposition, Wartungsintervalle Begünstigt Langstreckenbetreiber bei Anflug-, Lande- und Startereignissen
Pro Sektor oder pro Abflug Start, Anflug, Landung, Bodenabfertigung, Turnaround Bestraft Kurzstreckenbetreiber bei allem, was von der Flugzeit abhängt
Pro Zyklus Struktur, Fahrwerk, Kabinendruck, Bremsen- und Reifenereignisse Weicht von der Zählung pro Sektor ab, wenn Trainingsflüge einen erheblichen Anteil haben
Pro Bewegung auf einem Flughafen Rollbahn-Inkursionen, Bodenkollisionen, Vorfeldschäden Hängt davon ab, wer die Bewegungen zählt und ob die allgemeine Luftfahrt einbezogen wird
Qualitativ, kein Nenner Nichts, sobald die Organisation Daten hat Alles — die Achse wird zu einer Frage des Gedächtnisses des Bewerters

Es gibt eine zweite, leisere Verzerrung auf dieser Achse: die Meldekultur. Ein Betreiber mit einer reifen Just Culture und einer hohen Melderate sieht mehr Ereignisse und wird, auf jeder ehrlichen Skala, mehrere Gefahren in der Wahrscheinlichkeit höher einstufen als ein vergleichbarer Betreiber, dessen Mitarbeiter nicht melden. Die Organisation, die auf dem Raster sicherer aussieht, weiß häufig weniger. Jeder, der zwei Register vergleicht, ohne die Melderaten pro tausend Sektoren zu vergleichen, vergleicht die Meldebereitschaft, nicht das Risiko.

Die Entscheidungen, die zwei Betreiber legitimerweise unterscheiden

Ausdrücklich dargestellt, erweisen sich die Abweichungen als strukturell, nicht zufällig. Jede davon ist eine vertretbare Entscheidung, die die Organisation dokumentieren muss — und jede davon verschiebt die Zelle.

Wo zwei konforme Matrizen auseinandergehen
Wahl Ein Haus Das andere Auswirkung auf die Zelle
Schweregrad-Verankerung Glaubwürdigstes Ergebnis Vernünftigster schlimmster Fall Typischerweise eine bis zwei Zeilen
Einheit der Bewertung Das einzelne Ereignis Die Gefahr, mit Ereignissen als Beweis Ändert, was Wahrscheinlichkeit überhaupt bedeutet
Barrieren-Buchhaltung Barrieren gezählt Barrieren auf Wirksamkeit bewertet Glückliche Ergebnisse höher eingestuft
Expositionsnenner Flugstunden Sektoren oder Zyklen Bis zu einer Größenordnung auf der Wahrscheinlichkeitsachse
Skalenform Lineares Fünf-mal-fünf Nicht-lineare gewichtete Bewertung Ändert, welche Risiken das Register dominieren
Toleranzgrenze Konservativ gezogen Dort gezogen, wo Ressourcen Maßnahmen ermöglichen Bestimmt, was eskaliert werden muss
Bewerter Melder, dann überprüft Nur die Sicherheitsüberprüfungsgruppe Ändert die Streuung, nicht den Durchschnitt

Dasselbe Ereignis, in zwei Häusern bewertet

Nehmen Sie einen einzigen, völlig gewöhnlichen Bericht: einen nicht stabilisierten Anflug, der unterhalb des Stabilisierungs-Gates des Betreibers fortgesetzt wurde, gefolgt von einer normalen Landung, freiwillig von der Besatzung gemeldet.

Ein Bericht, zwei vertretbare Klassifizierungen
Frage Betreiber A Betreiber B
Szenario benannt Lange Landung, Rollbahnverlass Kontrollverlust beim Abfangen oder Abkommen von der Piste
Verwendete Schweregrad-Verankerung Glaubwürdigstes Ergebnis — schwer Vernünftigerweise anzunehmender schlimmster Fall — katastrophal
Verbleibende Barrieren Durchstartrichtlinie, lange trockene Piste, reichlich Landestrecke Durchstartrichtlinie bereits verletzt; Piste nass, begrenzend
Barrierenwirksamkeit Begrenzt, aber real Minimal — die Besatzung flog durch das einzige Gate
Expositionsnenner Pro 1000 Sektoren, und dies ist der vierte dieses Quartals Pro Flugstunde, und dies ist der erste dieses Jahres
Resultierende Zelle Hohe Wahrscheinlichkeit, mittlere Schwere — gelb, Trend wird beobachtet Geringe Wahrscheinlichkeit, hohe Schwere — rot, sofortige Maßnahmen

Nichts in dieser Tabelle ist ein Fehler. Betreiber A führt eine Trendanalyse zu einem wiederkehrenden Verhalten durch; Betreiber B führt eine Barrierenanalyse zu einem einzelnen Ereignis durch. Beide werden handeln. Sie werden unterschiedlich handeln, und der Wert des Verfahrens liegt in den Maßnahmen, nicht in der Farbe.

Der gute Reflex. Bevor man über eine Zelle streitet, sollte der Bewerter das Unfallszenario laut aussprechen und die Barrieren benennen, die noch standen. Die meisten Klassifizierungsstreitigkeiten lösen sich an diesem Punkt auf, weil die beiden Personen zwei verschiedene Szenarien bewertet haben, ohne es zu wissen.

Ordinale Zellen, kardinale Entscheidungen

Es gibt einen methodischen Einwand gegen Risikomatrizen, den Sicherheitsabteilungen kennen sollten, weil er eine Klasse von Fehlentscheidungen erklärt, die auch noch so viel Sorgfalt beim Ausfüllen des Rasters nicht verhindern kann. Die Zellen einer Matrix sind ordinal: Rot ist schlimmer als Gelb, Zeile vier ist schlimmer als Zeile drei. Sie sind nicht kardinal. Zeile vier ist nicht doppelt so schlimm wie Zeile zwei.

Sobald eine Organisation ihren Schweregradrang mit ihrem Wahrscheinlichkeitsrang multipliziert, um einen Risikowert zu erzeugen, und dann ihr gesamtes Register nach diesem Produkt einstuft, betreibt sie Arithmetik mit Etiketten. Zwei Ereignisse mit demselben Produkt können sich im erwarteten Schaden um Größenordnungen unterscheiden, und eine Matrix kann eine tatsächlich schlimmere Gefahr unter einer milderen einstufen. Der Einwand ist in der Risikoliteratur gut etabliert, und er richtet sich gegen die Arithmetik, nicht gegen die Bewerter.

Die praktische Abhilfe ist bescheiden, aber wirksam: Verwenden Sie die Matrix, um zu entscheiden, was Aufmerksamkeit benötigt und auf welcher Ebene es eskaliert wird, niemals, um ein Portfolio nach Punktzahl in eine Rangfolge zu bringen, und niemals, um eine Punktzahl über zwei Register hinweg zu vergleichen, die auf unterschiedlichen Ankerpunkten aufgebaut sind.

Was vor jedem Vergleich harmonisiert werden muss

Der Vergleich zwischen Betreibern ist nicht unmöglich — er ist an Bedingungen geknüpft. Die Aufsichtsbehörden haben dies früh erkannt; deshalb umfasst die Ereignismeldung in Europa eine gemeinsame Taxonomie und ein gemeinsames Risikoklassifizierungsschema, das über der internen Matrix jedes Betreibers liegt. Der Zweck dieser Ebene ist nicht, das Urteil des Betreibers zu ersetzen, sondern der Behörde eine einheitliche Skala zu geben, auf der Ereignisse aus hundert verschiedenen Managementsystemen nebeneinander stehen können.

Intern gilt dieselbe Logik für jede Fusion, jede Wet-Lease-Vereinbarung oder jede Codeshare-Sicherheitsüberprüfung. Bevor die beiden Register auf derselben Seite platziert werden, müssen vier Dinge abgeglichen werden: die Schweregrad-Verankerung, die Definitionen der Barrierenwirksamkeit, der Expositionsnenner und die Lage der Tolerierbarkeitsgrenze. Gleicht man sie ab, ist der Vergleich aussagekräftig. Überspringt man sie, produziert die Übung ein Diagramm, das maßgeblich aussieht und nichts bedeutet — die teuerste Art von Sicherheitsprodukt, die es gibt.

Den Bericht so schreiben, dass die Klassifizierung überlebt

Die meisten der hier beschriebenen Schwierigkeiten werden am Eingangspunkt, nicht am Bewertungspunkt, geschaffen. Ein Bericht, der beschreibt, was passiert ist, aber nicht, was fast passiert wäre, zwingt den Bewerter, das Szenario zu erfinden, und zwei Bewerter werden zwei erfinden.

Ein Mann in Uniform analysiert eine Risikomatrix auf einem Computermonitor in einem Flughafen-Kontrollraum.
Risikobewertungen erfordern einheitliche Kriterien, um subjektive Interpretationen zu vermeiden.

Die Felder, die eine Klassifizierung robust machen, sind die, die die Situation beschreiben, nicht das Ereignis: was sich sonst noch im Luftraum oder auf der Piste befand, welche Abwehrmaßnahmen noch verfügbar waren, welche davon dem Melder zu diesem Zeitpunkt bewusst waren, was nach Ansicht des Melders passiert wäre, wenn er nicht gehandelt hätte, und wie nah die nächste Barriere war. Sicherheitsabteilungen, die die Praxis über Betreiber hinweg vergleichen — die Art von Austausch, der in den Sicherheitsthreads der FL330-Foren stattfindet — stellen regelmäßig fest, dass die Qualität dieser Felder die Konsistenz der Klassifizierung viel besser vorhersagt als das Design des Rasters.

Eine Risikomatrix misst kein Risiko. Sie zeichnet eine Reihe von Urteilen über Szenarien, Barrieren und Exposition in einer Kurzschrift auf, die einer Organisation ermöglicht, zu entscheiden, worauf sie als Nächstes schauen soll. So gelesen, ist es keine Diskrepanz, die aufgelöst werden muss, wenn zwei Betreiber dasselbe Ereignis unterschiedlich klassifizieren. Es sind zwei Organisationen, die zwei verschiedene Sätze von Abwehrmaßnahmen korrekt beschreiben — und der einzige echte Fehler wäre, anzunehmen, sie würden dasselbe beschreiben.

Commentaires

Schreibe einen Kommentar

Découvrez l’écosystème FL330

FL330, c’est toute l’aviation professionnelle — explorez nos autres espaces.