Zwei Sicherheitsabteilungen erhalten dieselbe Ereignismeldung. Die eine schließt sie als gelb, die andere als rot, und beide haben recht. Das ist kein Versagen eines der beiden Systeme — dafür ist eine Risikomatrix da. Schweregrad und Wahrscheinlichkeit sind keine Eigenschaften des Ereignisses; sie sind Eigenschaften der Barrieren, die es überstanden haben, und der Exposition, die der Betreiber misst. Zwei Matrizen zu vergleichen, ohne ihre Skalen zu vergleichen, ergibt eine Zahl ohne jede Bedeutung.
Eine Matrix ist eine Sprache, kein Messinstrument
Das Fünf-mal-fünf-Raster, das in fast jedem Sicherheitsmanagement-Handbuch erscheint, reproduziert die Beispielskalen, die in den Sicherheitsmanagement-Materialien der ICAO veröffentlicht sind: eine Schweregradskala, die von katastrophal bis vernachlässigbar reicht, und eine Wahrscheinlichkeitsskala, die von häufig bis extrem unwahrscheinlich reicht. Was dasselbe Material sagt und was verloren geht, wenn das Raster in ein Handbuch kopiert wird, ist, dass die Skalen beispielhaft sind. Die Organisation wird erwartet, ihre eigenen zu definieren, kalibriert auf das, was sie tut.
Diese Anweisung ist keine Einladung, vage zu sein. Sie trägt der Tatsache Rechnung, dass ein Offshore-Hubschrauberbetreiber, eine Regionalfluggesellschaft und eine Part-145-Organisation keine Wahrscheinlichkeitsskala teilen können, weil sie weder eine Expositionseinheit noch eine Flottengröße noch einen Satz glaubwürdiger Ergebnisse gemeinsam haben. Ein Raster, das unverändert aus dem Handbuch eines anderen Betreibers übernommen wird, ist ein Raster, dessen Ankerpunkte das Geschäft eines anderen beschreiben.
Die erste Frage, die man sich bei jeder Risikoklassifizierung stellen sollte, lautet daher nicht „Ist das rot oder gelb?“. Sie lautet „An welcher Skala gemessen, von wem definiert, woran verankert?“.
Schweregrad ist, was die Barrieren übrig gelassen haben, nicht, wie das Ereignis genannt wurde
Der häufigste Fehler bei der Ereignisklassifizierung besteht darin, den Schweregrad aus dem Titel des Ereignisses abzulesen. Ein Heckaufsetzer ist ein Heckaufsetzer; ein Höhenverstoß ist ein Höhenverstoß; daher ist der Schweregrad festgelegt. Das ist er nicht.
Schweregrad in einem Sicherheitsmanagementsystem ist eine Aussage über das glaubwürdige Ergebnis des Unfallszenarios, zu dem dieses Ereignis gehörte, wenn es weitergegangen wäre. Das bedeutet, dass der Bewerter das Szenario benennen muss, nicht das Ereignis. „Höhenverstoß“ ist kein Szenario. „Höhenverstoß in besetztem Luftraum auf konvergierendem Kurs, mit dem bordseitigen Kollisionswarnsystem als einziger verbleibender Barriere“ ist ein Szenario, und sein glaubwürdiges schlimmstes Ergebnis ist nicht dasselbe wie das der identischen Höhenabweichung in leerem Luftraum unter Radarabdeckung, während ein Fluglotse zusieht.
Deshalb führen dieselben Wörter in zwei Berichten zu zwei Schweregraden. Beide Bewerter beantworten dieselbe Frage ehrlich, aber zu zwei verschiedenen Situationen, die im Meldeformular denselben Namen erhalten haben.
Die Falle. Klassifizierung nach Ereignistaxonomie. Die Taxonomie existiert, damit Ereignisse gezählt und gruppiert werden können; sie ist kein Schweregrad-Schlüssel. Sobald eine Matrix aus dem Ereignistyp statt aus dem Szenario gespeist wird, hört das ganze System auf, Risiko zu messen, und beginnt, Vokabular zu messen.
Der Schweregrad hängt nicht vom Namen des Ereignisses ab, sondern davon, was hätte passieren können. Ein Höhenverstoß in dichtem Verkehr ist gefährlicher als einer in leerem Raum, selbst wenn beide gleich aussehen.
Ein Airbus A320 verpasst die Landebahn um 200 Fuß auf einem Flughafen mit Radarüberwachung (kein Szenario) vs. eine Boeing 737 verpasst die Landebahn um 200 Fuß auf einem Flughafen ohne Radar, während ein anderes Flugzeug auf derselben Flugbahn anfliegt (katastrophales Szenario).
Die Barriere-Frage, richtig gestellt
Die nützlichste Methode hierfür ist der Zwei-Fragen-Ansatz, der in der Ereignisrisikoklassifizierungsmethode verwendet wird, die viele Betreiber neben ihrer Matrix übernommen haben. Er fragt, in dieser Reihenfolge: Wenn das Ereignis weitergegangen wäre, welches ist das glaubwürdigste Unfallszenario, zu dem es geführt hätte? Und wie viel Barrierekapazität stand noch zwischen dem Ereignis und diesem Ergebnis?
Die zweite Frage ist die, die die eigentliche Arbeit leistet. Barrieren werden nicht gezählt; sie werden auf Wirksamkeit bewertet. Drei prozedurale Barrieren, die alle davon abhängen, dass dieselbe Besatzung dasselbe bemerkt, sind funktional eine einzige Barriere. Eine Barriere, die zufällig funktionierte — ein Fluglotse, der zufällig den richtigen Sektor beobachtete —, ist keine wirksame Barriere, sondern eine glückliche, und sie als wirksam einzustufen, ist genau die Art, wie sich ein Betreiber einredet, ein schweres Ereignis sei Routine gewesen.
Die in diesen Schemata verwendeten Skalen sind absichtlich nichtlinear, sodass ein Ereignis mit einem glaubwürdigen katastrophalen Ergebnis und keiner verbleibenden Barriere jede andere Zelle im Register dominiert. Das ist eine bewusste Designentscheidung, und es ist einer der Punkte, an denen sich zwei Betreiber unterscheiden: Eine Organisation, die eine lineare Fünf-mal-fünf-Skala verwendet, lässt zu, dass eine große Anzahl geringfügiger Ereignisse in jeder aggregierten Ansicht ein einziges nahezu katastrophales Ereignis überwiegt. Ein nichtlineares Schema tut das nicht.
Wahrscheinlichkeit ist eine Rate, und eine Rate benötigt einen Nenner
Auf der Wahrscheinlichkeitsachse wird die Abweichung zu einer Frage der Arithmetik statt des Ermessens. „Gelegentlich“ bedeutet nichts, solange die Organisation nicht festlegt: gelegentlich pro was?
Die Wahl des Nenners ist nicht neutral. Ein Kurzstreckenbetreiber, der Sektoren von einer Stunde fliegt, und ein Langstreckenbetreiber, der Sektoren von elf Stunden fliegt, können identische Raten pro Sektor bei Anflug- und Landeereignissen haben und Raten pro Stunde ausweisen, die sich um eine Größenordnung unterscheiden. Keiner lügt. Sie messen unterschiedliche Dinge, und nur einer der beiden Nenner steht überhaupt in einem kausalen Zusammenhang mit Anflug- und Landeereignissen.
| Nenner | Passt zu welchen Gefahren | Verzerrt |
|---|---|---|
| Pro Flugstunde | Reiseflug, Systeme, ermüdungsbedingte Exposition, Wartungsintervalle | Begünstigt Langstreckenbetreiber bei Anflug-, Lande- und Startereignissen |
| Pro Sektor oder pro Abflug | Start, Anflug, Landung, Bodenabfertigung, Turnaround | Bestraft Kurzstreckenbetreiber bei allem, was von der Flugzeit abhängt |
| Pro Zyklus | Struktur, Fahrwerk, Kabinendruck, Bremsen- und Reifenereignisse | Weicht von der Zählung pro Sektor ab, wenn Trainingsflüge einen erheblichen Anteil haben |
| Pro Bewegung auf einem Flughafen | Rollbahn-Inkursionen, Bodenkollisionen, Vorfeldschäden | Hängt davon ab, wer die Bewegungen zählt und ob die allgemeine Luftfahrt einbezogen wird |
| Qualitativ, kein Nenner | Nichts, sobald die Organisation Daten hat | Alles — die Achse wird zu einer Frage des Gedächtnisses des Bewerters |
Es gibt eine zweite, leisere Verzerrung auf dieser Achse: die Meldekultur. Ein Betreiber mit einer reifen Just Culture und einer hohen Melderate sieht mehr Ereignisse und wird, auf jeder ehrlichen Skala, mehrere Gefahren in der Wahrscheinlichkeit höher einstufen als ein vergleichbarer Betreiber, dessen Mitarbeiter nicht melden. Die Organisation, die auf dem Raster sicherer aussieht, weiß häufig weniger. Jeder, der zwei Register vergleicht, ohne die Melderaten pro tausend Sektoren zu vergleichen, vergleicht die Meldebereitschaft, nicht das Risiko.
Die Entscheidungen, die zwei Betreiber legitimerweise unterscheiden
Ausdrücklich dargestellt, erweisen sich die Abweichungen als strukturell, nicht zufällig. Jede davon ist eine vertretbare Entscheidung, die die Organisation dokumentieren muss — und jede davon verschiebt die Zelle.
| Wahl | Ein Haus | Das andere | Auswirkung auf die Zelle |
|---|---|---|---|
| Schweregrad-Verankerung | Glaubwürdigstes Ergebnis | Vernünftigster schlimmster Fall | Typischerweise eine bis zwei Zeilen |
| Einheit der Bewertung | Das einzelne Ereignis | Die Gefahr, mit Ereignissen als Beweis | Ändert, was Wahrscheinlichkeit überhaupt bedeutet |
| Barrieren-Buchhaltung | Barrieren gezählt | Barrieren auf Wirksamkeit bewertet | Glückliche Ergebnisse höher eingestuft |
| Expositionsnenner | Flugstunden | Sektoren oder Zyklen | Bis zu einer Größenordnung auf der Wahrscheinlichkeitsachse |
| Skalenform | Lineares Fünf-mal-fünf | Nicht-lineare gewichtete Bewertung | Ändert, welche Risiken das Register dominieren |
| Toleranzgrenze | Konservativ gezogen | Dort gezogen, wo Ressourcen Maßnahmen ermöglichen | Bestimmt, was eskaliert werden muss |
| Bewerter | Melder, dann überprüft | Nur die Sicherheitsüberprüfungsgruppe | Ändert die Streuung, nicht den Durchschnitt |
Dasselbe Ereignis, in zwei Häusern bewertet
Nehmen Sie einen einzigen, völlig gewöhnlichen Bericht: einen nicht stabilisierten Anflug, der unterhalb des Stabilisierungs-Gates des Betreibers fortgesetzt wurde, gefolgt von einer normalen Landung, freiwillig von der Besatzung gemeldet.
| Frage | Betreiber A | Betreiber B |
|---|---|---|
| Szenario benannt | Lange Landung, Rollbahnverlass | Kontrollverlust beim Abfangen oder Abkommen von der Piste |
| Verwendete Schweregrad-Verankerung | Glaubwürdigstes Ergebnis — schwer | Vernünftigerweise anzunehmender schlimmster Fall — katastrophal |
| Verbleibende Barrieren | Durchstartrichtlinie, lange trockene Piste, reichlich Landestrecke | Durchstartrichtlinie bereits verletzt; Piste nass, begrenzend |
| Barrierenwirksamkeit | Begrenzt, aber real | Minimal — die Besatzung flog durch das einzige Gate |
| Expositionsnenner | Pro 1000 Sektoren, und dies ist der vierte dieses Quartals | Pro Flugstunde, und dies ist der erste dieses Jahres |
| Resultierende Zelle | Hohe Wahrscheinlichkeit, mittlere Schwere — gelb, Trend wird beobachtet | Geringe Wahrscheinlichkeit, hohe Schwere — rot, sofortige Maßnahmen |
Nichts in dieser Tabelle ist ein Fehler. Betreiber A führt eine Trendanalyse zu einem wiederkehrenden Verhalten durch; Betreiber B führt eine Barrierenanalyse zu einem einzelnen Ereignis durch. Beide werden handeln. Sie werden unterschiedlich handeln, und der Wert des Verfahrens liegt in den Maßnahmen, nicht in der Farbe.
Der gute Reflex. Bevor man über eine Zelle streitet, sollte der Bewerter das Unfallszenario laut aussprechen und die Barrieren benennen, die noch standen. Die meisten Klassifizierungsstreitigkeiten lösen sich an diesem Punkt auf, weil die beiden Personen zwei verschiedene Szenarien bewertet haben, ohne es zu wissen.
Ordinale Zellen, kardinale Entscheidungen
Es gibt einen methodischen Einwand gegen Risikomatrizen, den Sicherheitsabteilungen kennen sollten, weil er eine Klasse von Fehlentscheidungen erklärt, die auch noch so viel Sorgfalt beim Ausfüllen des Rasters nicht verhindern kann. Die Zellen einer Matrix sind ordinal: Rot ist schlimmer als Gelb, Zeile vier ist schlimmer als Zeile drei. Sie sind nicht kardinal. Zeile vier ist nicht doppelt so schlimm wie Zeile zwei.
Sobald eine Organisation ihren Schweregradrang mit ihrem Wahrscheinlichkeitsrang multipliziert, um einen Risikowert zu erzeugen, und dann ihr gesamtes Register nach diesem Produkt einstuft, betreibt sie Arithmetik mit Etiketten. Zwei Ereignisse mit demselben Produkt können sich im erwarteten Schaden um Größenordnungen unterscheiden, und eine Matrix kann eine tatsächlich schlimmere Gefahr unter einer milderen einstufen. Der Einwand ist in der Risikoliteratur gut etabliert, und er richtet sich gegen die Arithmetik, nicht gegen die Bewerter.
Die praktische Abhilfe ist bescheiden, aber wirksam: Verwenden Sie die Matrix, um zu entscheiden, was Aufmerksamkeit benötigt und auf welcher Ebene es eskaliert wird, niemals, um ein Portfolio nach Punktzahl in eine Rangfolge zu bringen, und niemals, um eine Punktzahl über zwei Register hinweg zu vergleichen, die auf unterschiedlichen Ankerpunkten aufgebaut sind.
Was vor jedem Vergleich harmonisiert werden muss
Der Vergleich zwischen Betreibern ist nicht unmöglich — er ist an Bedingungen geknüpft. Die Aufsichtsbehörden haben dies früh erkannt; deshalb umfasst die Ereignismeldung in Europa eine gemeinsame Taxonomie und ein gemeinsames Risikoklassifizierungsschema, das über der internen Matrix jedes Betreibers liegt. Der Zweck dieser Ebene ist nicht, das Urteil des Betreibers zu ersetzen, sondern der Behörde eine einheitliche Skala zu geben, auf der Ereignisse aus hundert verschiedenen Managementsystemen nebeneinander stehen können.
Intern gilt dieselbe Logik für jede Fusion, jede Wet-Lease-Vereinbarung oder jede Codeshare-Sicherheitsüberprüfung. Bevor die beiden Register auf derselben Seite platziert werden, müssen vier Dinge abgeglichen werden: die Schweregrad-Verankerung, die Definitionen der Barrierenwirksamkeit, der Expositionsnenner und die Lage der Tolerierbarkeitsgrenze. Gleicht man sie ab, ist der Vergleich aussagekräftig. Überspringt man sie, produziert die Übung ein Diagramm, das maßgeblich aussieht und nichts bedeutet — die teuerste Art von Sicherheitsprodukt, die es gibt.
Den Bericht so schreiben, dass die Klassifizierung überlebt
Die meisten der hier beschriebenen Schwierigkeiten werden am Eingangspunkt, nicht am Bewertungspunkt, geschaffen. Ein Bericht, der beschreibt, was passiert ist, aber nicht, was fast passiert wäre, zwingt den Bewerter, das Szenario zu erfinden, und zwei Bewerter werden zwei erfinden.

Die Felder, die eine Klassifizierung robust machen, sind die, die die Situation beschreiben, nicht das Ereignis: was sich sonst noch im Luftraum oder auf der Piste befand, welche Abwehrmaßnahmen noch verfügbar waren, welche davon dem Melder zu diesem Zeitpunkt bewusst waren, was nach Ansicht des Melders passiert wäre, wenn er nicht gehandelt hätte, und wie nah die nächste Barriere war. Sicherheitsabteilungen, die die Praxis über Betreiber hinweg vergleichen — die Art von Austausch, der in den Sicherheitsthreads der FL330-Foren stattfindet — stellen regelmäßig fest, dass die Qualität dieser Felder die Konsistenz der Klassifizierung viel besser vorhersagt als das Design des Rasters.
Eine Risikomatrix misst kein Risiko. Sie zeichnet eine Reihe von Urteilen über Szenarien, Barrieren und Exposition in einer Kurzschrift auf, die einer Organisation ermöglicht, zu entscheiden, worauf sie als Nächstes schauen soll. So gelesen, ist es keine Diskrepanz, die aufgelöst werden muss, wenn zwei Betreiber dasselbe Ereignis unterschiedlich klassifizieren. Es sind zwei Organisationen, die zwei verschiedene Sätze von Abwehrmaßnahmen korrekt beschreiben — und der einzige echte Fehler wäre, anzunehmen, sie würden dasselbe beschreiben.

Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.