Eine Kontrolle wird eingeführt, und ein Jahr später verzeichnet die Sicherheitsüberprüfung, dass es keine weiteren Ereignisse dieser Art gegeben hat. Der Punkt wird geschlossen. Das Problem ist, dass nichts in diesem Satz ein Beweis für die Kontrolle ist. Es ist ein Beweis über eine Zählung, und eine Zählung seltener Ereignisse über einen kurzen Zeitraum ist nahezu aussagelos, wie auch immer sie ausfällt. Der Nachweis, dass eine Risikominderung ein Risiko reduziert hat, erfordert eine andere Art von Beweis, und die meisten Organisationen besitzen bereits das Rohmaterial dafür, ohne es zu nutzen.
Was « wirksam » bedeuten muss, bevor es gemessen werden kann
Der ICAO-Anhang 19 und das begleitende Sicherheitsmanagement-Handbuch erwarten, dass Risikokontrollen umgesetzt und ihre Leistung überwacht werden. In den europäischen Vorschriften ist die Verpflichtung zur Überprüfung der Wirksamkeit explizit: Sie erreicht die Betreiber über die Management-Systemanforderungen neben Part-CAT, und Wartungsorganisationen über Part-145. Keiner dieser Texte sagt, wie dies zu geschehen hat, und das ist kein Versäumnis – die Methode hängt vollständig davon ab, was die Kontrolle bewirkt.
Bevor etwas gemessen werden kann, muss die Aussage in einer falsifizierbaren Form formuliert werden. „Diese Maßnahme wird die Sicherheit verbessern“ kann nicht getestet werden. Getestet werden kann eine Aussage der Form: Wenn dieser spezifische gefährliche Zustand auftritt, wird diese Kontrolle die Sequenz unterbrechen, bevor diese spezifische Folge eintritt. Diese Form tut drei Dinge gleichzeitig. Sie benennt den Zustand, sodass Sie wissen, was zu zählen ist. Sie benennt den Mechanismus, sodass Sie wissen, wo Sie nach einer Spur suchen müssen. Und sie benennt die Folge, sodass Sie wissen, wie ein Versagen aussehen würde.
Die meisten Kontrollen, die der Messung widerstehen, tun dies, weil die Aussage nie in dieser Form formuliert wurde. Eine Kontrolle, die als „erhöhte Aufmerksamkeit“ beschrieben wird, hat kein Ereignis, das sie auslöst, keinen beobachtbaren Eingriff und keinen Ausfallmodus, sodass es nichts zu messen und nichts zu widerlegen gibt. Das ist ein Designproblem, kein Messproblem, und es lohnt sich, dies zu erkennen, wenn die Kontrolle vorgeschlagen wird.
Eine wirksame Sicherheitskontrolle muss klar definieren, wann sie greift, wie sie wirkt und was passiert, wenn sie versagt. Ohne diese Klarheit kann man nicht nachweisen, ob sie funktioniert oder nicht.
Ein Flugzeug hat ein Warnsystem, das bei zu hohem Öldruck auslöst. Die Kontrolle ist wirksam, wenn das System bei Überschreiten des Schwellenwerts (Zustand) eine Warnung abgibt (Mechanismus) und die Besatzung rechtzeitig reagiert (Folge). Ohne diese klaren Kriterien könnte man nicht beweisen, ob das System wirklich funktioniert.
Warum die Zählung von Ergebnissen die Frage nicht beantworten kann
Die Ereignisse, die Sicherheitskontrollen verhindern sollen, sind naturgemäß selten. Diese Seltenheit macht die Zählung von Ergebnissen über die Zeiträume, in denen Organisationen ihre Kontrollen tatsächlich überprüfen, nutzlos.
Betrachten Sie eine Gefahr, deren historische Rate so war, dass ein typisches Jahr in der Flotte null oder ein Ereignis ergab. Nach der Implementierung der Kontrolle vergeht ein Jahr ohne Ereignis. Dieses Ergebnis ist das wahrscheinlichste unter beiden konkurrierenden Hypothesen – dass die Kontrolle das Risiko vollständig eliminiert hat und dass sie nichts bewirkt hat. Es unterscheidet nicht zwischen ihnen, weil es nie genug Exposition im Beobachtungsfenster gab, damit die beiden Hypothesen sichtbar unterschiedliche Zählungen erzeugen. Längeres Warten hilft, aber der benötigte Zeitraum liegt in der Regel Jahre nach dem Zeitpunkt, an dem die Organisation eine Antwort benötigt, und bis dahin hat sich der Betrieb so sehr verändert, dass der Vergleich nicht mehr belastbar ist.
Die Konsequenz ist nicht, dass die Daten zu Ergebnissen wertlos sind. Es ist, dass die Daten zu Ergebnissen eine langsame, niedrigauflösende Bestätigung sind, die ans Ende der Beweiskette gehört, nicht am Anfang. Eine Organisation, die sie als primären Beweis behandelt, wird Punkte schließen, die offen bleiben sollten, und, noch schädlicher, wird Vertrauen in Barrieren entwickeln, die nie tatsächlich getestet wurden.
Die Falle. „Keine Ereignisse seit der Implementierung“ ist kein schwacher Beleg dafür, dass die Kontrolle funktioniert. Es ist überhaupt kein Beleg zur Kontrolle, in keiner Richtung. Die Aufzeichnung als positives Ergebnis wandelt ein Fehlen von Informationen in scheinbare Gewissheit um, und diese Umwandlung ist der Mechanismus, durch den Organisationen Barrieren ansammeln, an die sie glauben und die sie nie verifiziert haben.
Die Beweiskette
Es gibt sechs verschiedene Dinge, die man über eine Kontrolle feststellen kann, und sie sind nicht austauschbar. Ihre Einstufung macht sichtbar, auf welcher Stufe eine Organisation tatsächlich steht, wenn sie eine Kontrolle für wirksam erklärt.
| Ebene | Beantwortete Frage | Typische Quelle | Was sie nicht beweist |
|---|---|---|---|
| 1. Design | Existiert die Kontrolle, spezifiziert und genehmigt? | Verfahrenstext, Änderungsprotokoll, Schulungssyllabus | Dass sie im Betrieb vorhanden ist |
| 2. Präsenz | Ist sie vorhanden und betriebsbereit, wo und wann sie benötigt wird? | Unangekündigte Stichproben, Audit, technische Unterlagen | Dass sie überhaupt genutzt wird |
| 3. Nutzung | Wird sie tatsächlich genutzt und nicht umgangen? | Linienbeobachtung, Flugdaten, Aufgabenabschlussmuster | Dass die Gefahr überhaupt aufgetreten ist |
| 4. Anforderung | Ist der gefährliche Zustand mit der Kontrolle im Einsatz aufgetreten? | Vorkommensberichte, Flugdatenereignisse, Vorläuferzählungen | Dass die Kontrolle etwas dagegen unternommen hat |
| 5. Leistung bei Anforderung | Hat sie bei Anforderung gehalten? | Fall-zu-Fall-Überprüfung der Anforderungsfälle | Dass das Gesamtrisiko gesunken ist |
| 6. Ergebnis | Sind die Folgen seltener oder weniger schwerwiegend geworden? | Aufzeichnungen über Unfälle und schwere Störungen | Nichts – aber es dauert Jahre, bis sich etwas sagen lässt |
Ebene eins und zwei sind das, was die meisten Audits liefern. Sie sind notwendig und werden häufig mit der Antwort verwechselt. Ein Befund, der lautet „Verfahren veröffentlicht, alle Besatzungen geschult, keine Mängel festgestellt“, stellt Ebene eins und einen Teil von Ebene zwei fest. Er sagt nichts über die Ebenen drei bis fünf aus, die den eigentlichen Kern der Frage darstellen.
Anforderung und Leistung bei Anforderung
Die Messung, die echtes Gewicht trägt, ist ein Verhältnis: von den Gelegenheiten, bei denen der gefährliche Zustand aufgetreten ist, in welchem Anteil hat die Kontrolle die Sequenz wie beabsichtigt unterbrochen. Beide Hälften müssen gezählt werden, und der Zähler ist ohne den Nenner wertlos.
Die Zählung der Anforderungen ist der Teil, den Organisationen überspringen, und es ist meistens der Teil, der verfügbar ist. Eine Anforderung ist ein Vorläufer: der Zustand, den die Kontrolle abfangen soll, unabhängig davon, ob es weiterging. Eine Querkontrolle, die einen falschen Eintrag erkennt, ist eine erfüllte Anforderung. Eine Schutzvorrichtung, die getroffen wird, ist eine erfüllte Anforderung. Ein Warnsystem, das korrekt auslöst, ist eine erfüllte Anforderung. Diese hinterlassen Spuren in Daten, die die Organisation bereits sammelt – Flugdatenüberwachungsereignisse, technische Logbucheinträge, Vorfeldberichte, Korrekturen von Abzeichnungen, der Freitext von Berichten, die aus einem anderen Grund eingereicht wurden.
Sobald Anforderungen gezählt werden, werden drei separate Größen sichtbar, und sie beantworten unterschiedliche Fragen. Eine hohe Anforderungsrate mit hohem Erfolg sagt, dass die Kontrolle stark beansprucht wird und hält – sie sagt auch, dass die zugrunde liegende Gefahr nicht verschwunden ist, was für die Frage wichtig ist, ob die Kontrolle jemals entfernt werden kann. Eine hohe Anforderungsrate mit intermittierendem Erfolg identifiziert genau, wo investiert werden sollte. Und eine Anforderungsrate von null sagt etwas Wichtiges und leicht Misszuverstehendes: Entweder tritt die Gefahr nicht auf, oder die Kontrolle wird nicht in Anspruch genommen, oder niemand zeichnet die Inanspruchnahmen auf. Diese drei erfordern völlig unterschiedliche Reaktionen, und nur Feldarbeit unterscheidet sie.
Der richtige Reflex. Bevor eine Kontrolle implementiert wird, entscheiden Sie, wie eine erfüllte Anforderung in den Daten aussehen wird, und bestätigen Sie, dass sie eine Spur hinterlässt, die jemand abrufen kann. Eine Kontrolle, die unsichtbar arbeitet, kann perfekt eingehalten werden, ohne dass ihre Wirksamkeit je nachgewiesen werden kann. Die Gestaltung für Messbarkeit in diesem Stadium kostet ein Meeting; eine nachträgliche Ergänzung ist in der Regel gar nicht möglich.
Wie eine Messgröße sich fälschlich selbst bestätigt
Die meisten falschen Bestätigungen sind nicht unehrlich. Es sind gewöhnliche statistische und organisatorische Artefakte, die genau wie Erfolg aussehen.

| Muster | Wie es auftritt | Das Indiz |
|---|---|---|
| Null-Ereignis-Falle | „Keine Ereignisse seit der Änderung“ | Die Zeit vor der Änderung enthielt ebenfalls lange Phasen ohne Ereignis |
| Regression zum Mittelwert | Eine Häufung löste die Maßnahme aus; die Rate fiel dann | Die Maßnahme folgte einem ungewöhnlichen Höhepunkt, nicht einem Trend |
| Verschiebung der Melderate | Meldungen fallen oder steigen unmittelbar nach der Implementierung | Die Änderung umfasste Schulungen, Kampagnen oder ein neues Formular |
| Definitionsschwankung | Die Anzahl in der Ereigniskategorie sinkt | Die Taxonomie oder der Schwellenwert wurde im gleichen Zeitraum überarbeitet |
| Expositionsänderung | Absolute Zählungen sinken | Sektoren, Jahreszeiten, Flottenmix oder Netzwerk haben sich ebenfalls geändert |
| Verdrängung | Das Ereignis verschwindet an einem Punkt | Eine verwandte Kategorie wächst irgendwo weiter unten |
| Risikokompensation | Die Barriere funktioniert; die Sicherheitsmarge verbessert sich nicht | Das Verhalten hat sich an den neuen Schutz angepasst |
| Beobachtungseffekt | Linienbeobachtungen zeigen hervorragende Einhaltung | Die Einhaltung wird nur gemessen, wenn jemand zusieht |
Drei dieser Punkte verdienen eine Anmerkung. Regression zum Mittelwert ist die häufigste und die schwerste zu widerlegen, weil Kontrollen fast immer nach einer Häufung eingeführt werden, und auf Häufungen folgen ruhigere Perioden, unabhängig davon, ob etwas unternommen wurde. Die Abhilfe besteht darin, mit einer längeren Basislinie als der Häufung zu vergleichen und den Trend vor dem Höhepunkt zu betrachten, nicht den Höhepunkt selbst.
Verschiebung der Melderate wirkt in beide Richtungen und wird häufig in der günstigen Richtung falsch gelesen. Eine Kontrolle, die mit Kommunikation und Schulung eingeführt wird, erhöht die Aufmerksamkeit, die wiederum die Meldungen erhöht, was den Indikator schlechter aussehen lässt, während das Risiko sinkt. Das Gegenteil tritt ebenfalls auf: Wenn eine Änderung als abschließende Lösung wahrgenommen wird, werden Meldungen desselben Zustands nicht mehr eingereicht, weil die Menschen annehmen, dass sie nicht mehr gewünscht sind. Keine dieser Bewegungen in der Zählung betrifft die Gefahr.
Verdrängung ist diejenige, die echten Schaden verursacht, anstatt nur falsche Sicherheit zu geben. Eine Kontrolle, die eine Aufgabe an einem Ort erschwert, verschiebt die Arbeit oft, anstatt die Gefahr zu beseitigen: ein Schritt, der schwierig wird, wird früher, anderswo oder von jemand anderem erledigt. Die Ereigniskategorie, die die Organisation beobachtet, verbessert sich, und eine andere verschlechtert sich, was in der Regel von einer anderen Abteilung unter einer anderen Überschrift gemeldet wird. Wer nur die Kategorie betrachtet, auf die die Kontrolle abzielte, übersieht dies garantiert.
Schreiben Sie das Falsifizierungskriterium vor der Änderung
Die wirksamste Disziplin, die hier verfügbar ist, kostet nichts und wird selten angewendet: Bevor die Kontrolle implementiert wird, schreiben Sie auf, welches Ergebnis als Versagen gelten würde.
Der Eintrag sollte die Mechanismusaussage in der oben genannten falsifizierbaren Form enthalten; den Anforderungsindikator und wo er abgelesen wird; den Leistungsindikator bei Anforderung; das spezifische Ergebnis, das die Organisation zu dem Schluss führen würde, dass die Kontrolle nicht funktioniert; ein Überprüfungsdatum; und die Bedingungen, unter denen die Kontrolle entfernt würde. Die Festlegung im Voraus, was als Versagen gelten würde, entfernt den Interpretationsspielraum, der sonst bei der Überprüfung auftritt, wenn die Person, die die Kontrolle bewertet, oft die Person ist, die sie vorgeschlagen hat, und die Belege mehrdeutig genug sind, um beide Schlussfolgerungen zu stützen.
Die Entfernungsbedingung ist wichtiger, als es scheint. Kontrollen häufen sich an. Jede Hinzufügung verbraucht Aufmerksamkeit, fügt einen Schritt hinzu und verschlechtert die bereits vorhandenen Kontrollen leicht, indem sie mit ihnen um die gleiche begrenzte operative Kapazität konkurrieren. Eine Organisation, die nie eine Kontrolle entfernt, hat irgendwann ein Verfahren, das niemand vollständig ausführen kann, und an diesem Punkt nehmen die Mitarbeitenden im operativen Betrieb statt des Sicherheitsprozesses die informelle Priorisierung der tatsächlich ausgeführten Schritte vor.
Indikatoren, die das Papier messen
Einige Indikatoren sind beliebt, weil sie einfach zu sammeln sind, und sind leider Messgrößen der Verwaltung statt des Risikos.
| Häufiger Indikator | Was er tatsächlich misst | Stärkere Alternative |
|---|---|---|
| Prozentsatz des Personals, das geschult wurde | Kursbesuch | Beobachtete korrekte Ausführung an einer unangekündigten Stichprobe |
| Verfahren veröffentlicht und überarbeitet | Dokumentensteuerung | Anteil der Stichprobenaufgaben, bei denen das Verfahren vorhanden und aktuell ist, wenn die Aufgabe durchgeführt wird |
| Anzahl der Audits ohne Feststellungen | Auditumfang und -tiefe | Zeit zur Wiederherstellung der Kontrolle, nachdem sie als nicht betriebsbereit gefunden wurde |
| Vorkommnisse des Zieltyps | Meldeverhalten und Exposition | Anforderungen an die Kontrolle und der Anteil, der erfüllt wurde |
| Sicherheitsmaßnahmen, die rechtzeitig abgeschlossen wurden | Projektmanagement | Punkte, die wiedereröffnet wurden, weil die Kontrolle nicht gehalten hat |
Nichts in der linken Spalte ist wertlos. Schulungsabschluss und Dokumentenlenkung sind echte Verpflichtungen und gehören in das Managementsystem. Der Fehler besteht darin, sie unter Wirksamkeit zu erfassen, wo sie eine Frage beantworten, die niemand gestellt hat.
Was diese Woche im Feld überprüft werden kann
Fünf Überprüfungen erfordern keine neue Datenerfassung und können an jeder Kontrolle durchgeführt werden, die physisch oder prozedural vorhanden ist.
- Prüfen Sie unangekündigt. Suchen Sie ohne Vorankündigung eine zufällige Stichprobe der Orte auf, an denen die Kontrolle vorhanden sein sollte, und stellen Sie fest, ob sie vorhanden und betriebsbereit ist. Bei einer technischen Barriere ist dies wörtlich zu nehmen. Bei einer prozeduralen Barriere bedeutet dies, dass überprüft wird, ob das Dokument, das Werkzeug oder die zweite Person, die das Verfahren voraussetzt, tatsächlich zum Zeitpunkt der Durchführung der Aufgabe verfügbar ist.
- Suchen Sie nach der Umgehung. Eine umgangene Kontrolle hinterlässt physische Spuren: ein blockierter Sensor, eine entfernte und nicht wieder angebrachte Schutzvorrichtung, eine umgangene Verriegelung, eine laminierte Zusammenfassungskarte, die dem offiziellen Verfahren widerspricht, ein Schritt, der konsequent zusammen mit dem folgenden Schritt abgenommen wird. Diese Spuren sind genau deshalb informativ, weil niemand sie für den Auditor erstellt hat.
- Lassen Sie es sich zeigen, nicht erzählen. Die Frage „Was sagt das Verfahren?“ testet das Gedächtnis. Die Frage „Zeigen Sie mir, wie Sie dies gemacht haben“ testet die Kontrolle. Die Lücke zwischen den beiden Antworten ist die echte Messung, und sie erscheint nur, wenn die Übung keine Konsequenzen hat – was bedeutet, dass die Bedingungen, unter denen die Beobachtung durchgeführt wird, Teil ihrer Gültigkeit sind.
- Messen Sie die Wiederherstellungszeit. Wenn die Kontrolle als nicht betriebsbereit oder nicht verfügbar gefunden wird, wie lange bleibt sie in diesem Zustand? Eine Barriere, deren Instandsetzung wochenlang zurückgestellt wird, ist seltener verfügbar, als die Organisation glaubt, und die Rückstellungsaufzeichnungen geben eine direkt nutzbare Verfügbarkeitszahl ohne neue Instrumentierung.
- Fragen Sie, wann sie zuletzt im Weg war. Menschen, die täglich mit einer Kontrolle arbeiten, wissen genau, wann sie lästig war, und die Antwort unterscheidet eine Kontrolle, die mit dem Betrieb interagiert, von einer, die inert ist. Eine Kontrolle, die nie einmal ein Hindernis war, ist womöglich nie in Anspruch genommen worden.
Wenn die ehrliche Antwort lautet, dass man es noch nicht wissen kann
Einige Kontrollen können innerhalb des Überprüfungszeitraums nicht als wirksam nachgewiesen werden, und das Feststellen, dass dies der Fall ist, ist ein besseres Ergebnis, als eine Bestätigung zu erfinden. Ein Eintrag, der besagt „Die Kontrolle ist vorhanden, wird in den Stichprobenfällen korrekt verwendet, wurde noch nicht in Anspruch genommen und kann erst in der nächsten Überprüfung auf Wirksamkeit bewertet werden“, ist genau, handlungsrelevant und sicher. Ein Eintrag, der besagt „wirksam, keine Ereignisse“, ist keines dieser Dinge, und er ist schlimmer als Schweigen, weil die nächste Person ihn als Verifizierung liest und aufhört, nachzusehen.
Die Ereignismeldung gemäß Verordnung (EU) 376/2014 liefert einen Teil des Rohmaterials für diese Arbeit, aber nur den Teil, der die Meldegrenze überschreitet. Die Anforderungen, die eine Kontrolle unbemerkt erfüllt, sind selten meldepflichtig, was der Grund ist, warum sie absichtlich erfasst werden müssen, und warum einer Organisation, die sich ausschließlich auf den verpflichtenden Meldeweg verlässt, dauerhaft genau die Belege fehlen, die sie am meisten benötigt. Praktiker, die vergleichen, wie ihre Organisationen dies handhaben, halten die Diskussion in den professionellen FL330-Foren für lohnend.

Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.