Jede Fachmesse zeigt dieselbe Folie: einen Vibrationsverlauf, einen roten Marker zwei Wochen vor dem Ausbau, eine Legende, die besagt, dass der Ausfall vorhergesagt wurde. Niemand im Raum widerspricht, denn es gibt nichts zu widersprechen – das Ereignis ist real und der Algorithmus hat es korrekt gemeldet. Die Folie beantwortet einfach eine Frage, die sich kein Instandhaltungsbetrieb stellt: ob der Ausfall in bereits vorhandenen Daten erkannt werden konnte. Die Fragen, die der Betreiber tatsächlich beantworten muss, lauten: Was meldet derselbe Detektor in den Tausenden von Flugzeugwochen, in denen alles in Ordnung war, wer darf die Daten lesen, mit denen er arbeitet, und was darf all das im genehmigten Wartungsprogramm ändern?
Die Demonstration ist der einfachste Teil des Problems
Eine rückwirkende Demonstration wird rückwärts aufgebaut. Das Ereignis ist bekannt, das Luftfahrzeug ist bekannt, der Parameter, der variiert hat, ist bekannt, und der Detektor wird angepasst, bis der Marker dort platziert ist, wo die Geschichte es erfordert. Nichts davon ist unehrlich – so wird ein Merkmal zunächst gefunden. Es hat jedoch keinen Wert als Beweis für den betrieblichen Nutzen, denn jede Wahl in der Kette wurde mit einem Wissen getroffen, das die Werkstatt am Morgen, an dem der Alarm eintrifft, nicht besitzen wird.
Zwei Mechanismen verdienen Erwähnung, da sie selbst in seriös wirkenden Validierungsarbeiten fortbestehen. Der erste ist die Auswahl: die Stichprobe wird aus Luftfahrzeugen gezogen, die einen Ausfall erlitten haben, daher wird der Detektor immer nur mit der einfachen Hälfte der Frage konfrontiert. Der zweite ist das Datenleck (Leakage), bei dem sich die Information über das Ergebnis in die Eingaben einschleicht – ein Parameter, der nur existiert, weil bereits eine Fehlersuche eröffnet wurde, ein Datenfenster, das sich diskret über den Ausbau hinaus erstreckt, ein Schwellenwert, der nach dem Betrachten des Testdatensatzes festgelegt wird. Das Datenleck bläht die scheinbare Leistung auf, ohne dass es jemand beabsichtigt, und es ist in einem Konferenzraum unsichtbar.
Die ehrliche Version der Demonstration ist langweilig und deutlich teurer: den Detektor prospektiv laufen lassen, auf einer Flotte, die er noch nie gesehen hat, über einen ausreichend langen Zeitraum, um sowohl Ausfälle als auch die deutlich größere Anzahl von Nicht-Ausfällen zu enthalten, und alles zählen, was er gesagt hat. Dies ist die einzige Messung, die vorhersagt, was die Werkstatt erhalten wird.
Eine rückwirkende Demonstration ist wie ein Kriminalfall, bei dem der Täter schon bekannt ist. Sie zeigt nicht, ob das System in der Praxis funktioniert, sondern nur, ob es nachträglich angepasst werden kann. Echte Tests müssen auf unbekannten Daten laufen, um zu zeigen, wie viele Fehlalarme tatsächlich entstehen.
Angenommen, ein Detektor wird auf einer Flotte von 20 Airbus A320 getestet. In einem Jahr gibt es 10 Ausfälle. Der Detektor meldet 9 davon korrekt (90 % Sensitivität), aber auch 50 Fehlalarme. Die Werkstatt muss dann 55 Alarme prüfen, um 9 echte Defekte zu finden – ein enormer Aufwand für wenig Nutzen.
Die Grundraten bestimmen, was die Werkstatt tatsächlich erhält
Der Grund, warum ein guter Detektor eine Halle trotzdem überfluten kann, hat nichts mit der Qualität des Modells zu tun. Es ist eine Frage der Arithmetik und hängt von der Seltenheit des Ausfalls ab. Nehmen wir eine Flotte von hundert Luftfahrzeugen, einen Ausfallmodus, der zwanzigmal pro Jahr auftritt, und einen Detektor, der einmal pro Woche pro Luftfahrzeug bewertet wird. Das ergibt 5.200 Gelegenheiten, Alarm zu geben, von denen zwanzig echt sind.
| Menge | Detektor A | Detektor B |
|---|---|---|
| Gelegenheiten pro Jahr (100 Luftfahrzeuge, wöchentlich) | 5.200 | 5.200 |
| Echte Ereignisse in der Periode | 20 | 20 |
| Sensitivität (erfasste echte Ereignisse) | 90 % – 18 erfasst | 90 % – 18 erfasst |
| Fehlalarmrate bei Nicht-Ereignissen | 5 % | 0,35 % |
| Erzeugte falsche Alarme | 259 | 18 |
| Anteil der Alarme, die echt sind | ca. 6 % | ca. 50 % |
| Untersuchungen pro echtem Befund | ca. 15 | 2 |
Beide Detektoren erfassen neun von zehn Ausfällen. Die Marketingdokumente beschreiben beide als 90 % genau. Einer von ihnen veranlasst die Werkstatt, fünfzehn Untersuchungen durchzuführen, um einen Defekt zu finden; der andere verlangt zwei. Der Unterschied zwischen ihnen liegt nicht in der Sensitivität, die die Demonstrationen zeigen, sondern in der Fehlalarmrate bei der riesigen Population gesunder Luftfahrzeuge, die Demonstrationen fast nie zeigen, da dies die langweilige Hälfte des Datensatzes erfordert.
Deshalb ist die nützliche Frage auf einem Stand nie erkennt er. Sie lautet: über welchen Zeitraum, auf wie vielen Luftfahrzeugen, wie viele Alarme hat er insgesamt ausgelöst, und wie viele davon haben zu einem bestätigten Befund geführt. Wenn die Antwort ein Prozentsatz statt zweier absoluter Zahlen ist, wurde dies nicht im Betrieb gemessen.
Die Falle. Ein Detektor, der mit 95 % Genauigkeit für ein seltenes Ereignis zitiert wird, ist im Allgemeinen schlimmer als nutzlos: ein Modell, das alles in Ordnung jedes Mal sagt, hätte eine Quote von über 99 % auf derselben Flotte. Die Genauigkeit ist bedeutungslos, wenn die Klassen unausgewogen sind. Fragen Sie nach den Alarmzahlen und den bestätigten Befunden, niemals nach einer einzigen plakativen Prozentzahl.
Ein Alarm ist nur in einem Planungsfenster nützlich
Eine Vorhersage, die vier Tage vor dem Ausfall eintrifft, ist ein AOG mit zusätzlicher Bürokratie. Eine Vorhersage, die vier Monate zu früh eintrifft, führt zum Ausbau eines Teils mit verbleibender Restlebensdauer – genau die Verschwendung, die die zustandsabhängige Instandhaltung beseitigen sollte. Der Wert einer Vorhersage liegt in einem begrenzten Fenster, das auf der einen Seite durch die Zeit bestimmt wird, die benötigt wird, um das Teil, einen Slot, ein qualifiziertes Team und, falls erforderlich, die Zustimmung der Behörde zu erhalten, und auf der anderen Seite durch den Punkt, an dem ein frühes Handeln mehr kostet, als das ungeplante Ereignis gekostet hätte.
Dieses Fenster ist kein Merkmal des Algorithmus. Es ist ein Merkmal des Betreibers: Ersatzteilpolitik, Netzstruktur, ob das Flugzeug nachts an einer Station mit Wartungskapazität steht, vertragliche Reparaturdurchlaufzeiten, wie weit im Voraus der Wartungsplan eingefroren wird. Dasselbe Alarmfenster, das für eine Langstreckenflotte, die auf einem Hub basiert, bequem ist, ist für einen Regionalbetreiber, dessen Flugzeuge nur alle zwei Wochen an eine Station mit Wartungskapazität kommen, nutzlos. Ein Anbieter, der die Verteilung der Vorlaufzeiten seiner Alarme nicht angeben kann – nicht den Durchschnitt, die Streuung – hat die Kundenbeschränkung nicht bedacht.
Die Gegenfrage ist die Geschwindigkeit des Verschlechterungsprozesses. Manche Ausfallmodi schreiten langsam und vorhersehbar genug voran, dass ein Trend einen Sinn ergibt; andere werden von einem zufälligen Auslöseereignis dominiert, und keine noch so lange Historie sagt sie voraus. Zu entscheiden, zu welcher Kategorie ein bestimmter Ausfallmodus gehört, ist Zuverlässigkeitstechnik, keine Datenwissenschaft, und dies ist der am häufigsten übersprungene Schritt.
Was ein Alarm ändern darf
Hier trifft der Enthusiasmus auf die genehmigten Dokumente. Das Wartungsprogramm eines Betreibers ist ein genehmigtes Dokument. Im europäischen Rahmen leiten sich die Aufgaben und Intervalle aus den Wartungsplanungsdaten des Herstellers ab, die wiederum durch die branchenweite Analyse MSG-3 und durch das Maintenance Review Board konsolidiert werden, und das Programm des Betreibers wird von der zuständigen Behörde oder nach einem mit ihr vereinbarten Verfahren genehmigt. Ein Anbieteralgorithmus liegt außerhalb dieser Kette, bis jemand ihn einbindet.
Praktisch kann ein Alarm eine von mehreren sehr unterschiedlichen Positionen einnehmen, und der Vertrag muss festlegen, welche:
- Nur zur Information. Der Alarm erzeugt eine interne Ingenieursbenachrichtigung. Keine genehmigte Aufgabe bewegt sich, kein Intervall ändert sich, und das Luftfahrzeug bleibt nach dem bestehenden Programm lufttüchtig. Hier beginnt fast jede Implementierung, und es ist nicht falsch, hier zu bleiben.
- Auslöser für eine bestehende Aufgabe. Der Alarm veranlasst die Durchführung einer bereits genehmigten Inspektion oder Funktionsprüfung, früher als das Intervall es erfordert. Nichts Neues wird erfunden; nur der Zeitpunkt ändert sich. Einfach, und die Dokumentation existiert bereits.
- Anrechnung im Programm. Die Überwachung ersetzt oder verlängert eine geplante Aufgabe. Dies ändert das genehmigte Programm und erfordert die Daten des Herstellers und die Zustimmung der Behörde. Dies ist auch der einzige Fall, in dem das prädiktive System die Kosten des Programms tatsächlich reduziert, anstatt eine Untersuchungslast hinzuzufügen.
- Lufttüchtigkeitsbedingt. Wenn eine Aufgabe existiert, weil eine Lufttüchtigkeitsrichtlinie oder eine zulassungsbedingte Wartungsanforderung (CMR) sie erfordert, ersetzt die Überwachung sie nicht schon deshalb, weil ein Anbieter von ihr überzeugt ist.
Der Unterschied hat kommerzielle Bedeutung. Ein System in den ersten beiden Positionen ist ein Produktivitätstool, dessen Nutzen in vermiedenen Störungen gemessen wird. Nur der dritte reduziert die geplante Arbeit, und nur der dritte erfordert einen Nachweis gegenüber der Behörde – den der Anbieter möglicherweise nicht bereit ist zu erstellen, und der selten zum auf dem Stand angegebenen Preis gehört.
Der richtige Reflex. Bevor über den Preis gesprochen wird, notieren Sie, welche der vier oben genannten Positionen der Alarm in Ihrer Organisation vom ersten Tag an einnehmen wird, und wer in der CAMO unterschreibt, wenn er ausgelöst wird. Wenn niemand diese Person benennen kann, wird das Pilotprojekt in einem E-Mail-Postfach enden, das niemand liest.
Der Zugriff auf die Daten ist eine vertragliche, keine technische Frage
Die prädiktive Wartung basiert auf Daten, die bereits existieren und bereits Eigentümer, Verwahrer und rechtliche Beschränkungen haben. Flugaufzeichnungen, Zustandsüberwachungsparameter, übertragene Wartungsmeldungen, technische Logbucheinträge, Ausbauhistorie der Komponenten, Werkstattbefunde: Jede Quelle hat einen anderen Ursprung und einen anderen Satz von Regeln. Sie in einer Anbieterplattform zusammenzuführen, ist eine Übertragung von etwas Wertvollem, und dies verdient die gleiche Prüfung wie eine Vereinbarung über Ersatzteile.
| Frage | Warum dies das Ergebnis bestimmt | Wo dies geregelt werden muss |
|---|---|---|
| Welche Parameter das Luftfahrzeug verlassen, mit welcher Häufigkeit und über welche Verbindung | Bestimmt, was das Modell jemals sehen kann, und die laufenden Übertragungskosten | Technischer Anhang, mit festgeschriebenem Umfang |
| Wer die Rohdaten im Gegensatz zu abgeleiteten Indikatoren lesen darf | Die aufgezeichneten Rohdaten können eine Besatzung und einen bestimmten Flug identifizieren; die Indikatoren in der Regel nicht | Datenschutzklausel und Flugdatenrichtlinie des Betreibers |
| Ob der Anbieter die Flottendaten zur Verbesserung der an andere verkauften Modelle wiederverwenden darf | Üblich, oft stillschweigend und manchmal akzeptabel – aber dies sollte eine Entscheidung sein | Lizenz- und Wiederverwendungsvereinbarung |
| Was zurückgegeben wird, wenn der Vertrag endet | Ohne Portabilität bleiben fünf Jahre Historie beim Anbieter, und der Betreiber startet bei null | Ausstiegsklausel, mit Format und Frist |
| Aufbewahrungsfristen und Löschung | Abgestimmt auf die Aufbewahrungsregeln des Betreibers und seine rechtlichen Verpflichtungen | Aufbewahrungsplan |
| Ob die Alarmlogik geprüft werden kann oder eine Blackbox ist | Bestimmt, ob man der Behörde jemals einen Antrag auf Anrechnung vorlegen kann | Transparenzklausel |
Die Frage der Identifizierbarkeit der Besatzung verdient besondere Erwähnung. Wenn der Betreiber ein Flugdatenanalyseprogramm betreibt, beruht seine gesamte Legitimität – im Rahmen der ICAO und des Sicherheitsmanagementsystems des Betreibers – auf der nicht-strafenden Nutzung und der kontrollierten Deidentifizierung. Die Weiterleitung derselben Daten in eine Wartungsanalyseplattform mit einer anderen Benutzergruppe und einem anderen Vertrag kann die Schutzmaßnahmen stillschweigend brechen, die das Programm für die Besatzungen überhaupt erst akzeptabel gemacht haben. Dies ist ein Gespräch, das mit der Sicherheitsabteilung und den Besatzungsvertretern vor dem Pilotprojekt geführt werden sollte, nicht nachdem jemand es bemerkt hat.
Der Anreiz, den niemand auf eine Folie setzt
Fragen Sie, wer für einen Fehlalarm zahlt. In vielen Verträgen lautet die Antwort der Betreiber: die Untersuchung, der Ausbau, der Werkstattbesuch, das Leihteil, die Störung des Zeitplans. Der Anbieter riskiert lediglich seinen Ruf. Diese Asymmetrie treibt die Schwelle in eine Richtung – zur Sensitivität, denn ein verpasster Ausfall ist sichtbar und wird kritisiert, während hundert stille Fehlalarme wie Sorgfalt aussehen.
Die Asymmetrie verschärft sich, wenn dieselbe Gruppe den Alarm und das Ersatzteil verkauft. Niemand muss böswillig handeln, damit das Ergebnis abweicht; eine leicht konservativ festgelegte Schwelle, wiederholt, erzeugt eine Ausbaurate, die einer Partei besser passt als der anderen. Das Gegengewicht ist die Messung: eine Rate von NFF bei den vom System ausgelösten Ausbauten im Vergleich zur NFF-Rate bei den auf herkömmliche Weise ausgelösten Ausbauten, und eine durchschnittliche Zeit zwischen nicht geplanten Entnahmen im selben Zeitraum. Wenn ein prädiktives System funktioniert, sollten die ungeplanten Ausbauten abnehmen und der Anteil der bestätigten Alarme sollte steigen. Wenn die Ausbauten zunehmen und die Befunde nicht, verkauft das System Teile.
Ein Vertrag, der auf Verfügbarkeit basiert, kann den Anreiz umkehren, da der Anbieter dann die Kosten sowohl für den Ausfall als auch für den unnötigen Ausbau trägt. Wenn er so formuliert ist, ist diese Ausrichtung mehr wert als jede Genauigkeitsangabe.
Erst im Schattenbetrieb laufen lassen, bevor es die Werkstatt steuert
Die vertretbare Art, ein prädiktives System einzuführen, besteht darin, es lange genug ins Leere sprechen zu lassen, um es auszählen zu können. In einer Schattenbetrieb werden die Alarme aufgezeichnet, zeitlich erfasst und mit dem tatsächlich Geschehenen abgeglichen, lösen aber keine Wartungsmaßnahme aus. Dies kostet ein Abonnement und etwas Ingenieursaufmerksamkeit und liefert die beiden Zahlen, die keine Demonstration liefern kann: wie viele Alarme pro Luftfahrzeug pro Monat und welcher Anteil davon einem Befund entsprach.
Einige Gestaltungsmerkmale rechtfertigen die Verzögerung durch die Schattenphase. Die Schwellenwerte vor Beginn des Zeitraums festlegen und deren Anpassung während des Prozesses widerstehen, sonst ist das Ergebnis eine weitere rückwirkend angepasste Demonstration. Die am wenigsten repräsentativen Luftfahrzeuge einbeziehen – die ältesten Zellen, den abweichenden Triebwerksstandard, diejenigen, die dort stationiert sind, wo die Umgebung schwierig ist – denn an der Heterogenität scheitern flottenweite Modelle. Auch die Nicht-Alarme aufzeichnen, damit ein Ausfall, bei dem das System still war, gezählt wird, anstatt vergessen zu werden. Und im Voraus vereinbaren, welche Zahl die Einführung zu einem Misserfolg machen würde, denn ein nachträglich festgelegter Schwellenwert wird immer erreicht.
Betreiber, die sich über das tatsächliche Verhalten dieser Einführungen im Betrieb austauschen, werden mehr Offenheit in einer Diskussion unter Gleichgesinnten finden als in einer Fallstudie des Anbieters; in den Foren von FL330 findet dieser Austausch zwischen Wartungs- und Ingenieurpersonal statt.
Was man vor dem Verlassen des Stands fragen sollte
| Frage | Antwort, die nichts bedeutet | Antwort, der man nachgehen sollte |
|---|---|---|
| Wie viele Alarme hat das System im letzten Jahr bei Ihrem gesamten Kundenstamm ausgelöst? | Unsere Erkennungsrate liegt über 90 % | Eine Anzahl, eine Flottengröße und ein Zeitraum, mit dem Anteil der bestätigten Befunde |
| Wie groß ist die Vorlaufzeit zwischen Alarm und Ausfall? | Wochen im Voraus | Eine Verteilung, einschließlich der sehr kurzen Vorlaufzeiten und der sehr frühen Alarme |
| Hat eine Behörde diese Überwachung als Anrechnung im Programm akzeptiert? | Wir arbeiten mit den Aufsichtsbehörden zusammen | Ein konkreter Fall oder eine klare Aussage, dass es sich nur um Hinweise handelt |
| Was passiert mit unseren Daten, wenn wir gehen? | Ihre Daten gehören Ihnen | Ein Format, eine Frist und ein Löschungsversprechen in der Ausstiegsklausel |
| Wer trägt die Kosten eines nicht bestätigten Ausbaus? | Fehlalarme sind selten | Ein Kostenaufteilungsmechanismus oder ein Verfügbarkeitsvertrag |
| Können wir die Alarmlogik sehen? | Sie ist proprietär | Dokumentierte Merkmale, Schwellenwerte und Änderungsprotokoll |
Nichts davon ist ein Argument gegen prädiktive Wartung. Die Zustandsüberwachung hat feste Intervalle für einen großen Teil des Inhalts eines Triebwerks seit langem ersetzt, und es funktioniert. Es zeigt nur, dass man nicht die Erkennung kauft – die Erkennung ist der einfache Teil und wurde vor Jahren nachgewiesen. Was man kauft, ist eine Fehlalarmrate, die die Werkstatt absorbieren kann, eine Vorlaufzeit, die zum Netz passt, eine definierte Position in einem genehmigten Programm und ein Satz von Rechten an den Daten, die das Vertragsende überdauern. Alle vier sind vertraglich zu regeln, und keines davon ist auf der Folie mit dem roten Marker sichtbar.


Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.