Zwei Prüfer beobachten denselben Durchstarten im Simulator. Der eine stuft die Arbeitslastenbewältigung auf ein höheres Niveau ein, der andere hält sie gerade noch für akzeptabel. Keiner von beiden hat falsch gesehen: Sie haben unterschiedliche Interpretationen des Bewertungsschemas. Solange die Kontrolle Toleranzen maß — eine gehaltene Achse, eine Höhe, eine Zeit —, blieb die Abweichung zwischen den Bewertern marginal. Seit die Bewertung Kommunikation, Entscheidungsfindung oder Führung betrifft, ist die Bewertungsscheibe selbst zu einem eigenständigen Sicherheitsgegenstand geworden: Ein schlecht kalibriertes Schema erzeugt unhaltbare Bewertungen und Kontrollentscheidungen, die einer Anfechtung nicht standhalten.
Verhalten bewerten, niemals Persönlichkeit
Die ersten Generationen der Kompetenzbewertung von Flugbesatzungen bewerteten einen Eindruck: « guter Teamgeist », « natürliche Führungsqualitäten ». Doppelte Sackgasse. Der Eindruck ist nicht anfechtbar — man kann ein Charaktermerkmal nicht nachbesprechen — und er ist nicht nutzbar: Er sagt nicht, was trainiert werden soll. Die aktuellen Rahmenbedingungen, die aus europäischen Arbeiten zur Bewertung nicht-technischer Kompetenzen von Besatzungen stammen und durch den OACI-Kompetenzenrahmen generalisiert wurden, basieren auf einer vollständigen Umkehrung: Es wird nicht eine Qualität bewertet, sondern beobachtbare Verhaltensweisen, beschrieben durch Handlungsverben. « Er gibt die Abweichung sofort bekannt, sobald er sie erkennt. » « Er verteilt die Aufgaben vor dem Punkt hoher Belastung. » « Er verbalisiert seine Absicht, bevor er die Automatismen bedient. »
Ein gut formulierter Indikator hat drei Eigenschaften. Er ist beobachtbar: Kein mentaler Zustand, keine vermutete Absicht. Er ist faktisch: beschrieben ohne Adjektive, also direkt in einem Sitzungsprotokoll festhaltbar. Er ist datierbar: einem bestimmten Zeitpunkt zuzuordnen, was es ermöglicht, ihn wiederzufinden — auf einem Video, in den Simulatordaten, in den Notizen des anderen Beobachters. Die gesamte nachfolgende Mechanik — Bewertungsschema, Kalibrierung, Anfechtung — basiert auf dieser Maßeinheit und bricht zusammen, wenn sie unscharf ist.
Eine Bewertung ist nicht einfach eine Zahl, sondern das Ergebnis mehrerer Schritte: Zuerst werden Fakten gesammelt, dann werden sie interpretiert und schließlich in eine Note umgewandelt. Jeder Schritt muss nachvollziehbar sein, sonst ist die Bewertung nicht fair.
Ein Pilot im Simulator (z.B. Airbus A320) erkennt eine Geschwindigkeitsabweichung und teilt sie sofort mit (beobachtbares Verhalten). Ein Prüfer notiert dies um 14:32 Uhr. Später wird dieses Verhalten als Indikator für „Kommunikation“ bewertet. Ohne diese genaue Dokumentation wäre die Bewertung nur eine Meinung.
Die Abbildung oben zeigt das Wesentliche des Problems: Die Bewertung ist das Ende einer Kette von Schlussfolgerungen, keine Instrumentenablesung. Der Prüfer filtert, was er beibehält, interpretiert es als Indikatoren, aggregiert die Indikatoren zu einer Kompetenz, wandelt die Kompetenz in eine Stufe um. Eine verteidigbare Bewertung ist eine Bewertung, die man rückwärts aufrollen kann, von der Zahl bis zu den zeitlich festgelegten Fakten. Eine nicht verteidigbare Bewertung ist eine Bewertung, bei der ein Glied fehlt — und das ist fast immer das erste: die Fakten.
Was eine Bewertungstabelle tatsächlich enthält
Eine im Einsatz befindliche Tabelle überlagert drei Schichten: die Kompetenzen — eine Handvoll, bemerkenswert stabil von einem Betreiber zum anderen —, die Verhaltensindikatoren, die sie aufschlüsseln, und eine Skala mit einigen Stufen, von denen jede durch ein Leistungsprofil beschrieben wird. In der Skala verbirgt sich die schwerwiegendste Doktrinwahl, denn zwei Logiken streiten sich um den Platz.
| Lecture | Kriterienbasierte Skala | Échelle normative |
|---|---|---|
| Gestellte Frage | Sind die erwarteten Verhaltensweisen vorhanden, und wie häufig? | Wo liegt die Leistung im Vergleich zu dem, was auf dieser Stufe erwartet wird? |
| Point fort | Klare Untergrenze: Das Akzeptable ist durch Fakten definiert | Differenziert das obere Spektrum, nützlich zur Ausrichtung des Trainings |
| Point faible | Drückt das obere Ende der Skala zusammen: Alles „Konforme“ gleicht sich | Hängt von der eigenen Referenzpopulation jedes Prüfers ab |
| Typische Abweichung | Verkappte binäre Bewertung | Milde oder Strenge je nach Erfahrung des Bewertenden |
| Usage dominant | Bestehensschwelle, Prüfungsentscheidung | Obere Stufen des Bewertungsbogens, Ausrichtung des Trainings |
Die meisten im Einsatz befindlichen Bewertungsschemata verbinden beide: einen kritischen Boden — das Akzeptable ist durch vorhandene oder fehlende Verhaltensweisen definiert, nicht durch einen Vergleich — und höhere, bewertende Stufen, die weniger zur Kontrollentscheidung dienen, sondern zur Ausrichtung des Trainings. Zu wissen, in welcher Logik man zu einem bestimmten Zeitpunkt bewertet, ist die erste Kompetenz des Bewerters: Ein großer Teil der Bewertungsdifferenzen sind tatsächlich Differenzen in der Skalenlogik.
Bleibt der Boden selbst. In der Tradition der historischen Methoden zur Bewertung nicht-technischer Kompetenzen erfordert eine negative Bewertung mehr als ein isoliertes Faktum: die Wiederholung des Verhaltens und seine Zuordnung zu einer beobachtbaren Konsequenz für die Flugdurchführung. Diese doppelte Sicherung schützt beide Parteien — den Kandidaten vor einer aufgebauschten Anekdote, den Prüfer vor dem Vorwurf der Willkür.
Die Kalibrierung: Übereinstimmung zwischen Prüfern herstellen
Eine gute Tabelle reicht nicht aus. Geben Sie dieselbe aufgezeichnete Sitzung an zehn qualifizierte Prüfer, ohne weitere Vorbereitung: Die Streuung der Bewertungen überrascht immer beim ersten Mal — nicht, weil einige schlecht beobachten, sondern weil jeder die Indikatoren mit seiner eigenen Linien- und Ausbildungsvorgeschichte gewichtet. Die Übereinstimmung zwischen Bewertern ist kein mit der Qualifikation erworbener Zustand: Es ist ein Wartungsprodukt.

Der Kreislauf ist einfach und anspruchsvoll. Eine Referenzsitzung, unabhängig von jedem bewertet; eine Messung der Abweichungen, Indikator für Indikator, archiviert; eine Diskussion, die nicht nach weichem Konsens sucht, sondern nach der Ursache jeder Abweichung — unterschiedliche Lesart eines Indikators, unterschiedliche Gewichtung desselben Faktums oder ein Faktum, das von einem gesehen und vom anderen nicht gesehen wurde; schließlich ein gemeinsamer Referenzrahmen, der als Gedächtnis für die nächste Sitzung dient. Das Ziel ist nicht die identische Bewertung: Es ist, dass zwei Prüfer, die divergieren, ihre Divergenz anhand der Tabelle und nicht anhand ihrer Gewohnheiten erklären können.
Zwischen zwei Übereinstimmungssitzungen wird die Überwachung statistisch. Jeder Prüfer hat ein Bewertungsprofil — Durchschnitt, Streuung, Korrelation zwischen Kompetenzen — und dieses Profil ist eine Signatur. Ein Durchschnitt, der sich dauerhaft von dem der Kollegen entfernt, signalisiert eine etablierte Nachsichtigkeit oder Strenge; eine Streuung, die zusammenbricht, signalisiert einen Prüfer, der nicht mehr entscheidet; zu stark korrelierte Spalten signalisieren einen Halo-Effekt. Keines dieser Signale verurteilt: Jedes eröffnet ein Gespräch, idealerweise, bevor Kandidaten darunter leiden.
Klassische Abweichungen und ihre Signaturen
Keine Bewertungsabweichung ist originell. Alle sind beschrieben, alle sind messbar, und alle tauchen wieder auf, sobald man aufhört, sie zu verfolgen — denn keine geht auf bösen Willen zurück: Es sind normale kognitive Einsparungen, die die Müdigkeit eines Simulatortages verschlimmert.
| Verzerrung | Signatur in den Noten | Contre-mesure |
|---|---|---|
| Halo-Effekt | Stark korrelierte Kompetenzen: Eine Stärke zieht alle Spalten mit | Kompetenz für Kompetenz anhand getrennter Fakten bewerten |
| Tendance centrale | Die mittlere Stufe nimmt nahezu alle Noten auf | Für die mittlere Stufe ebenso wie für die Extreme ein Wortprotokoll verlangen |
| Milde oder Strenge | Mittelwert dauerhaft von dem der Kollegen abweichend | Durchsicht der Bewertungsprofile, Abstimmungssitzungen |
| Rezenz | Die Note spiegelt das letzte Viertel der Sitzung wider | Zeitgestempelte Fakten während der Sitzung, zeitversetzte Bewertung |
| Contamination technique | Ein gelungener Anflug „erkauft“ die nichttechnischen Noten | Erfassung der Parameter von der Erfassung der Verhaltensweisen trennen |
Die in der Praxis kostspieligste ist weder der Halo-Effekt noch die Nachsichtigkeit: Es ist die Rezenz, weil sie das Faktenglied angreift. Eine Kontrollsitzung dauert Stunden; das Gedächtnis des Bewerters gibt nicht ein einheitliches Bild wieder, sondern eine U-Kurve — der Anfang prägt, das Ende drückt, die Mitte verblasst. Gerade in der Mitte der Sitzung spielen sich aber die Routinekommunikation, die Aufrechterhaltung der Aufgabenverteilung und die Arbeitslastenbewältigung außerhalb der Spitzen — die Kompetenzen, die die Tabelle gerade erfassen will.
Die Falle: Bewertung aus dem Gedächtnis im Debriefing. Eine nachträglich ausgefüllte Tabelle ist nicht von der Sitzung ausgefüllt: Sie ist von dem ausgefüllt, was das Gedächtnis davon behalten hat — der Anfang, das Ende und das spektakulärste Ereignis. Der Prüfer glaubt, die Sitzung noch einmal zu sehen; er sieht seine U-Kurve. Und wenn der Kandidat widerspricht, gibt es nichts, was man entgegensetzen könnte: keine Fakten, keine Uhrzeit, keinen Indikator — einen Eindruck, genau das, was die Tabelle eliminieren sollte.
Die Bewertung als Rohmaterial für das Training
In einem auf Beweisdaten basierenden Ausbildungsprogramm endet die Bewertung nicht in einer Akte: aggregiert und anonymisiert, leitet sie die folgenden Module — die Kompetenzen, deren Bewertungen auf Flottenebene sinken, werden zu den Prioritäten des Programms. Diese Schleife ändert die Kosten einer nachsichtigen Bewertung. Sie verfälscht nicht nur eine individuelle Akte: Sie entzieht dem System sein Signal und lässt eine ganze Flotte auf den falschen Schwächen trainieren.
Das Debriefing ist die andere Hälfte der Bewertung. Eine Bewertung wird akzeptiert, wenn sie erklärt wird, und sie wird erklärt, wenn der Prüfer datierte Fakten auf den Tisch legen kann, die der Kandidat anerkennt — genau das, was eine Notiz in Indikatorensprache produziert. Umgekehrt hat ein Debriefing, das mit der Zahl beginnt, bereits verloren: Alles, was folgt, ähnelt einer Rechtfertigung.
Der richtige Reflex: Datenerfassung und Bewertung trennen. Während der Sitzung nichts bewerten — datierte Fakten in Indikatorensprache festhalten: « gibt die Geschwindigkeitsabweichung nicht bekannt, zwei Vorkommnisse im Steigflug ». Nach der Sitzung Kompetenz für Kompetenz bewerten, beginnend mit denen, die am wenigsten im Gedächtnis geblieben sind. Wenn die Fakten für die Bewertung fehlen, ist es die Notizenerfassung, die bei der nächsten Sitzung korrigiert werden muss — niemals die Bewertung, die man erfinden muss.
Was in Ihrem eigenen System überprüft werden muss
Vier Fragen reichen aus, um die Reife eines Bewertungssystems zu beurteilen, und sie stellen sich sowohl dem Ausbildungsverantwortlichen als auch dem Kandidaten, der verstehen möchte, wie er bewertet wird:
- Ist jeder Indikator der Tabelle mit einem beobachtbaren Handlungsverb formuliert — oder gibt es noch getarnte Adjektive?
- Sagt das Bewertungsschema, was zwei benachbarte Stufen trennt, oder nur, wie die Extreme aussehen?
- Erzeugen die Übereinstimmungssitzungen eine gemessene und archivierte Abweichung oder nur eine Diskussion?
- Wer überprüft die statistischen Profile der Prüfer, mit welcher Häufigkeit und mit welcher Handlungsmacht?
Es bleibt eine Grauzone, die die aktuellen Tabellen schlecht abdecken: die stille Prävention. Eine Besatzung, die so gut antizipiert, dass nichts überläuft, zeigt wenig bemerkenswerte Verhaltensweisen — keine angekündigte Abweichung, da keine Abweichung; keine umverteilte Last, da nie gesättigt. Die jüngsten Referenzrahmen versuchen, die Antizipation selbst zu bewerten — sich Spielräume verschaffen, den Plan vor der Belastung verbalisieren —, aber die Versuchung bleibt, eine gut aufgefangene Schwierigkeit besser zu bewerten als eine nie aufgetretene Schwierigkeit. Für diejenigen, die eine Qualifikation als Prüfer oder Ausbilder vorbereiten, ist die praktische Konsequenz klar: Trainieren Sie die Faktenerfassung vor der Bewertung — das ist es, was in den ersten Sitzungen fehlt, und das ist es, was die Qualifizierungsvorbereitungsprogramme am nützlichsten bearbeiten.
Schließlich werden diese Mechanismen je nach Behörden, Betreibern und genehmigten Programmen unterschiedlich umgesetzt: Die anwendbare Vorschrift und die genehmigte Dokumentation des Betreibers — Betriebshandbuch, gültige Tabellen und Bewertungsschemata — gelten in allen Fällen vor dem Inhalt dieses Artikels.

Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.