Nichttechnische Kompetenzen bei Überprüfungen: Wie man bewertet, was sich nicht messen lässt

Salle de débriefing avec deux chaises face à face, horloge murale simple et feuille vierge sur la table

Zwei Prüfer beobachten denselben Durchstarten im Simulator. Der eine stuft die Arbeitslastenbewältigung auf ein höheres Niveau ein, der andere hält sie gerade noch für akzeptabel. Keiner von beiden hat falsch gesehen: Sie haben unterschiedliche Interpretationen des Bewertungsschemas. Solange die Kontrolle Toleranzen maß — eine gehaltene Achse, eine Höhe, eine Zeit —, blieb die Abweichung zwischen den Bewertern marginal. Seit die Bewertung Kommunikation, Entscheidungsfindung oder Führung betrifft, ist die Bewertungsscheibe selbst zu einem eigenständigen Sicherheitsgegenstand geworden: Ein schlecht kalibriertes Schema erzeugt unhaltbare Bewertungen und Kontrollentscheidungen, die einer Anfechtung nicht standhalten.

Verhalten bewerten, niemals Persönlichkeit

Die ersten Generationen der Kompetenzbewertung von Flugbesatzungen bewerteten einen Eindruck: « guter Teamgeist », « natürliche Führungsqualitäten ». Doppelte Sackgasse. Der Eindruck ist nicht anfechtbar — man kann ein Charaktermerkmal nicht nachbesprechen — und er ist nicht nutzbar: Er sagt nicht, was trainiert werden soll. Die aktuellen Rahmenbedingungen, die aus europäischen Arbeiten zur Bewertung nicht-technischer Kompetenzen von Besatzungen stammen und durch den OACI-Kompetenzenrahmen generalisiert wurden, basieren auf einer vollständigen Umkehrung: Es wird nicht eine Qualität bewertet, sondern beobachtbare Verhaltensweisen, beschrieben durch Handlungsverben. « Er gibt die Abweichung sofort bekannt, sobald er sie erkennt. » « Er verteilt die Aufgaben vor dem Punkt hoher Belastung. » « Er verbalisiert seine Absicht, bevor er die Automatismen bedient. »

Ein gut formulierter Indikator hat drei Eigenschaften. Er ist beobachtbar: Kein mentaler Zustand, keine vermutete Absicht. Er ist faktisch: beschrieben ohne Adjektive, also direkt in einem Sitzungsprotokoll festhaltbar. Er ist datierbar: einem bestimmten Zeitpunkt zuzuordnen, was es ermöglicht, ihn wiederzufinden — auf einem Video, in den Simulatordaten, in den Notizen des anderen Beobachters. Die gesamte nachfolgende Mechanik — Bewertungsschema, Kalibrierung, Anfechtung — basiert auf dieser Maßeinheit und bricht zusammen, wenn sie unscharf ist.

Schlussfolgerungskette der BewertungVier durch Pfeile mit den Beschriftungen Sortierung, Interpretation und Bewertungsskala verbundene Schritte: zeitgestempelte Fakten, beobachteter Indikator, bewertete Kompetenz, Note nach Skala.Jeder Pfeil fügt eine Interpretation hinzuFaktenmit ZeitstempelbeobachteterIndikatorbewerteteKompetenzNotenach SkalatriInterpretationBewertungsskala
Die Note ist das Ende einer Schlussfolgerungskette, keine direkte Messung. Zwischen dem Geschehenen und der Zahl auf dem Bewertungsbogen sortiert, interpretiert und überträgt der Prüfer: Jeder Schritt muss bis zu den Fakten nachvollziehbar bleiben.

Eine Bewertung ist nicht einfach eine Zahl, sondern das Ergebnis mehrerer Schritte: Zuerst werden Fakten gesammelt, dann werden sie interpretiert und schließlich in eine Note umgewandelt. Jeder Schritt muss nachvollziehbar sein, sonst ist die Bewertung nicht fair.

Ein Pilot im Simulator (z.B. Airbus A320) erkennt eine Geschwindigkeitsabweichung und teilt sie sofort mit (beobachtbares Verhalten). Ein Prüfer notiert dies um 14:32 Uhr. Später wird dieses Verhalten als Indikator für „Kommunikation“ bewertet. Ohne diese genaue Dokumentation wäre die Bewertung nur eine Meinung.

Die Abbildung oben zeigt das Wesentliche des Problems: Die Bewertung ist das Ende einer Kette von Schlussfolgerungen, keine Instrumentenablesung. Der Prüfer filtert, was er beibehält, interpretiert es als Indikatoren, aggregiert die Indikatoren zu einer Kompetenz, wandelt die Kompetenz in eine Stufe um. Eine verteidigbare Bewertung ist eine Bewertung, die man rückwärts aufrollen kann, von der Zahl bis zu den zeitlich festgelegten Fakten. Eine nicht verteidigbare Bewertung ist eine Bewertung, bei der ein Glied fehlt — und das ist fast immer das erste: die Fakten.

Was eine Bewertungstabelle tatsächlich enthält

Eine im Einsatz befindliche Tabelle überlagert drei Schichten: die Kompetenzen — eine Handvoll, bemerkenswert stabil von einem Betreiber zum anderen —, die Verhaltensindikatoren, die sie aufschlüsseln, und eine Skala mit einigen Stufen, von denen jede durch ein Leistungsprofil beschrieben wird. In der Skala verbirgt sich die schwerwiegendste Doktrinwahl, denn zwei Logiken streiten sich um den Platz.

Zwei Skalenlogiken für denselben Bewertungsbogen
Lecture Kriterienbasierte Skala Échelle normative
Gestellte Frage Sind die erwarteten Verhaltensweisen vorhanden, und wie häufig? Wo liegt die Leistung im Vergleich zu dem, was auf dieser Stufe erwartet wird?
Point fort Klare Untergrenze: Das Akzeptable ist durch Fakten definiert Differenziert das obere Spektrum, nützlich zur Ausrichtung des Trainings
Point faible Drückt das obere Ende der Skala zusammen: Alles „Konforme“ gleicht sich Hängt von der eigenen Referenzpopulation jedes Prüfers ab
Typische Abweichung Verkappte binäre Bewertung Milde oder Strenge je nach Erfahrung des Bewertenden
Usage dominant Bestehensschwelle, Prüfungsentscheidung Obere Stufen des Bewertungsbogens, Ausrichtung des Trainings

Die meisten im Einsatz befindlichen Bewertungsschemata verbinden beide: einen kritischen Boden — das Akzeptable ist durch vorhandene oder fehlende Verhaltensweisen definiert, nicht durch einen Vergleich — und höhere, bewertende Stufen, die weniger zur Kontrollentscheidung dienen, sondern zur Ausrichtung des Trainings. Zu wissen, in welcher Logik man zu einem bestimmten Zeitpunkt bewertet, ist die erste Kompetenz des Bewerters: Ein großer Teil der Bewertungsdifferenzen sind tatsächlich Differenzen in der Skalenlogik.

Bleibt der Boden selbst. In der Tradition der historischen Methoden zur Bewertung nicht-technischer Kompetenzen erfordert eine negative Bewertung mehr als ein isoliertes Faktum: die Wiederholung des Verhaltens und seine Zuordnung zu einer beobachtbaren Konsequenz für die Flugdurchführung. Diese doppelte Sicherung schützt beide Parteien — den Kandidaten vor einer aufgebauschten Anekdote, den Prüfer vor dem Vorwurf der Willkür.

Matrix Wiederholung und FolgeMatrix, die die Wiederholung eines Verhaltens mit seiner Folge für die Flugdurchführung kreuzt: Nur der Quadrant wiederholt mit beobachtbarer Folge trägt eine vertretbare ungünstige Note, die drei anderen gehören in die Dokumentation oder ins Debriefing.aucuneobservableFolge für die FlugdurchführungeinmaligwiederholtWiederholungeinmaliges Vorkommnis:festzuhalten, nicht zu bewertenfait marquant :zu dokumentierensignal faible :im Debriefing zu besprechenungünstige Notevertretbar
Eine vertretbare ungünstige Note erfordert Wiederholung und eine beobachtbare Folge. Die drei anderen Quadranten sind deshalb nicht verloren: Sie speisen das Debriefing und die Sitzungsdokumentation, ohne die Zahl zu tragen.

Die Kalibrierung: Übereinstimmung zwischen Prüfern herstellen

Eine gute Tabelle reicht nicht aus. Geben Sie dieselbe aufgezeichnete Sitzung an zehn qualifizierte Prüfer, ohne weitere Vorbereitung: Die Streuung der Bewertungen überrascht immer beim ersten Mal — nicht, weil einige schlecht beobachten, sondern weil jeder die Indikatoren mit seiner eigenen Linien- und Ausbildungsvorgeschichte gewichtet. Die Übereinstimmung zwischen Bewertern ist kein mit der Qualifikation erworbener Zustand: Es ist ein Wartungsprodukt.

Drei Männer in blauen Hemden sitzen an einem Tisch in einem Kontrollraum und schauen auf einen großen Monitor, der eine Flughafen-Simulation mit einem Flugzeug anzeigt, während sie Notizen machen.
Die Bewertung von Soft Skills erfordert Beobachtung und Dokumentation.
Abstimmungsschleife der PrüferZyklus in vier Schritten: Eine Referenzsitzung wird von jedem Prüfer unabhängig bewertet, die Abweichungen werden gemessen und archiviert, der gemeinsame Bezugsrahmen wird angepasst, dann startet eine neue Referenzsitzung die Schleife erneut.Referenzsitzungunabhängige BewertungMessung der Abweichungenangepasster BezugsrahmenAbstimmungsschleife
Übereinstimmung lässt sich nicht verordnen, sie wird in einer Schleife gepflegt. Jede Runde – unabhängige Bewertung derselben Sitzung, Messung der Abweichungen, Anpassung des Bezugsrahmens – verringert die Streuung zwischen den Prüfern, ohne sie je zu beseitigen.

Der Kreislauf ist einfach und anspruchsvoll. Eine Referenzsitzung, unabhängig von jedem bewertet; eine Messung der Abweichungen, Indikator für Indikator, archiviert; eine Diskussion, die nicht nach weichem Konsens sucht, sondern nach der Ursache jeder Abweichung — unterschiedliche Lesart eines Indikators, unterschiedliche Gewichtung desselben Faktums oder ein Faktum, das von einem gesehen und vom anderen nicht gesehen wurde; schließlich ein gemeinsamer Referenzrahmen, der als Gedächtnis für die nächste Sitzung dient. Das Ziel ist nicht die identische Bewertung: Es ist, dass zwei Prüfer, die divergieren, ihre Divergenz anhand der Tabelle und nicht anhand ihrer Gewohnheiten erklären können.

Zwischen zwei Übereinstimmungssitzungen wird die Überwachung statistisch. Jeder Prüfer hat ein Bewertungsprofil — Durchschnitt, Streuung, Korrelation zwischen Kompetenzen — und dieses Profil ist eine Signatur. Ein Durchschnitt, der sich dauerhaft von dem der Kollegen entfernt, signalisiert eine etablierte Nachsichtigkeit oder Strenge; eine Streuung, die zusammenbricht, signalisiert einen Prüfer, der nicht mehr entscheidet; zu stark korrelierte Spalten signalisieren einen Halo-Effekt. Keines dieser Signale verurteilt: Jedes eröffnet ein Gespräch, idealerweise, bevor Kandidaten darunter leiden.

Zwei Bewertungsprofile von PrüfernZwei Notenverteilungen auf derselben Skala: Prüfer A, durchgezogen, konzentriert fast alle Noten auf die mittlere Stufe; Prüfer B, gestrichelt, nutzt die gesamte Bandbreite der Stufen. Identische Sitzungen, entgegengesetzte statistische Signaturen.A: zentrale Tendenz (durchgezogen)B: gesamte Bandbreite (gestrichelt)12345auf dem Bogen eingetragene StufeFrequenz
Bei identischen Sitzungen ist das Bewertungsprofil eine Signatur. Die auf die mittlere Stufe zusammengedrückte Verteilung sagt nichts über die Kandidaten: Sie verrät einen Bewertenden, der sich nicht mehr festlegt – genau das, was die regelmäßige Durchsicht der Profile erkennen soll.

Klassische Abweichungen und ihre Signaturen

Keine Bewertungsabweichung ist originell. Alle sind beschrieben, alle sind messbar, und alle tauchen wieder auf, sobald man aufhört, sie zu verfolgen — denn keine geht auf bösen Willen zurück: Es sind normale kognitive Einsparungen, die die Müdigkeit eines Simulatortages verschlimmert.

Fünf Bewertungsverzerrungen, ihre Signaturen und Gegenmaßnahmen
Verzerrung Signatur in den Noten Contre-mesure
Halo-Effekt Stark korrelierte Kompetenzen: Eine Stärke zieht alle Spalten mit Kompetenz für Kompetenz anhand getrennter Fakten bewerten
Tendance centrale Die mittlere Stufe nimmt nahezu alle Noten auf Für die mittlere Stufe ebenso wie für die Extreme ein Wortprotokoll verlangen
Milde oder Strenge Mittelwert dauerhaft von dem der Kollegen abweichend Durchsicht der Bewertungsprofile, Abstimmungssitzungen
Rezenz Die Note spiegelt das letzte Viertel der Sitzung wider Zeitgestempelte Fakten während der Sitzung, zeitversetzte Bewertung
Contamination technique Ein gelungener Anflug „erkauft“ die nichttechnischen Noten Erfassung der Parameter von der Erfassung der Verhaltensweisen trennen

Die in der Praxis kostspieligste ist weder der Halo-Effekt noch die Nachsichtigkeit: Es ist die Rezenz, weil sie das Faktenglied angreift. Eine Kontrollsitzung dauert Stunden; das Gedächtnis des Bewerters gibt nicht ein einheitliches Bild wieder, sondern eine U-Kurve — der Anfang prägt, das Ende drückt, die Mitte verblasst. Gerade in der Mitte der Sitzung spielen sich aber die Routinekommunikation, die Aufrechterhaltung der Aufgabenverteilung und die Arbeitslastenbewältigung außerhalb der Spitzen — die Kompetenzen, die die Tabelle gerade erfassen will.

Primacy- und Rezenzeffekte bei der BewertungU-förmige Kurve des Gewichts der Ereignisse im Gedächtnis des Prüfers: hoch am Anfang durch Primacy, gering in der Mitte, maximal am Ende durch Rezenz, während eine gestrichelte Gerade an das tatsächliche, gleichmäßige Gewicht der Fakten erinnert.PrimacyRezenzMitte der Sitzung: das Taltatsächliches Gewicht der Fakten (gestrichelt)AnfangfinSitzungszeitGewicht in der Note
Ohne zeitgestempelte Notizen gibt das Gedächtnis die Sitzung in U-Form wieder. Der Anfang und vor allem das Ende wiegen mehr als ihr tatsächliches Gewicht; die Mitte der Sitzung – oft die ergiebigste für das Management der Arbeitsbelastung – verschwindet aus der Bewertung.

Die Falle: Bewertung aus dem Gedächtnis im Debriefing. Eine nachträglich ausgefüllte Tabelle ist nicht von der Sitzung ausgefüllt: Sie ist von dem ausgefüllt, was das Gedächtnis davon behalten hat — der Anfang, das Ende und das spektakulärste Ereignis. Der Prüfer glaubt, die Sitzung noch einmal zu sehen; er sieht seine U-Kurve. Und wenn der Kandidat widerspricht, gibt es nichts, was man entgegensetzen könnte: keine Fakten, keine Uhrzeit, keinen Indikator — einen Eindruck, genau das, was die Tabelle eliminieren sollte.

Die Bewertung als Rohmaterial für das Training

In einem auf Beweisdaten basierenden Ausbildungsprogramm endet die Bewertung nicht in einer Akte: aggregiert und anonymisiert, leitet sie die folgenden Module — die Kompetenzen, deren Bewertungen auf Flottenebene sinken, werden zu den Prioritäten des Programms. Diese Schleife ändert die Kosten einer nachsichtigen Bewertung. Sie verfälscht nicht nur eine individuelle Akte: Sie entzieht dem System sein Signal und lässt eine ganze Flotte auf den falschen Schwächen trainieren.

Das Debriefing ist die andere Hälfte der Bewertung. Eine Bewertung wird akzeptiert, wenn sie erklärt wird, und sie wird erklärt, wenn der Prüfer datierte Fakten auf den Tisch legen kann, die der Kandidat anerkennt — genau das, was eine Notiz in Indikatorensprache produziert. Umgekehrt hat ein Debriefing, das mit der Zahl beginnt, bereits verloren: Alles, was folgt, ähnelt einer Rechtfertigung.

Der richtige Reflex: Datenerfassung und Bewertung trennen. Während der Sitzung nichts bewerten — datierte Fakten in Indikatorensprache festhalten: « gibt die Geschwindigkeitsabweichung nicht bekannt, zwei Vorkommnisse im Steigflug ». Nach der Sitzung Kompetenz für Kompetenz bewerten, beginnend mit denen, die am wenigsten im Gedächtnis geblieben sind. Wenn die Fakten für die Bewertung fehlen, ist es die Notizenerfassung, die bei der nächsten Sitzung korrigiert werden muss — niemals die Bewertung, die man erfinden muss.

Was in Ihrem eigenen System überprüft werden muss

Vier Fragen reichen aus, um die Reife eines Bewertungssystems zu beurteilen, und sie stellen sich sowohl dem Ausbildungsverantwortlichen als auch dem Kandidaten, der verstehen möchte, wie er bewertet wird:

  • Ist jeder Indikator der Tabelle mit einem beobachtbaren Handlungsverb formuliert — oder gibt es noch getarnte Adjektive?
  • Sagt das Bewertungsschema, was zwei benachbarte Stufen trennt, oder nur, wie die Extreme aussehen?
  • Erzeugen die Übereinstimmungssitzungen eine gemessene und archivierte Abweichung oder nur eine Diskussion?
  • Wer überprüft die statistischen Profile der Prüfer, mit welcher Häufigkeit und mit welcher Handlungsmacht?

Es bleibt eine Grauzone, die die aktuellen Tabellen schlecht abdecken: die stille Prävention. Eine Besatzung, die so gut antizipiert, dass nichts überläuft, zeigt wenig bemerkenswerte Verhaltensweisen — keine angekündigte Abweichung, da keine Abweichung; keine umverteilte Last, da nie gesättigt. Die jüngsten Referenzrahmen versuchen, die Antizipation selbst zu bewerten — sich Spielräume verschaffen, den Plan vor der Belastung verbalisieren —, aber die Versuchung bleibt, eine gut aufgefangene Schwierigkeit besser zu bewerten als eine nie aufgetretene Schwierigkeit. Für diejenigen, die eine Qualifikation als Prüfer oder Ausbilder vorbereiten, ist die praktische Konsequenz klar: Trainieren Sie die Faktenerfassung vor der Bewertung — das ist es, was in den ersten Sitzungen fehlt, und das ist es, was die Qualifizierungsvorbereitungsprogramme am nützlichsten bearbeiten.

Schließlich werden diese Mechanismen je nach Behörden, Betreibern und genehmigten Programmen unterschiedlich umgesetzt: Die anwendbare Vorschrift und die genehmigte Dokumentation des Betreibers — Betriebshandbuch, gültige Tabellen und Bewertungsschemata — gelten in allen Fällen vor dem Inhalt dieses Artikels.

Commentaires

Schreibe einen Kommentar

Découvrez l’écosystème FL330

FL330, c’est toute l’aviation professionnelle — explorez nos autres espaces.