Compétences non techniques en contrôle : comment noter ce qui ne se chronomètre pas

Salle de débriefing avec deux chaises face à face, horloge murale simple et feuille vierge sur la table

Deux examinateurs assistent à la même remise de gaz en simulateur. L’un porte la gestion de la charge de travail à l’échelon supérieur, l’autre la juge tout juste acceptable. Aucun des deux n’a mal regardé : ils n’ont pas la même lecture de la grille. Tant que le contrôle mesurait des tolérances — un axe tenu, une altitude, un temps —, l’écart entre notateurs restait marginal. Depuis que la note engage la communication, la prise de décision ou le leadership, la méthode de notation est devenue un objet de sécurité à part entière : une grille mal calibrée produit des notes indéfendables, et des décisions de contrôle qui ne tiennent pas devant une contestation.

Noter un comportement, jamais une personnalité

Les premières générations d’évaluation des compétences d’équipage notaient une impression : « bon esprit d’équipe », « leadership naturel ». Double impasse. L’impression n’est pas contestable — on ne débriefe pas un trait de caractère — et elle n’est pas exploitable : elle ne dit pas quoi entraîner. Les cadres actuels, hérités des travaux européens sur l’évaluation des compétences non techniques des équipages puis généralisés par le cadre de compétences promu par l’OACI, reposent sur un renversement complet : on ne cote pas une qualité, on cote des comportements observables, décrits par des verbes d’action. « Annonce l’écart dès qu’il le détecte. » « Répartit les tâches avant le point de forte charge. » « Verbalise son intention avant d’agir sur les automatismes. »

Un indicateur bien écrit a trois propriétés. Il est observable : aucun état mental, aucune intention supposée. Il est factuel : décrit sans adjectif, donc consignable tel quel dans un relevé de séance. Il est datable : rattachable à un moment précis, ce qui permet de le retrouver — sur une vidéo, dans les données du simulateur, dans les notes de l’autre observateur. Toute la mécanique qui suit — barème, calibrage, contestation — repose sur cette unité de mesure, et s’effondre si elle est molle.

Pour noter correctement, il faut se concentrer sur des actions précises et mesurables, pas sur des impressions. Un bon indicateur doit être visible, décrit sans jugement, et lié à un moment précis. Sinon, la notation devient subjective et inutile.

Dans un simulateur, un pilote annonce systématiquement les écarts de vitesse dès qu’ils dépassent 5 nœuds. Cet indicateur est observable, factuel (pas d’adjectifs) et datable (horodaté). Si un examinateur note cette action, il peut justifier sa note par des faits concrets.

Chaîne d’inférence de la noteQuatre étapes reliées par des flèches étiquetées tri, interprétation et barème : faits horodatés, indicateur observé, compétence évaluée, note au barème.Chaque flèche ajoute une interprétationFaitshorodatésIndicateurobservéCompétenceévaluéeNoteau barèmetriinterprétationbarème
La note est le bout d’une chaîne d’inférences, pas une mesure directe. Entre ce qui s’est passé et le chiffre porté sur la grille, l’examinateur trie, interprète puis convertit : chaque étape doit rester traçable jusqu’aux faits.

La figure ci-dessus dit l’essentiel du problème : la note est le bout d’une chaîne d’inférences, pas une lecture d’instrument. L’examinateur trie ce qu’il retient, l’interprète en indicateurs, agrège les indicateurs en compétence, convertit la compétence en échelon. Une note défendable est une note que l’on peut dérouler à l’envers, du chiffre jusqu’aux faits horodatés. Une note indéfendable est une note dont un maillon manque — et c’est presque toujours le premier : les faits.

Ce que contient réellement une grille

Une grille en service superpose trois couches : les compétences — une poignée, remarquablement stables d’un exploitant à l’autre —, les indicateurs comportementaux qui les déclinent, et une échelle à quelques échelons dont chacun est décrit par un portrait de prestation. C’est dans l’échelle que se cache le choix de doctrine le plus lourd, car deux logiques s’y disputent la place.

Deux logiques de barème pour la même grille
Lecture Échelle critériée Échelle normative
Question posée Les comportements attendus sont-ils présents, à quelle fréquence ? Où se situe la prestation par rapport à ce qu’on attend à ce niveau ?
Point fort Plancher net : l’acceptable est défini par des faits Discrimine le haut du spectre, utile pour orienter l’entraînement
Point faible Écrase le haut de l’échelle : tout « conforme » se ressemble Dépend de la population de référence propre à chaque examinateur
Dérive typique Notation binaire déguisée Indulgence ou sévérité selon le vécu du notateur
Usage dominant Seuil de réussite, décision de contrôle Étages supérieurs de la grille, orientation de l’entraînement

La plupart des barèmes en service marient les deux : un plancher critérié — l’acceptable est défini par des comportements présents ou absents, pas par une comparaison —, et des étages supérieurs appréciatifs, qui servent moins à la décision de contrôle qu’à orienter l’entraînement. Savoir dans quelle logique on cote à un instant donné est la première compétence du notateur : une bonne part des désaccords de notation sont en réalité des désaccords de logique d’échelle.

Reste le plancher lui-même. Dans la lignée des méthodes historiques d’évaluation des compétences non techniques, une note défavorable exige davantage qu’un fait isolé : la répétition du comportement, et son rattachement à une conséquence observable sur la conduite du vol. Ce double verrou protège les deux parties — le candidat contre l’anecdote montée en épingle, l’examinateur contre le reproche d’arbitraire.

Matrice répétition et conséquenceMatrice croisant la répétition du comportement et sa conséquence sur la conduite du vol : seul le quadrant répété à conséquence observable porte une note défavorable défendable, les trois autres relevant de la consignation ou du débriefing.aucuneobservableconséquence sur la conduite du volisolérépétérépétitionfait isolé :à consigner, pas à coterfait marquant :à documentersignal faible :à débriefernote défavorabledéfendable
Une note défavorable défendable exige la répétition et une conséquence observable. Les trois autres quadrants ne sont pas perdus pour autant : ils alimentent le débriefing et la documentation de séance, sans porter le chiffre.

Le calibrage : fabriquer de la concordance entre examinateurs

Une bonne grille ne suffit pas. Donnez la même séance filmée à dix examinateurs qualifiés, sans autre préparation : la dispersion des notes surprend toujours la première fois — non que certains regardent mal, mais chacun pondère les indicateurs avec son propre vécu de ligne et d’instruction. La concordance entre notateurs n’est pas un état acquis avec la qualification : c’est un produit d’entretien.

Boucle de concordance des examinateursCycle en quatre étapes : une séance de référence est notée de façon indépendante par chaque examinateur, les écarts sont mesurés et archivés, le référentiel commun est ajusté, puis une nouvelle séance de référence relance la boucle.séance de référencenotation indépendantemesure des écartsréférentiel ajustéboucle de concordance
La concordance ne se décrète pas, elle s’entretient en boucle. Chaque tour — notation indépendante d’une même séance, mesure des écarts, ajustement du référentiel — resserre la dispersion entre examinateurs sans jamais la supprimer.

La boucle est simple et exigeante. Une séance de référence, notée indépendamment par chacun ; une mesure des écarts, indicateur par indicateur, archivée ; une discussion qui ne cherche pas le consensus mou mais l’origine de chaque écart — lecture différente d’un indicateur, pondération différente d’un même fait, ou fait vu par l’un et pas par l’autre ; enfin un référentiel commun ajusté, qui servira de mémoire à la séance suivante. L’objectif n’est pas la note identique : c’est que deux examinateurs qui divergent puissent expliquer leur divergence par la grille, et non par leurs habitudes.

Galons d'une manche d'uniforme en très gros plan, tissage du galon et grain du tissu
Le galon ne calibre rien : la concordance entre examinateurs se construit en séance de standardisation, pas par l'ancienneté.

Entre deux séances de concordance, la surveillance devient statistique. Chaque examinateur a un profil de notation — moyenne, dispersion, corrélation entre compétences — et ce profil est une signature. Une moyenne qui s’écarte durablement de celle des pairs signale une indulgence ou une sévérité installée ; une dispersion qui s’effondre signale un notateur qui ne tranche plus ; des colonnes trop corrélées signalent un halo. Aucun de ces signaux ne condamne : chacun ouvre une conversation, idéalement avant que des candidats n’en fassent les frais.

Deux profils de notation d’examinateursDeux distributions de notes sur la même échelle : l’examinateur A, en trait plein, concentre presque toutes ses notes sur l’échelon central ; l’examinateur B, en tireté, utilise tout l’éventail des échelons. Séances identiques, signatures statistiques opposées.A : tendance centrale (plein)B : tout l’éventail (tireté)12345échelon porté sur la grillefréquence
À séances identiques, le profil de notation est une signature. La distribution écrasée sur l’échelon central ne renseigne pas sur les candidats : elle signale un notateur qui ne tranche plus — exactement ce que la relecture périodique des profils cherche à voir.

Les dérives classiques et leurs signatures

Aucune dérive de notation n’est originale. Toutes sont décrites, toutes sont mesurables, et toutes réapparaissent dès qu’on cesse de les traquer — car aucune ne procède de la mauvaise foi : ce sont des économies cognitives normales, que la fatigue d’une journée de simulateur aggrave.

Cinq dérives de notation, leurs signatures et leurs contre-mesures
Dérive Signature dans les notes Contre-mesure
Effet de halo Compétences fortement corrélées : une force tire toutes les colonnes Coter compétence par compétence, à partir de faits distincts
Tendance centrale L’échelon médian absorbe la quasi-totalité des notes Exiger un verbatim pour l’échelon médian comme pour les extrêmes
Indulgence ou sévérité Moyenne durablement écartée de celle des pairs Relecture des profils de notation, séances de concordance
Récence La note reflète le dernier quart de la séance Faits horodatés en séance, cotation différée
Contamination technique Une approche réussie « achète » les notes non techniques Séparer le relevé des paramètres du relevé des comportements

La plus coûteuse en pratique n’est ni le halo ni l’indulgence : c’est la récence, parce qu’elle attaque le maillon des faits. Une séance de contrôle dure des heures ; la mémoire du notateur n’en restitue pas une image uniforme mais une courbe en U — le début marque, la fin écrase, le milieu s’efface. Or le milieu de séance est précisément là où se jouent la communication de routine, la tenue du partage des tâches, la gestion de la charge de travail hors des pics — les compétences que la grille prétend justement capturer.

Effets de primauté et de récence sur la notationCourbe en U du poids des événements dans la mémoire de l’examinateur : fort au début par primauté, faible au milieu, maximal à la fin par récence, alors qu’une droite tiretée rappelle le poids réel, uniforme, des faits.primautérécencemilieu de séance : le creuxpoids réel des faits (tireté)débutfintemps de séancepoids dans la note
Sans prise de notes horodatée, la mémoire restitue la séance en U. Le début et surtout la fin pèsent plus que leur poids réel ; le milieu de séance — souvent le plus riche en gestion de la charge de travail — s’efface de la cotation.

Le piège : coter de mémoire au débriefing. Une grille remplie après coup n’est pas remplie par la séance : elle est remplie par ce que la mémoire en a gardé — le début, la fin et l’événement le plus spectaculaire. L’examinateur croit revoir la séance ; il revoit sa courbe en U. Et si le candidat conteste, il ne reste rien à opposer : pas de faits, pas d’heure, pas d’indicateur — une impression, précisément ce que la grille devait éliminer.

La note comme matière première de l’entraînement

Dans un programme de formation fondé sur les données probantes, la note ne finit pas dans un dossier : agrégée et rendue anonyme, elle oriente les modules suivants — les compétences dont les notes plongent à l’échelle de la flotte deviennent les priorités du programme. Cette boucle change le coût d’une notation complaisante. Elle ne fausse plus seulement un dossier individuel : elle prive le système de son signal, et fait entraîner toute une flotte sur les mauvaises faiblesses.

Le débriefing est l’autre moitié de la cotation. Une note s’accepte quand elle s’explique, et elle s’explique quand l’examinateur peut poser sur la table des faits datés que le candidat reconnaît — exactement ce que produit une prise de notes en langage d’indicateurs. À l’inverse, un débriefing qui commence par le chiffre a déjà perdu : tout ce qui suit ressemble à une justification.

Le bon réflexe : dissocier le recueil de la cotation. Pendant la séance, ne rien coter — consigner des faits horodatés, en langage d’indicateurs : « n’annonce pas l’écart de vitesse, deux occurrences en montée ». Après la séance, coter compétence par compétence en commençant par celles qui ont le moins marqué la mémoire. Si les faits manquent pour coter, c’est la prise de notes qu’il faudra corriger à la prochaine séance — jamais la note qu’il faut inventer.

Ce qu’il faut aller vérifier dans votre propre système

Quatre questions suffisent à situer la maturité d’un système de notation, et elles se posent aussi bien au responsable de la formation qu’au candidat qui veut comprendre comment il sera lu :

  • chaque indicateur de la grille est-il écrit avec un verbe d’action observable — ou reste-t-il des adjectifs déguisés ?
  • le barème dit-il ce qui sépare deux échelons adjacents, ou seulement à quoi ressemblent les extrêmes ?
  • les séances de concordance produisent-elles un écart mesuré et archivé, ou seulement une discussion ?
  • qui relit les profils statistiques des examinateurs, à quelle fréquence, et avec quel pouvoir d’agir ?

Reste une zone grise que les grilles actuelles couvrent mal : la prévention silencieuse. Un équipage qui anticipe si bien que rien ne dépasse montre peu de comportements remarquables — pas d’écart annoncé, puisque pas d’écart ; pas de charge redistribuée, puisque jamais saturée. Les référentiels récents tentent de coter l’anticipation elle-même — se donner des marges, verbaliser le plan avant la charge —, mais la tentation demeure de mieux noter une difficulté bien rattrapée qu’une difficulté jamais advenue. Pour qui prépare une qualification d’examinateur ou d’instructeur, la conséquence pratique est nette : entraînez la prise de faits avant la cotation — c’est elle qui manque dans les premières séances, et c’est elle que les parcours de préparation aux qualifications travaillent le plus utilement.

Enfin, ces mécanismes se déclinent différemment selon les autorités, les exploitants et les programmes approuvés : la réglementation applicable et la documentation approuvée de l’exploitant — manuel d’exploitation, grilles et barèmes en vigueur — prévalent en toutes circonstances sur le contenu de cet article.

Questions fréquentes

Un fait isolé peut-il justifier une note non technique défavorable ?

Dans la lignée des méthodes de référence, non : une note défavorable s’appuie sur un comportement répété et rattaché à une conséquence observable sur la conduite du vol. Un fait isolé se consigne et se débriefe, mais il ne porte pas le chiffre à lui seul. Ce double verrou protège autant l’examinateur, qui peut défendre sa note, que le candidat, qu’une anecdote ne peut plus condamner. Les modalités exactes relèvent du système de notation approuvé de chaque exploitant.

Comment défendre une note contestée par le candidat ?

En la déroulant à l’envers : l’échelon renvoie à une compétence, la compétence à des indicateurs, chaque indicateur à des faits horodatés que le candidat peut reconnaître ou vérifier sur les données de séance. Une note qui ne se déroule pas ainsi est une impression, et une impression ne se défend pas. C’est pourquoi la prise de notes en séance est la première compétence de l’examinateur, avant la cotation elle-même.

La concordance parfaite entre examinateurs est-elle un objectif réaliste ?

Non, et ce n’est pas l’objectif. Deux observateurs honnêtes ne verront jamais exactement la même séance. Ce que vise le calibrage, c’est que les écarts restent mesurés, archivés et explicables par la grille — une lecture différente d’un indicateur, un fait vu par l’un et pas par l’autre — et non par les habitudes de chacun. Une dispersion stable et documentée vaut mieux qu’un consensus de façade.

Ces grilles s'appliquent-elles aussi en vol de ligne réel ?

Oui, les contrôles en ligne mobilisent les mêmes indicateurs comportementaux, avec une difficulté supplémentaire : l’environnement n’est pas standardisé, donc deux candidats ne rencontrent jamais les mêmes occasions de montrer les mêmes comportements. Le calibrage y pèse encore plus qu’au simulateur, et la cotation doit tenir compte de ce que la rotation a réellement offert comme situations.

À quoi servent les notes une fois la séance terminée ?

Au-delà de la décision individuelle, elles alimentent — agrégées et rendues anonymes — l’orientation du programme d’entraînement dans les approches fondées sur les données probantes : les compétences qui plongent à l’échelle de la flotte deviennent les priorités des modules suivants. C’est ce qui rend la complaisance coûteuse : elle prive le programme de son signal et fait travailler la flotte sur les mauvaises faiblesses.

Côté candidat, peut-on se préparer à une évaluation comportementale ?

Oui, en rendant ses comportements observables : verbaliser les intentions, annoncer les écarts, expliciter la répartition des tâches. Un raisonnement juste mais silencieux n’existe pas pour la grille — l’examinateur ne cote pas ce qu’il ne peut pas observer. Ce n’est pas du théâtre : c’est exactement ce que la gestion des ressources de l’équipage attend d’un vol normal, où l’autre pilote a besoin des mêmes informations que l’examinateur.

Commentaires

Laisser un commentaire

Découvrez l’écosystème FL330

FL330, c’est toute l’aviation professionnelle — explorez nos autres espaces.