Deux dossiers arrivent le même matin : le premier, note haute à l’épreuve écrite et références tièdes ; le second, l’inverse exactement. La procédure ne dit pas quoi faire de cette contradiction, elle dit d’additionner. Reste à savoir ce que chacune des deux sources sait vraiment de la suite : l’adaptation en ligne, le lâcher, la tenue des standards trois ans plus tard.
Avant de comparer les prédicteurs, écrire le critère
Un prédicteur n’a pas de validité en soi : il en a par rapport à un critère, une grandeur mesurée plus tard et dont on a décidé qu’elle représentait la réussite. Tant que ce critère n’est pas écrit, la comparaison tourne à vide : chacun défend la source qui prédit bien ce qu’il a en tête, sans dire ce que c’est.
Trois critères circulent dans les services de formation. Le premier est binaire — la qualification est-elle obtenue ? — et presque constant : un stage amène au standard des candidats déjà filtrés, et l’on ne prédit pas une variable qui ne varie pas. Le deuxième est bien plus informatif : le coût de l’adaptation, en séances supplémentaires, en prolongation, en contrôle repassé. Le troisième intéresse la sécurité et se mesure le plus mal : la tenue dans la durée, hors regard.
Reste la question qu’on saute toujours : ce critère est-il fidèle ? Deux instructeurs qui notent la même séance ne portent pas la même appréciation, et l’écart entre eux peut dépasser celui qui sépare deux candidats. Un critère bruité plafonne toute relation : la mesure d’arrivée fixe le maximum atteignable, quelle que soit la qualité du test de départ. La première dépense utile n’est donc pas un meilleur test, mais une grille comportementale et des évaluateurs calibrés.
Pour savoir si un test ou des références prédisent bien la réussite, il faut d’abord définir ce que signifie « réussir ». Par exemple, est-ce obtenir la qualification, ou bien tenir sur le long terme ? Ensuite, il faut vérifier si la manière dont on mesure la réussite est fiable. Si deux évaluateurs ne sont pas d’accord, le test perd de sa valeur.
L’épreuve écrite : fidèle, transparente, étroite
Une épreuve de connaissances mesure deux choses à la fois, rarement celle qu’on croit : le stock déclaratif — réglementation, systèmes, performances — et l’aptitude à traiter vite un énoncé sous contrainte de temps. C’est la seconde qui porte l’essentiel du lien avec l’apprentissage, lequel consiste à absorber en quelques semaines un volume d’information inhabituel.
Sa qualité est la fidélité : le même candidat, sur une forme parallèle, obtient une note voisine. C’est aussi son piège, car on confond fidélité et validité — un instrument peut mesurer la mauvaise chose de façon parfaitement stable. Elle est de surcroît bachotable, et le bachotage n’ajoute pas du bruit neutre : il déplace vers le haut les seuls candidats qui ont eu accès à la banque, et la note cesse de séparer selon ce que l’on sait pour séparer selon ce que l’on a pu se procurer. Restent des vertus non prédictives qui pèsent lourd : une note datée motive un refus devant un candidat ou devant l’autorité, une impression ne le motive pas.
Le piège : une banque de questions qui circule ne se voit pas dans la moyenne, mais dans la forme de la distribution. Si les notes se tassent contre le maximum et que les items les plus discriminants sont réussis par presque tous, l’épreuve a cessé de trier tout en gardant l’autorité d’un chiffre. Suivez la dispersion, pas la moyenne.
Un candidat obtient 90% à un test écrit sur les procédures d’urgence, mais échoue à l’examen pratique car il ne parvient pas à appliquer ces procédures sous pression. Son score élevé au test écrit ne reflète pas sa capacité réelle à gérer une situation critique en vol. Cela montre que le test mesure surtout la mémorisation, pas la performance pratique.
La référence : la bonne matière, un mauvais canal
La référence porte sur ce qu’aucune épreuve n’atteint : un comportement observé dans la durée, souvent par quelqu’un qui n’était pas là pour évaluer. Tenue des procédures hors regard, réaction à une remarque, attitude en équipage quand la journée s’allonge. C’est la matière la plus proche du critère.
Le problème n’est pas la matière, c’est le canal. Le candidat choisit ses référents, et personne ne cite celui qui dirait non. Le référent parle sous contrainte, dans un milieu petit où les carrières se croisent. L’échelle est écrasée par le haut — tout le monde est « très bien » —, si bien que l’information utile se loge dans les nuances et les silences. Un jugement global colore enfin toutes les réponses, y compris sur des domaines jamais observés.
Une bonne part se récupère par la forme de l’entretien. « Le recommanderiez-vous ? » appelle une réponse sociale ; « combien de fois, ces douze derniers mois, avez-vous eu à revenir sur un point de procédure avec lui ? » appelle un fait. On interroge celui qui a instruit ou contrôlé, pas le camarade de promotion. Et l’ancien employeur qui confirme les dates et rien d’autre ne livre pas une référence tiède : il laisse une case vide, que rien n’autorise à lire comme un feu vert.
Le bon réflexe : une trame de sept à dix questions fermées portant sur des faits datés, remplie pendant l’appel et signée par celui qui a appelé. Elle rend les candidats comparables, survit au départ du recruteur, et transforme un témoignage en pièce de dossier.
| Comparaison | Épreuve écrite | Références |
|---|---|---|
| Ce qui est mesuré | Stock déclaratif et aptitude à traiter vite un énoncé | Comportement observé dans la durée, filtré par un tiers |
| Fidélité | Élevée, vérifiable sur forme parallèle | Faible : dépend du référent et du lien |
| Biais dominant | Accès inégal à l’entraînement, vitesse de lecture | Complaisance, jugement global, silence prudent |
| Prédit le mieux | Le coût de la phase d’apprentissage | La tenue dans la durée et le travail en équipage |
| Rate | Celui qui sait faire mais lit mal sous chronomètre | Celui qui plaît, et celui dont l’ancien exploitant se tait |
| Motivation d’un refus | Bonne : la note est datée et opposable | Faible si l’appel n’a pas été tracé |
Pourquoi la corrélation semble toujours nulle
Un exploitant qui compare, chez ses pilotes en poste, la note d’entrée et le déroulement de l’adaptation trouve presque toujours une relation faible, et en tire la conclusion qui l’arrange : seul le jugement compte. C’est un artefact. On n’observe la suite que chez ceux qu’on a retenus, donc sur la partie haute du prédicteur : la relation vraie s’établit sur toute l’étendue des candidats, celle qu’on mesure ne porte que sur le tronçon conservé, où les notes sont resserrées et le hasard proportionnellement plus lourd. La pente s’aplatit mécaniquement : en conclure que le prédicteur ne prédit rien revient à mesurer une pente après avoir coupé l’axe.
La parade coûte peu : conserver, dans les limites de la protection des données, la trace des décisions et de leurs suites, et suivre en particulier ceux qu’on a retenus malgré une note basse — dérogation, tension de recrutement, second passage. Eux seuls renseignent la partie basse de l’axe : qui n’embauche jamais sous son seuil ne saura jamais si ce seuil est au bon endroit.
La question utile : ce que la seconde source ajoute
« Test ou références » est une question mal posée. Une source ne s’évalue pas seule, mais en marge de ce qui figure déjà au dossier : une source médiocre dont les erreurs ne ressemblent pas à celles de la première apporte davantage qu’une source excellente mais redondante.
Or les deux se trompent presque en miroir. L’épreuve rate celui qui sait faire mais lit mal un énoncé au chronomètre, et laisse passer celui qui a travaillé la banque. La référence rate celui qui plaît, et reste muette sur celui dont l’ancien exploitant applique une politique de silence. Les cas manqués ne sont pas les mêmes : c’est la seule raison sérieuse de payer les deux.
La conséquence pratique surprend : la référence ne devrait pas servir à confirmer ce que la note dit déjà, c’est du confort et non de l’information. Elle devrait être appelée là où la note est muette — la zone médiane, où quelques points d’écart ne signifient rien, et les extrêmes suspects.
| État des références | Note au-dessus du seuil | Note en dessous |
|---|---|---|
| Étayées par des faits datés | Décision simple ; vérifier seulement que la session n’a pas été passée sur des items compromis | Information maximale : seconde mesure ciblée, pas un débat sur le seuil |
| Vides ou canal impossible | Le vide n’est pas un feu vert : canal de remplacement et points d’étape rapprochés | Refus le mieux fondé : aucune source ne soutient l’inverse |
| Réservées sur un fait précis | Le fait prime : instruire sa nature, sa date et ses suites avant de pondérer | Décision à seuil, non à moyenne : ce type de réserve ne se compense pas par des points |
Pondérer sans se mentir
Les poids se fixent avant de voir les dossiers, et ils s’écrivent. Un poids décidé après lecture n’est pas un poids, c’est une justification : le coefficient s’ajuste, en toute bonne foi, jusqu’à retrouver le candidat déjà choisi. L’ordre des opérations compte plus que la valeur des coefficients.

Deuxième règle, plus exigeante : écrire la prédiction. Une ligne par candidat retenu — note, appréciation de référence codée sur une échelle courte, pronostic d’adaptation en deux ou trois classes — puis, douze à dix-huit mois plus tard, on relit la ligne et on la confronte aux faits. C’est la seule opération qui transforme une opinion collective en connaissance locale, et celle qu’on ne fait presque jamais, parce qu’elle expose.
Troisième règle : ne pas tout verser dans une moyenne. Le modèle compensatoire convient aux aptitudes, où un point de moins ici se rattrape là ; il ne convient ni à l’intégrité ni à la sécurité, car un manquement délibéré à une procédure ne se compense pas par une bonne note de systèmes. Ces dimensions se traitent par seuil, écrit dans la procédure, faute de quoi il sera négocié quand la pression de recrutement sera la plus forte. Le seuil de l’épreuve, lui, a deux coûts : moins d’adaptations longues, mais des candidats rejetés qui auraient réussi — et ce second coût ne se voit jamais.
Un dernier paramètre échappe aux coefficients : le temps. Aucune des deux sources ne conserve indéfiniment son pouvoir de séparation, et elles ne se dégradent pas au même rythme — ce qui interdit de fixer une pondération une fois pour toutes et de la réutiliser pour un candidat dont la mesure date.
Cette forme a une conséquence directe : une note vieille de deux ans ne pèse plus ce qu’elle pesait, la connaissance mesurée ayant été soit acquise par tous, soit perdue. Décidez d’une durée de validité et inscrivez-la. Les trames d’entretien, elles, circulent plus vite entre praticiens que dans les manuels, sur le forum FL330 comme en commission de formation.
Ce que change le type d’exploitation
Une pondération n’est pas transposable, parce que le critère lui-même change avec l’exploitation. En transport régulier, l’adaptation est longue, standardisée et chère : le critère le plus utile est le coût de la phase d’apprentissage, et c’est là que l’épreuve écrite trouve sa place la plus solide. En aviation d’affaires, où l’équipage compose avec un programme modifié la veille, une assistance variable d’un terrain à l’autre et parfois un donneur d’ordre à bord, le critère utile est la tenue hors regard et la capacité à opposer un refus argumenté : la source qui renseigne est celle qui décrit un comportement, pas celle qui mesure un stock.
Le travail aérien et le fret déplacent encore le curseur — vols de nuit, terrains peu équipés, rythmes irréguliers. La question posée au référent n’est plus « connaît-il ses systèmes » mais « que fait-il quand la journée s’allonge et que personne ne regarde ». Chez un organisme de formation qui recrute des instructeurs, le critère bascule une troisième fois : ce qu’il faut prédire n’est plus le pilotage mais la capacité à faire progresser un élève et à porter un jugement défendable. Ni la note de connaissances ni la référence d’exploitation ne renseignent sérieusement là-dessus ; seule une séance observée le fait, et son absence explique une bonne part des recrutements d’instructeurs qui déçoivent.
D’où une erreur fréquente chez les structures qui écrivent leur première procédure : reprendre telle quelle la grille d’un exploitant plus gros, c’est importer des coefficients calibrés sur un autre critère et sur un autre vivier. Le squelette se copie — sources définies, ordre des opérations, traçabilité ; les poids, non.
Ce que le cadre impose déjà
Le règlement ne dit pas comment sélectionner ; il impose des points de passage. L’exploitant s’assure des licences, des qualifications et de l’expérience récente, conduit la formation d’adaptation et les contrôles, et en conserve la trace. S’y ajoutent, selon le champ d’application, la vérification des antécédents au titre de la sûreté et, chez les exploitants concernés, une évaluation psychologique du pilote avant sa mise en ligne. Aucun n’est un outil de sélection, mais tous occupent une part du terrain que les références couvraient seules.
Une évolution mérite l’attention de qui recrute à l’international : l’obligation faite à un transporteur américain, dans les conditions fixées par le texte fédéral applicable, de consulter avant embauche l’historique d’emploi, de formation et de contrôle d’un pilote dans un registre alimenté par les employeurs successifs. La différence avec l’appel téléphonique n’est pas de contenu mais de nature : un fait daté ne se rétracte pas. En Europe, la méthode reste à l’exploitant, sous deux contraintes : ne collecter que ce qui sert la décision, et n’écrire sur une personne que des éléments exacts et qui lui sont accessibles.
Le piège : ce que vous notez pendant un appel de référence fait partie du dossier de la personne. Une appréciation au conditionnel, un jugement rapporté sans source, une allusion à la santé glissée par un ancien responsable : tout cela peut être demandé par l’intéressé et devra être justifié. Notez des faits, leur date et leur auteur.
Les trois zones qui restent grises
La première est l’absence de canal : exploitant disparu, carrière militaire, longue interruption, personne à appeler. L’erreur consiste à lire ce vide comme un doute et à baisser silencieusement le candidat. La procédure doit prévoir la voie de remplacement — séance d’évaluation, période probatoire à points d’étape rapprochés — faute de quoi chacun improvisera la sienne, toujours au détriment des mêmes profils.
La deuxième est le poids du temps. Un fait défavorable vieux de cinq ans, suivi d’un parcours propre, n’a pas la valeur du même fait survenu l’an dernier, mais aucun texte ne dit à quelle vitesse il s’efface. Écrivez votre règle, même grossière.
La troisième est le changement de standard. Venu d’une structure où la procédure était orale vers une structure où elle est écrite, le candidat est jugé par ses référents à l’aune d’un référentiel qui n’est pas le vôtre. Demander au référent par rapport à quoi il juge change souvent l’interprétation d’une réserve.
Pour qui prépare un dossier, la conséquence est simple et rarement suivie : vérifiez qui répondra pour vous. Un instructeur qui vous a contrôlé récemment parle de faits datés ; un ancien collègue parle de vous. Demandez aussi à votre exploitant ce que contient votre dossier de formation : c’est cette pièce, et non votre curriculum, qui sera consultée le jour où un recruteur voudra une trace ; les parcours FL330 préparent la note, pas cette trace-là.
Cet article décrit des mécanismes de mesure, pas une obligation. En cas d’écart, le texte applicable, les décisions de l’autorité et la documentation approuvée de l’exploitant — manuel d’exploitation et procédures internes comprises — prévalent sur tout ce qui précède.
Questions fréquentes
Une note d'épreuve écrite garde-t-elle sa valeur deux ans plus tard ?
Elle perd son pouvoir informatif à mesure que la connaissance mesurée est soit acquise par tous, soit périmée. Un score ancien renseigne surtout sur l’aptitude générale, qui bouge peu, et très peu sur les connaissances du moment. Le plus honnête est de fixer une durée de validité explicite dans la procédure et de faire repasser une forme parallèle au-delà.
Faut-il appeler l'ancien responsable hiérarchique ou l'instructeur qui a contrôlé le candidat ?
L’instructeur ou l’examinateur d’abord : il a observé des situations comparables à celles que le candidat rencontrera chez vous, et il parle de faits datés. Le responsable hiérarchique renseigne mieux la fiabilité administrative, la disponibilité et le comportement en équipe. Les deux appels ne portent pas sur la même chose et ne doivent pas être fondus dans une appréciation unique.
Que faire quand l'ancien employeur ne confirme que les dates d'emploi ?
Traiter la réponse comme une donnée manquante, jamais comme une référence neutre ou favorable. L’absence d’information défavorable n’est pas une information favorable. La procédure doit prévoir un canal de remplacement, par exemple une séance d’évaluation ou une période probatoire à points d’étape rapprochés, appliqué de la même façon à tous les candidats concernés.
Faut-il prévenir le candidat des questions que l'on posera à ses référents ?
Oui, et l’annoncer n’affaiblit pas la démarche : les questions portent sur des faits détenus par un tiers, que le candidat ne peut pas réécrire à l’avance. L’information préalable — qui sera appelé, sur quels thèmes, ce qui sera conservé et pendant combien de temps — relève de la loyauté de la collecte et tient en quelques lignes dans la convocation. Elle a un effet secondaire utile : un candidat prévenu propose des référents joignables et pertinents, ce qui réduit le nombre de dossiers bloqués faute de canal.
Peut-on vérifier la validité de sa sélection sans statisticien ?
Oui, à condition d’écrire les pronostics avant et de les relire après. Une ligne par candidat retenu, un pronostic en deux ou trois classes, une relecture douze à dix-huit mois plus tard : le décompte des pronostics justes et faux, comparé à ce que donnerait le hasard, dit déjà l’essentiel. La difficulté n’est pas technique, elle tient à la conservation de la trace et à l’acceptation du résultat.
Le candidat choisissant ses référents, la référence a-t-elle encore un sens ?
Il les choisira toujours, et c’est précisément pourquoi le contenu des questions compte plus que l’identité du référent. Des questions de fréquence et de contexte, identiques pour tous les candidats, réduisent l’avantage d’un référent complaisant. Demander systématiquement à parler de la personne qui a conduit le dernier contrôle, plutôt que de laisser la liste entièrement ouverte, limite encore l’effet.

Laisser un commentaire
Vous devez vous connecter pour publier un commentaire.