Preuve de l’efficacité d’un contrôle de sécurité : preuves acceptables et confirmations erronées

A safety analyst in a control room reviewing flight data to verify the effectiveness of safety controls.

Un contrôle est mis en place, et un an plus tard, la revue de sécurité consigne qu’aucun autre événement de ce type ne s’est produit. L’élément est clos. Le problème est que rien dans cette phrase n’est une preuve concernant le contrôle. Il s’agit d’une preuve concernant un décompte, et un décompte d’événements rares sur une courte période n’apporte presque aucune information, quel que soit son résultat. Prouver qu’une mesure d’atténuation a réduit un risque nécessite un type de preuve différent, et la plupart des organisations détiennent déjà la matière première pour cela sans l’utiliser.

Ce que « efficace » doit signifier avant de pouvoir être mesuré

L’Annexe 19 de l’OACI et le Manuel de gestion de la sécurité qui l’accompagne prévoient que les contrôles de risque doivent être mis en œuvre et que leur performance doit être surveillée. Dans les règles européennes, l’obligation de vérifier l’efficacité est explicite : elle s’applique aux exploitants par le biais des exigences du système de gestion accompagnant la Partie-CAT, et aux organisations de maintenance par le biais de la Partie-145. Aucun de ces textes ne précise comment, et ce n’est pas une omission — la méthode dépend entièrement de ce que fait le contrôle.

Avant que quoi que ce soit puisse être mesuré, l’affirmation doit être formulée sous une forme réfutable. « Cette mesure améliorera la sécurité » ne peut pas être testée. Ce qui peut être testé est une affirmation de la forme : quand cette condition dangereuse spécifique se produit, ce contrôle interrompra la séquence avant cette conséquence spécifique. Cette forme fait trois choses à la fois. Elle nomme la condition, donc vous savez quoi compter. Elle nomme le mécanisme, donc vous savez où chercher une trace. Et elle nomme la conséquence, donc vous savez à quoi ressemblerait un échec.

La plupart des contrôles qui résistent à la mesure résistent parce que l’affirmation n’a jamais été écrite de cette manière. Un contrôle décrit comme « une sensibilisation accrue » n’a pas de sollicitation identifiable, pas de mise en jeu observable et pas de mode de défaillance, donc il n’y a rien à mesurer et rien à réfuter. Il s’agit d’un problème de conception, pas d’un problème de mesure, et il est utile de le détecter au moment où le contrôle est proposé.

Pour prouver qu’un contrôle fonctionne, il faut d’abord définir clairement ce qu’il doit arrêter et comment. Sans cette définition, on ne peut pas savoir si le contrôle est efficace ou non. Par exemple, si un contrôle vise à empêcher les erreurs de saisie, il faut compter combien de fois il a effectivement arrêté une erreur.

Un aéroport installe un système d’alerte pour prévenir les collisions entre avions sur la piste. Pendant six mois, aucun incident n’est signalé. Cependant, le système a été déclenché trois fois pour des intrusions potentielles, toutes résolues sans incident. Cela montre que le contrôle fonctionne, même si aucun accident n’a eu lieu.

Pourquoi le décompte des résultats ne peut pas répondre à la question

Les événements que les contrôles de sécurité existent pour prévenir sont, par construction, rares. Cette rareté est ce qui rend le décompte des résultats inutile aux horizons auxquels les organisations évaluent effectivement leurs contrôles.

Prenons un danger dont le taux historique était tel qu’une année type sur la flotte produisait zéro ou un seul événement. Après la mise en œuvre du contrôle, une année s’écoule sans événement. Ce résultat est le résultat le plus probable sous les deux hypothèses concurrentes — que le contrôle a éliminé le risque entièrement, et qu’il n’a rien fait du tout. Il ne les distingue pas, car il n’y avait jamais assez d’exposition dans la fenêtre d’observation pour que les deux hypothèses produisent des décomptes visiblement différents. Attendre plus longtemps aide, mais l’horizon requis est généralement de plusieurs années au-delà du point où l’organisation a besoin d’une réponse, et à ce moment-là, l’exploitation a suffisamment changé pour que la comparaison ne soit plus valable.

La conséquence n’est pas que les données de résultat sont sans valeur. C’est que les données de résultat sont une confirmation lente et à faible résolution qui a sa place à la fin de la chaîne de preuves, pas au début. Une organisation qui les traite comme preuve principale clôturera des points qui devraient rester ouverts et, plus gravement, développera une confiance dans des barrières qui n’ont jamais été réellement testées.

Le piège. « Aucun événement depuis la mise en œuvre » n’est pas une preuve faible que le contrôle fonctionne. Ce n’est pas une preuve concernant le contrôle, dans un sens ou dans l’autre. L’enregistrer comme un résultat positif transforme une absence d’information en une assurance apparente, et cette conversion est la manière dont les organisations accumulent des barrières auxquelles elles croient et qu’elles n’ont jamais vérifiées.

L’échelle des preuves

Il existe six choses distinctes qu’on peut établir sur un contrôle, et elles ne sont pas interchangeables. Les classer rend visible à quel échelon une organisation se tient réellement lorsqu’elle déclare un contrôle efficace.

Six niveaux de preuves sur un contrôle de risque
Niveau Question répondue Source typique Ce qu’elle ne prouve pas
1. Conception Le contrôle existe-t-il, spécifié et approuvé ? Texte de la procédure, enregistrement de modification, programme de formation Qu’il est présent dans l’exploitation
2. Présence Est-il en place et opérationnel là où et quand il est nécessaire ? Échantillonnage non annoncé, audit, dossiers techniques Que quelqu’un l’utilise
3. Utilisation Est-il réellement utilisé, et non contourné ? Observation en ligne, données de vol, schémas de signature des tâches Que le danger se soit jamais produit
4. Demande La condition dangereuse s’est-elle produite avec le contrôle en place ? Rapports d’événements, événements de données de vol, comptages de précurseurs Que le contrôle ait fait quelque chose à ce sujet
5. Performance à la demande Lorsqu’il est sollicité, a-t-il tenu ? Revue événement par événement des cas de demande Que le risque global ait diminué
6. Résultat Les conséquences sont-elles devenues moins fréquentes ou moins graves ? Historique des accidents et incidents graves Rien — mais il faut des années pour pouvoir en dire quelque chose

Les niveaux un et deux sont ce que la plupart des audits produisent. Ils sont nécessaires et ils sont fréquemment pris pour la réponse. Une conclusion qui indique « procédure publiée, tous les équipages formés, aucun constat relevé » établit le niveau un et une partie du niveau deux. Elle ne dit rien sur les niveaux trois à cinq, où se pose réellement la question.

Demande et performance à la demande

La mesure qui a un poids réel est un ratio : des occasions où la condition dangereuse s’est produite, dans quelle proportion le contrôle a-t-il interrompu la séquence comme prévu. Les deux moitiés doivent être comptées, et le numérateur est sans valeur sans le dénominateur.

Compter les demandes est la partie que les organisations négligent, et c’est généralement la partie qui est disponible. Une demande est un précurseur : la condition que le contrôle a pour objet d’intercepter, qu’elle ait ou non été plus loin. Une contre-vérification qui intercepte une saisie erronée est une demande satisfaite. Une protection physique qui est heurtée est une demande satisfaite. Un système d’alerte qui se déclenche à bon escient est une demande satisfaite. Ces éléments laissent des traces dans les données que l’organisation collecte déjà — événements de surveillance des données de vol, entrées de journal technique, rapports d’aire de trafic, corrections de signatures, texte libre de comptes rendus rédigés pour une autre raison.

Une fois les demandes comptées, trois quantités distinctes deviennent visibles, et elles répondent à des questions différentes. Un taux de demande élevé avec un succès élevé indique que le contrôle est fortement sollicité et tient — il indique également que le danger sous-jacent n’a pas disparu, ce qui importe pour savoir si le contrôle peut être retiré un jour. Un taux de demande élevé avec un succès intermittent identifie exactement où investir. Et un taux de demande de zéro indique quelque chose d’important et facile à mal interpréter : soit le danger ne se produit pas, soit le contrôle n’est pas mis en jeu, soit personne n’enregistre ces mises en jeu. Ces trois possibilités ont des réponses entièrement différentes, et seul le travail sur le terrain les distingue.

Le bon réflexe. Avant de mettre en œuvre un contrôle, décidez à quoi ressemblera une demande satisfaite dans les données, et confirmez qu’elle laissera une trace que quelqu’un peut récupérer. Un contrôle qui fonctionne de manière invisible peut être parfaitement appliqué sans que son efficacité puisse jamais être démontrée. Concevoir pour la mesurabilité à ce stade coûte une réunion ; l’ajouter a posteriori est généralement impossible.

Comment une mesure se confirme faussement

La plupart des fausses confirmations ne sont pas malhonnêtes. Ce sont des artefacts statistiques et organisationnels ordinaires qui ressemblent exactement à un succès.

Un ouvrier du bâtiment en casque et gilet haute visibilité vérifie une feuille de contrôle sur un chantier de nuit.
Les contrôles de sécurité sont essentiels pour éviter les accidents du travail.
Fausses confirmations, et l’indice qui expose chacune d’elles
Modèle Comment elle apparaît L’indice
Faux événement zéro « Aucun événement depuis le changement » La période pré-changement contenait également de longues séries à zéro
Régression vers la moyenne Un regroupement a déclenché l’action ; le taux a ensuite baissé L’action a suivi un pic inhabituel plutôt qu’une tendance
Changement du taux de déclaration Les déclarations baissent, ou augmentent, juste après la mise en œuvre Le changement comprenait des briefings, des campagnes ou un nouveau formulaire
Dérive de la définition Le nombre d’événements de la catégorie diminue La taxonomie ou le seuil a été révisé dans la même période
Changement d’exposition Les nombres absolus baissent Les secteurs, les saisons, la composition de la flotte ou le réseau ont également changé
Déplacement L’événement disparaît à un endroit Une catégorie connexe augmente quelque part en aval
Compensation du risque La barrière fonctionne ; la marge ne s’améliore pas Le comportement s’est adapté à la nouvelle protection
Effet d’observation Les observations en ligne montrent une conformité excellente La conformité n’est mesurée que lorsque quelqu’un regarde

Trois de ces éléments méritent une note. Régression vers la moyenne est la plus courante et la plus difficile à réfuter, car les contrôles sont presque toujours introduits après un regroupement, et les regroupements sont suivis de périodes plus calmes, que quelque chose ait été fait ou non. La parade consiste à comparer avec une ligne de base plus longue que le regroupement et à regarder la tendance avant le pic, pas le pic lui-même.

Changement du taux de déclaration joue dans les deux sens et est fréquemment mal interprété dans le sens favorable. Un contrôle introduit avec communication et formation augmente la sensibilisation, ce qui augmente les déclarations, ce qui fait que l’indicateur semble pire alors que le risque baisse. L’inverse se produit également : lorsqu’un changement est perçu comme ayant réglé la question, on cesse de déclarer la même condition parce que les gens supposent qu’elles ne sont plus souhaitées. Aucune de ces variations du décompte n’est liée au danger.

Déplacement est celui qui produit un préjudice réel plutôt qu’une simple fausse assurance. Un contrôle qui rend une tâche plus difficile à un endroit déplace souvent le travail plutôt que d’éliminer le danger : une étape qui devient difficile est effectuée plus tôt, ailleurs, ou par quelqu’un d’autre. La catégorie d’événements que l’organisation surveillait s’améliore, et une autre se dégrade, généralement déclarée par un autre service sous un autre intitulé. Ne regarder que la catégorie ciblée par le contrôle garantit de passer à côté.

Rédigez le critère de réfutation avant le changement

La discipline la plus efficace disponible ici ne coûte rien et est rarement appliquée : avant de mettre en œuvre le contrôle, notez par écrit quel résultat compterait comme un échec.

L’enregistrement doit contenir l’affirmation du mécanisme sous la forme réfutable donnée ci-dessus ; l’indicateur de demande et l’endroit où il sera lu ; l’indicateur de performance à la demande ; le résultat spécifique qui amènerait l’organisation à conclure que le contrôle ne fonctionne pas ; une date de revue ; et les conditions dans lesquelles le contrôle serait retiré. Définir à l’avance ce qui compterait comme un échec élimine la latitude d’interprétation qui apparaît autrement lors de la revue, lorsque la personne évaluant le contrôle est souvent celle qui l’a proposé et que les preuves sont suffisamment ambiguës pour soutenir les deux conclusions.

La condition de retrait est plus importante qu’il n’y paraît. Les contrôles s’accumulent. Chaque ajout consomme de l’attention, ajoute une étape, et dégrade légèrement les contrôles déjà présents en rivalisant avec eux pour la même capacité opérationnelle finie. Une organisation qui ne retire jamais un contrôle finit par avoir une procédure que personne ne peut exécuter en entier, et à ce stade, le tri informel des étapes qui sont réellement effectuées est réalisé par le personnel de première ligne plutôt que par le processus de sécurité.

Indicateurs qui mesurent le papier

Certains indicateurs sont populaires parce qu’ils sont faciles à collecter, et malheureusement, ils mesurent l’administration plutôt que le risque.

Indicateurs faibles et substituts plus solides
Indicateur courant Ce qu’il mesure réellement Substitut plus solide
Pourcentage du personnel formé Fréquentation du cours Exécution correcte observée sur un échantillon non annoncé
Procédure publiée et révisée Contrôle documentaire Proportion des tâches échantillonnées où la procédure est présente et à jour au moment de l’utilisation
Nombre d’audits sans constat Portée et profondeur de l’audit Temps de rétablissement du contrôle après qu’il a été trouvé hors service
Événements du type ciblé Comportement de déclaration et exposition Demandes sur le contrôle, et proportion de demandes satisfaites
Actions de sécurité clôturées à temps Gestion de projet Éléments rouverts parce que le contrôle n’a pas tenu

Aucun des éléments de la colonne de gauche n’est sans valeur. La formation achevée et le contrôle documentaire sont de véritables obligations et ont leur place dans le système de gestion. L’erreur consiste à les classer dans la rubrique efficacité, où ils répondent à une question que personne n’a posée.

Ce qui peut être vérifié sur le terrain cette semaine

Cinq vérifications ne nécessitent aucune nouvelle collecte de données et peuvent être effectuées sur tout contrôle présent physiquement ou dans les procédures.

  • Trouvez-le sans préavis. Rendez-vous sans préavis sur un échantillon aléatoire des endroits où le contrôle devrait se trouver, et établissez s’il est présent et opérationnel. Pour une barrière technique, c’est à prendre au pied de la lettre. Pour une barrière procédurale, cela signifie vérifier si le document, l’outil ou la deuxième personne que la procédure suppose est réellement disponible au moment où la tâche est effectuée.
  • Cherchez le contournement. Un contrôle contourné laisse des traces physiques : un capteur obstrué, une protection retirée et non remise en place, un verrouillage neutralisé, une fiche aide-mémoire plastifiée qui contredit la procédure officielle, une étape systématiquement validée avec la suivante. Ces traces sont informatives précisément parce que personne ne les a produites pour l’auditeur.
  • Demandez qu’on vous montre, pas qu’on vous dise. La question « que dit la procédure » teste la mémoire. La question « montrez-moi comment vous avez fait celle-ci » teste le contrôle. L’écart entre les deux réponses est la véritable mesure, et il n’apparaît que si l’exercice ne comporte aucun risque — ce qui signifie que les conditions dans lesquelles l’observation est menée font partie de sa validité.
  • Mesurez le temps de rétablissement. Lorsque le contrôle est trouvé hors service ou indisponible, combien de temps reste-t-il dans cet état ? Une barrière dont la remise en service est différée pendant des semaines est disponible moins souvent que l’organisation ne le croit, et les enregistrements de report donnent un taux de disponibilité directement utilisable sans aucune nouvelle instrumentation.
  • Demandez quand il a gêné pour la dernière fois. Les personnes qui travaillent avec un contrôle quotidiennement savent exactement quand il a été contraignant, et la réponse distingue un contrôle qui interagit avec l’exploitation d’un contrôle inerte. Un contrôle qui n’a jamais une seule fois été un obstacle n’a fort possiblement jamais été sollicité.

Lorsque la réponse honnête est que vous ne pouvez pas encore le savoir

Certains contrôles ne peuvent pas être prouvés efficaces dans la période de revue, et le dire est un meilleur résultat que de fabriquer une confirmation. Un enregistrement qui indique « le contrôle est présent, correctement utilisé dans les cas échantillonnés, n’a pas encore été sollicité, et son efficacité ne peut pas être évaluée avant la prochaine revue » est précis, exploitable et sûr. Un enregistrement qui indique « efficace, aucun événement » n’est aucune de ces choses, et il est pire que le silence, car la personne suivante le lit comme une vérification et cesse de chercher.

La déclaration des événements conformément au règlement (UE) 376/2014 fournit une partie de la matière première pour ce travail, mais seulement la partie qui franchit le seuil de déclaration. Les demandes qu’un contrôle satisfait silencieusement sont rarement déclarables, c’est pourquoi elles doivent être recueillies délibérément, et pourquoi une organisation qui s’appuie uniquement sur le flux de déclaration obligatoire sera en permanence à court des preuves dont elle a le plus besoin. Les professionnels qui comparent la manière dont leurs organisations gèrent cela trouvent utile d’en débattre sur les forums professionnels FL330.

Commentaires

Laisser un commentaire

Découvrez l’écosystème FL330

FL330, c’est toute l’aviation professionnelle — explorez nos autres espaces.