Enquêtes de culture de sécurité : lire les résultats sans se rassurer à bon compte

A group of maintenance workers in a dimly lit hangar hesitate to fill out a safety survey while a supervisor watches, creating a tense atmosphere.

Une enquête sur la culture de sécurité donne presque toujours des résultats rassurants. Les moyennes se situent dans la partie haute de l’échelle, le taux de réponse est présentable et le rapport qui parvient au conseil d’administration indique que l’organisation est en bonne forme. Cette lecture est généralement erronée — non pas parce que les données sont mauvaises, mais parce que la moyenne d’une enquête sur la culture de sécurité est le chiffre le moins informatif qu’elle contient. L’information se trouve dans les écarts, la dispersion et les silences.

Ce qu’une enquête mesure et ce qu’elle ne peut pas mesurer

Un questionnaire sur la culture de sécurité mesure les perceptions, maintenues par des personnes qui ont choisi de répondre, à un moment donné, sur des choses qu’elles croient être vraies. Il ne mesure pas la sécurité, ne mesure pas le risque et ne mesure pas si le système de gestion fonctionne. Il mesure ce que les employés croient qu’il adviendrait s’ils signalaient quelque chose, ce qu’ils croient que leurs supérieurs récompensent réellement et s’ils croient que quelque chose change ensuite.

C’est un outil étroit, et sa limitation est précisément sa valeur. Dans le cadre de la gestion de la sécurité établi dans l’Annexe 19 de l’OACI et mis en œuvre à travers les exigences du système de gestion européen applicables aux exploitants, aux organisations de maintenance Part-145 et aux organismes de gestion du maintien de la navigabilité, une grande partie du système dépend du fait que les personnes fournissent volontairement des informations que personne d’autre ne possède. Rapports de dangers, rapports d’événements, rapports confidentiels et commentaires informels à un responsable de permanence sont tous des actes volontaires. Une enquête est l’une des rares façons de tester la disposition que tout l’édifice suppose.

Ce qu’elle ne peut jamais faire, c’est déterminer si cette disposition est justifiée. Les employés peuvent croire que signaler est sûr alors que ce n’est pas le cas, ou croire que c’est dangereux alors que la politique est solide et simplement invisible. Les perceptions sont la mesure ; la réalité doit être établie ailleurs, par comparaison avec ce que le système enregistre.

Une enquête ne mesure pas la sécurité réelle, mais ce que les employés pensent de la sécurité. Si tout le monde croit que signaler un problème est dangereux, cela peut indiquer un problème, même si la politique officielle dit le contraire.

Un exploitant aérien avec un taux élevé de rapports de sécurité pourrait sembler en bonne santé. Mais si 80% des rapports viennent d’une seule base, cela peut révéler que les autres bases ont peur de signaler des problèmes, malgré des politiques officielles encourageant les signalements.

Le taux de réponse est un signal sur l’organisation, pas une note de qualité

Le taux de réponse est traité comme un indicateur indirect de confiance, et la tentation est de se réjouir lorsqu’il est élevé. Il est plus utile de le lire comme une observation sur la manière dont les réponses ont été recueillies.

Un taux élevé obtenu par le biais d’une participation volontaire, anonyme et en dehors des heures de travail est un signal authentique : les personnes ont estimé que cela valait la peine de consacrer leur temps. Un taux élevé obtenu en faisant relancer les individus par leurs supérieurs, en faisant remplir les formulaires lors d’un briefing, sous le regard d’autrui ou en faisant de la participation une condition d’autre chose est une tout autre chose. Cela indique que l’organisation est capable de se conformer, ce dont personne ne doutait, et cela fausse les réponses dans un sens rassurant.

L’inverse s’applique également. Un taux faible n’est pas simplement un problème d’échantillonnage. C’est un résultat. Si deux tiers des pilotes de ligne n’ont pas répondu à une enquête sur la possibilité de s’exprimer sans risque, l’hypothèse de travail sensée n’est pas l’indifférence. La non-réponse est la donnée la plus sous-exploitée de tout l’exercice, et elle a un biais spécifique : les personnes qui doutent le plus de la confidentialité du processus sont, par construction, les moins susceptibles d’apparaître dans les données.

Le piège. Annoncer un taux de réponse sans indiquer comment l’enquête a été distribuée. Le même pourcentage signifie des choses opposées selon que le superviseur était présent, et la méthode de distribution n’apparaît presque jamais dans le rapport résumé.

Lisez les écarts avant de lire la moyenne

L’un des résultats les plus constants dans la recherche sur le climat de sécurité est que différentes populations au sein de la même organisation donnent des réponses systématiquement différentes, et que la différence est plus grande et plus stable que toute moyenne au niveau organisationnel. La direction a tendance à évaluer le climat de sécurité plus favorablement que le personnel de première ligne. L’équipage de vol et l’équipage de cabine divergent souvent sur la même question concernant les mêmes vols. La maintenance en ligne et la maintenance en base répondent différemment sur la pression du temps.

Un homme plus âgé en costume tient une tablette affichant une enquête, tandis qu'un homme plus jeune en gilet de sécurité se tient les bras croisés, l'air sceptique.
Les résultats des enquêtes exigent un examen critique, pas une acceptation aveugle.

Ces écarts sont le diagnostic. Une organisation dont la moyenne est élevée mais dont l’écart entre la direction et la première ligne est large n’est pas en bonne forme : c’est une organisation où les personnes responsables du système ne savent pas ce que cela fait de travailler à l’intérieur. Selon la description classique du flux d’information par Westrum, c’est la différence entre une organisation où les mauvaises nouvelles circulent et une où elles sont filtrées en remontant.

Lire l’écart entre les populations
Comparaison Une large différence suggère Que regarder ensuite
Direction générale versus première ligne L’information est filtrée vers le haut ; la direction lit une image édulcorée Comment les rapports sont résumés avant d’arriver au dirigeant responsable
Équipage de vol versus équipage de cabine Volonté asymétrique de soulever une préoccupation à travers la porte du poste de pilotage Formation conjointe, pratique de briefing et suivi des rapports de cabine
Une base ou une escale versus le reste Un effet de gestion local plutôt qu’une culture d’entreprise Planification locale, effectifs et changements récents de personnes
Nouveaux employés versus personnel expérimenté Soit une bonne intégration, soit une résignation pas encore acquise, selon le sens Dans quelle direction pointe l’écart et combien de temps les nouveaux employés mettent à converger
Personnel intérimaire ou d’agence versus personnel permanent Signaler est perçu comme un risque pour l’emploi futur Si la politique de culture juste couvre explicitement le personnel non permanent

Stratifier de cette manière entre en conflit avec la confidentialité, et la collision est réelle. Publier les résultats pour une base avec quelques membres d’équipage de cabine, ou pour un seul quart de maintenance, peut identifier des individus aussi efficacement que d’imprimer leurs noms. La règle pratique est de fixer une taille minimale de cellule avant le début de l’enquête, de la publier et de supprimer toute donnée en dessous de ce seuil — même lorsque la cellule supprimée est justement la plus intéressante. Décider après coup ressemble exactement à la dissimulation d’un mauvais résultat, que ce soit le cas ou non.

Dispersion, « je ne sais pas » et le texte libre

Trois parties de l’ensemble de données sont systématiquement écartées et valent plus que les scores principaux.

Dispersion. Deux questions peuvent avoir une moyenne élevée : l’une parce que presque tout le monde est d’accord, l’autre parce que la moitié de la population est fortement d’accord et un quart fortement en désaccord. La seconde traduit un personnel divisé et la première un personnel uni, et la moyenne cache complètement la différence. Tout élément avec une distribution bimodale mérite une attention, indépendamment de sa moyenne.

Le taux de « je ne sais pas ». Dans les éléments sur les politiques — si une politique de culture juste existe, ce qui se passe après la soumission d’un rapport, qui décide des actions disciplinaires — un taux élevé de « je ne sais pas » n’est pas neutre. Il mesure la visibilité d’un mécanisme que l’organisation croit avoir communiqué. Une politique qui existe et est inconnue ne protège personne, car la protection ne fonctionne que si la personne qui décide de signaler ou non y croit au moment de la décision.

Le texte libre. Les champs de commentaires sont là où se trouve les éléments précis et exploitables, et ils sont la première victime d’une analyse hâtive. Ils doivent être codés systématiquement plutôt que cités de manière sélective : comptez les sujets, notez quelles populations soulèvent lesquels et résistez à la tentation du seul commentaire frappant. Une phrase frappante d’un répondant dominera une discussion de gestion de manière disproportionnée par rapport à son poids, et éclipsera un sujet soulevé discrètement par quarante personnes.

La bonne réaction. Avant de présenter les résultats, convenez par écrit de ce qui constituerait un mauvais résultat. Décider du seuil après avoir vu les chiffres garantit que les chiffres seront interprétés comme acceptables.

Les éléments qui portent le plus de signal

Toutes les questions ne sont pas également diagnostiques. Un petit nombre d’éléments correspondent directement aux mécanismes dont dépend le système de gestion, et ceux-ci méritent d’être lus individuellement plutôt que d’être intégrés dans un score composite.

Familles de questions et comment elles sont typiquement mal lues
Famille de questions Ce qu’elles mesurent réellement Lecture typiquement erronée
« Je signalerais ma propre erreur » Conséquence personnelle attendue de l’auto-déclaration Lu comme de l’honnêteté ; c’est une prévision sur la réaction de l’organisation
« Les rapports conduisent à des changements visibles » Si la boucle de rétroaction est fermée et est perçue comme fermée Lu comme de la satisfaction ; prédit le futur taux de rapports
« Je sais ce qui se passe avec un rapport après l’avoir soumis » Visibilité du processus, pas confiance en lui Fusionné avec des éléments de confiance, ce qui cache un problème de communication soluble
« Je peux faire part d’une préoccupation à un collègue plus ancien » Pente du gradient d’autorité en pratique Lu comme un résultat de formation ; c’est en grande partie un résultat de gestion locale
« Les horaires et objectifs ne me poussent pas à prendre des raccourcis » Équilibre perçu entre production et protection Traité comme un élément de moral ; relève de l’évaluation des risques
« La sécurité est prise au sérieux par la direction générale » Réputation du leadership, faiblement liée au comportement On lui donne le plus de poids, bien que ce soit l’élément le moins exploitable du formulaire

La dernière ligne est celle à surveiller. Les éléments génériques d’engagement de la direction obtiennent de bons scores presque partout et sont difficiles à relier à un quelconque résultat mesurable. Ils sont confortables à présenter et presque impossibles à traduire en actions, c’est précisément pourquoi ils finissent en première diapositive.

Croiser la perception avec ce que le système enregistre déjà

Une enquête lue seule est une enquête d’opinion. Confrontée aux données opérationnelles de l’organisation, elle devient une preuve. Les vérifications sont peu coûteuses, car les données existent déjà dans le système de gestion de la sécurité.

Signal de l’enquête face à un indicateur dur
Signal de l’enquête Indicateur à comparer Que signifie une contradiction
Haute disposition déclarée à signaler Taux de rapports par population et la proportion qui sont des auto-déclarations La disposition déclarée relève de l’intention ; la barrière est pratique, pas culturelle
« Les rapports conduisent à des changements » Temps pour fermer une action et comment la fermeture est communiquée Les actions sont fermées administrativement sans que personne ne s’en aperçoive
Faible pression de production perçue Tendances des défauts reportés, interruptions de planification, changements tardifs au plan La pression est normalisée et n’est plus perçue comme de la pression
Confiance dans la politique de culture juste Nombre et résultat des cas où la politique a été réellement appliquée La confiance repose sur une politique qui n’a jamais été testée en public
Scores élevés dans une base Qualité locale des rapports, pas volume des rapports Le volume peut être stimulé ; la qualité reflète si signaler a du sens

Le volume des rapports mérite un avertissement en soi. Un compte croissant de rapports est souvent présenté comme un succès et l’est souvent — mais cela peut aussi signifier un nouveau danger, une nouvelle obligation de compte rendu ou une campagne qui a suscité des comptes rendus de faible valeur. Le volume sans évaluation de la qualité est une métrique de gestion, pas de sécurité.

Benchmarking, tendances et la tentation de l’objectif

Deux habitudes causent plus de tort que toute mécompréhension individuelle.

  • Le benchmarking externe. Comparer un score à une référence de l’industrie suppose un instrument identique, un mélange de population identique et une méthode de distribution identique. Ces conditions sont rarement remplies, et la comparaison mesure principalement des différences méthodologiques. Là où la comparaison entre exploitants est réellement utile, c’est dans la formulation des questions et dans ce sur quoi d’autres organisations ont décidé d’agir — une discussion qui se déroule de manière plus utile entre professionnels, y compris dans les forums professionnels FL330, plutôt que par le biais d’un benchmarking acheté.
  • Transformer un score en objectif. Dès qu’un score de culture de sécurité apparaît dans un objectif de gestion, l’organisation acquiert un intérêt pour le chiffre plutôt que pour la chose qu’il représente. Les mécanismes sont banals et efficaces : rappels programmés juste après un bon mois, cadrage dans l’introduction, encouragement des enthousiastes et silence envers les sceptiques. L’indicateur se déplace vers le haut et la réalité sous-jacente ne bouge pas du tout.

Ce qui nécessite réellement une décision au niveau de la direction

La plupart des résultats de l’enquête relèvent du département de sécurité. Certains non, car ils concernent des choses que seul le dirigeant responsable peut changer. Il est utile de les séparer explicitement dans la présentation, car un rapport qui les mélange conduit souvent à ce que le bureau de sécurité se voit demander de résoudre des problèmes sur lesquels il n’a pas d’autorité.

  • Toute chose concernant les conséquences du signalement. La frontière entre une erreur acceptable et un comportement inacceptable est une question de politique et de discipline. Elle ne peut être résolue par des campagnes de promotion et doit être énoncée par la personne qui signe les décisions disciplinaires.
  • Toute chose concernant la pression de production. Temps d’escale, stabilité de la planification, marges de personnel, tolérance aux défauts reportés. Ce sont des décisions commerciales avec des conséquences en matière de sécurité et elles dépassent l’autorité du responsable de la sécurité.
  • Toute chose concernant la visibilité de la rétroaction. Si les résultats sont publiés, sous quelle forme et avec quel délai. C’est peu coûteux à résoudre et invariablement négligé.
  • Écarts persistants par base ou fonction. Un schéma local qui survit à deux cycles d’enquête est un problème de gestion à cet endroit, pas une caractéristique culturelle de la main-d’œuvre.

Re-mesurer sans apprendre aux gens la réponse

C’est en répétant une enquête que la plus grande partie de la valeur analytique s’accumule, et c’est là qu’il est le plus facile de la détruire. Maintenez la formulation des éléments principaux stable, ou la tendance mesure la réécriture plutôt que l’organisation. Maintenez la méthode de distribution stable, pour la même raison. Changez une chose à la fois et enregistrez ce qui a changé.

Par-dessus tout, publiez quelque chose en retour avant de demander à nouveau. La manière la plus fiable de faire baisser le prochain taux de réponse est de réaliser une enquête, de ne rien dire sur les résultats et de ne rien changer de visible. Les employés tirent la conclusion évidente, et ils le font avec précision : cet exercice sert à les mesurer plutôt qu’à les aider. Le prochain ensemble de chiffres semblera plus calme, le taux de réponse sera plus faible et l’organisation l’archivera comme une amélioration.

Commentaires

Laisser un commentaire

Découvrez l’écosystème FL330

FL330, c’est toute l’aviation professionnelle — explorez nos autres espaces.