Competencias no técnicas en los controles: cómo evaluar lo que no se cronometra

Salle de débriefing avec deux chaises face à face, horloge murale simple et feuille vierge sur la table

Dos examinadores asisten al mismo motor y al aire en simulador. Uno lleva la gestión de la carga de trabajo a un nivel superior, el otro la considera apenas aceptable. Ninguno de los dos ha mirado mal: no tienen la misma lectura de la cuadrícula. Mientras el control medía tolerancias — un eje mantenido, una altitud, un tiempo —, la diferencia entre los evaluadores era marginal. Desde que la nota compromete la comunicación, la toma de decisiones o el liderazgo, el método de calificación se ha convertido en un objeto de seguridad por sí mismo: una cuadrícula mal calibrada produce notas indefendibles, y decisiones de control que no resisten una impugnación.

Calificar un comportamiento, nunca una personalidad

Las primeras generaciones de evaluación de las competencias de la tripulación calificaban una impresión — « buen espíritu de equipo », « liderazgo natural ». Doble callejón sin salida. La impresión no es cuestionable — no se debriefea un rasgo de carácter — y no es explotable: no dice qué entrenar. Los marcos actuales, heredados de los trabajos europeos sobre la evaluación de las competencias no técnicas de las tripulaciones y luego generalizados por el marco de competencias promovido por la OACI, se basan en un giro completo: no se puntúa una cualidad, se puntúan comportamientos observables, descritos por verbos de acción. « Anuncia el desvío en cuanto lo detecta. » « Reparte las tareas antes del punto de alta carga. » « Verbaliza su intención antes de actuar sobre los automatismos. »

Un indicador bien redactado tiene tres propiedades. Es observable: ningún estado mental, ninguna intención supuesta. Es factual: descrito sin adjetivos, por lo tanto, registrable tal cual en un informe de sesión. Es datable: vinculado a un momento preciso, lo que permite encontrarlo — en un video, en los datos del simulador, en las notas del otro observador. Toda la mecánica que sigue — baremo, calibración, impugnación — se basa en esta unidad de medida, y se derrumba si es blanda.

Para evaluar bien, hay que mirar comportamientos concretos, no opiniones. Un buen indicador es algo que se puede ver, describir sin adjetivos y vincular a un momento exacto. Si no, la nota no sirve.

En un simulador, un examinador registra: «El piloto anunció un desvío de velocidad a 10.000 pies, pero no lo hizo al detectarlo por primera vez a 8.000 pies». Este hecho, con hora exacta, sirve para evaluar la competencia de comunicación.

Cadena de inferencia de la notaCuatro etapas unidas por flechas etiquetadas selección, interpretación y baremo: hechos con hora, indicador observado, competencia evaluada, nota según baremo.Cada flecha añade una interpretaciónHechoscon horaIndicadorobservadoCompetenciaevaluadaNotasegún baremotriinterpretaciónbaremo
La nota es el final de una cadena de inferencias, no una medición directa. Entre lo que ocurrió y la cifra anotada en la hoja, el examinador selecciona, interpreta y luego convierte: cada etapa debe seguir siendo trazable hasta los hechos.

La figura de arriba dice lo esencial del problema: la nota es el final de una cadena de inferencias, no una lectura de instrumento. El examinador filtra lo que retiene, lo interpreta en indicadores, agrega los indicadores en competencia, convierte la competencia en nivel. Una nota defendible es una nota que se puede desglosar al revés, del número hasta los hechos horarios. Una nota indefendible es una nota en la que falta un eslabón — y casi siempre es el primero: los hechos.

Lo que realmente contiene una cuadrícula

Una cuadrícula en servicio superpone tres capas: las competencias — unas pocas, notablemente estables de un explotador a otro —, los indicadores conductuales que las desarrollan, y una escala con unos pocos niveles, cada uno descrito por un retrato de desempeño. Es en la escala donde se esconde la elección doctrinal más pesada, porque dos lógicas compiten por el lugar.

Dos lógicas de baremo para la misma hoja
Lecture Escala por criterios Échelle normative
Pregunta planteada ¿Están presentes los comportamientos esperados, y con qué frecuencia? ¿Dónde se sitúa la actuación respecto a lo que se espera en este nivel?
Point fort Suelo claro: lo aceptable se define mediante hechos Discrimina la parte alta del espectro, útil para orientar el entrenamiento
Point faible Aplana la parte alta de la escala: todo lo «conforme» se parece Depende de la población de referencia propia de cada examinador
Deriva típica Calificación binaria encubierta Indulgencia o severidad según la experiencia del calificador
Usage dominant Umbral de aprobado, decisión de control Niveles superiores de la hoja, orientación del entrenamiento

La mayoría de los baremos en servicio combinan las dos: un piso criteriado — lo aceptable está definido por comportamientos presentes o ausentes, no por una comparación —, y niveles superiores apreciativos, que sirven menos para la decisión de control que para orientar el entrenamiento. Saber en qué lógica se califica en un momento dado es la primera competencia del evaluador: una buena parte de los desacuerdos de calificación son en realidad desacuerdos de lógica de escala.

Queda el piso mismo. En línea con los métodos históricos de evaluación de competencias no técnicas, una nota desfavorable exige más que un hecho aislado: la repetición del comportamiento, y su vinculación a una consecuencia observable en la conducción del vuelo. Este doble cerrojo protege a ambas partes — al candidato contra el anécdota exagerada, al examinador contra el reproche de arbitrariedad.

Matriz repetición y consecuenciaMatriz que cruza la repetición del comportamiento y su consecuencia sobre la conducción del vuelo: solo el cuadrante repetido con consecuencia observable sostiene una nota desfavorable defendible; los otros tres corresponden al registro o al debriefing.aucuneobservableconsecuencia sobre la conducción del vueloaisladorepetidorepeticiónhecho aislado:registrar, no calificarfait marquant :documentarsignal faible :tratar en el debriefingnota desfavorabledefendible
Una nota desfavorable defendible exige repetición y una consecuencia observable. Los otros tres cuadrantes no se pierden por ello: alimentan el debriefing y la documentación de la sesión, sin llevar la cifra.

La calibración: fabricar concordancia entre examinadores

Una buena cuadrícula no es suficiente. Den la misma sesión filmada a diez examinadores calificados, sin otra preparación: la dispersión de las notas siempre sorprende la primera vez — no porque algunos miren mal, sino porque cada uno pondera los indicadores con su propia experiencia de línea e instrucción. La concordancia entre evaluadores no es un estado adquirido con la calificación: es un producto de mantenimiento.

Tres hombres con camisas azules están sentados en un escritorio en una sala de control, mirando una gran pantalla que muestra una simulación de aeródromo con un avión, mientras toman notas.
La evaluación de habilidades blandas requiere observación y documentación.
Ciclo de concordancia de los examinadoresCiclo en cuatro etapas: cada examinador califica de forma independiente una sesión de referencia, se miden y archivan las diferencias, se ajusta el referencial común y una nueva sesión de referencia reinicia el ciclo.sesión de referenciacalificación independientemedición de las diferenciasreferencial ajustadociclo de concordancia
La concordancia no se decreta, se mantiene en ciclo. Cada vuelta —calificación independiente de una misma sesión, medición de las diferencias, ajuste del referencial— reduce la dispersión entre examinadores sin llegar nunca a eliminarla.

El bucle es simple y exigente. Una sesión de referencia, calificada independientemente por cada uno; una medición de los desvíos, indicador por indicador, archivada; una discusión que no busca el consenso blando sino el origen de cada desvío — lectura diferente de un indicador, ponderación diferente de un mismo hecho, o hecho visto por uno y no por el otro; finalmente un referencial común ajustado, que servirá de memoria para la próxima sesión. El objetivo no es la nota idéntica: es que dos examinadores que diverjan puedan explicar su divergencia por la cuadrícula, y no por sus hábitos.

Entre dos sesiones de concordancia, la supervisión se vuelve estadística. Cada examinador tiene un perfil de calificación — promedio, dispersión, correlación entre competencias — y este perfil es una firma. Un promedio que se aleja duraderamente del de los pares señala una indulgencia o severidad instalada; una dispersión que se desploma señala un evaluador que ya no decide; columnas demasiado correlacionadas señalan un halo. Ninguna de estas señales condena: cada una abre una conversación, idealmente antes de que los candidatos la sufran.

Dos perfiles de calificación de examinadoresDos distribuciones de notas en la misma escala: el examinador A, en trazo continuo, concentra casi todas sus notas en el escalón central; el examinador B, en discontinuo, utiliza toda la gama de escalones. Sesiones idénticas, firmas estadísticas opuestas.A: tendencia central (continuo)B: toda la gama (discontinuo)12345escalón anotado en la hojafrecuencia
Con sesiones idénticas, el perfil de calificación es una firma. La distribución aplastada en el escalón central no informa sobre los candidatos: señala a un calificador que ya no se pronuncia, exactamente lo que la revisión periódica de los perfiles busca detectar.

Las derivas clásicas y sus firmas

Ninguna deriva de calificación es original. Todas están descritas, todas son medibles, y todas reaparecen tan pronto como se deja de perseguirlas — porque ninguna procede de mala fe: son economías cognitivas normales, que la fatiga de un día de simulador agrava.

Cinco derivas de calificación, sus firmas y sus contramedidas
Deriva Firma en las notas Contre-mesure
Efecto halo Competencias muy correlacionadas: un punto fuerte arrastra todas las columnas Calificar competencia por competencia, a partir de hechos distintos
Tendance centrale El escalón medio absorbe la práctica totalidad de las notas Exigir una cita textual para el escalón medio igual que para los extremos
Indulgencia o severidad Media alejada de forma persistente de la de los pares Revisión de los perfiles de calificación, sesiones de concordancia
Recencia La nota refleja el último cuarto de la sesión Hechos con hora durante la sesión, calificación diferida
Contamination technique Una aproximación lograda «compra» las notas no técnicas Separar el registro de los parámetros del registro de los comportamientos

La más costosa en la práctica no es ni el halo ni la indulgencia: es la recencia, porque ataca el eslabón de los hechos. Una sesión de control dura horas; la memoria del evaluador no restituye una imagen uniforme, sino una curva en U — el principio marca, el final aplasta, el medio se borra. Precisamente en el medio de la sesión es donde se juegan la comunicación rutinaria, el mantenimiento del reparto de tareas, la gestión de la carga de trabajo fuera de los picos — las competencias que la cuadrícula pretende capturar.

Efectos de primacía y de recencia en la calificaciónCurva en U del peso de los sucesos en la memoria del examinador: alto al principio por primacía, bajo en el medio y máximo al final por recencia, mientras que una recta discontinua recuerda el peso real, uniforme, de los hechos.primacíarecenciamitad de la sesión: el huecopeso real de los hechos (discontinuo)iniciofintiempo de sesiónpeso en la nota
Sin notas con hora, la memoria reconstruye la sesión en U. El principio y sobre todo el final pesan más que su peso real; la mitad de la sesión, a menudo la más rica en gestión de la carga de trabajo, desaparece de la calificación.

La trampa: calificar de memoria en el debriefing. Una cuadrícula rellenada a posteriori no se rellena por la sesión: se rellena por lo que la memoria ha retenido — el principio, el final y el evento más espectacular. El examinador cree revivir la sesión; revive su curva en U. Y si el candidato impugna, no hay nada que oponer: no hay hechos, no hay hora, no hay indicador — una impresión, precisamente lo que la cuadrícula debía eliminar.

La nota como materia prima del entrenamiento

En un programa de formación basado en datos probados, la nota no termina en un expediente: agregada y anonimizada, orienta los módulos siguientes — las competencias cuyos puntajes caen a escala de la flota se convierten en prioridades del programa. Este bucle cambia el costo de una calificación complaciente. Ya no falsea solo un expediente individual: priva al sistema de su señal, y hace entrenar a toda una flota en las debilidades equivocadas.

El debriefing es la otra mitad de la calificación. Una nota se acepta cuando se explica, y se explica cuando el examinador puede poner sobre la mesa hechos datados que el candidato reconoce — exactamente lo que produce una toma de notas en lenguaje de indicadores. A la inversa, un debriefing que comienza con el número ya ha perdido: todo lo que sigue parece una justificación.

El buen reflejo: disociar el registro de la calificación. Durante la sesión, no calificar — registrar hechos horarios, en lenguaje de indicadores: « no anuncia el desvío de velocidad, dos ocurrencias en ascenso ». Después de la sesión, calificar competencia por competencia, comenzando por las que menos han marcado la memoria. Si faltan hechos para calificar, será la toma de notas la que habrá que corregir en la próxima sesión — nunca la nota que hay que inventar.

Lo que hay que ir a verificar en su propio sistema

Cuatro preguntas bastan para situar la madurez de un sistema de calificación, y se plantean tanto al responsable de la formación como al candidato que quiere entender cómo será evaluado:

  • ¿Está cada indicador de la cuadrícula escrito con un verbo de acción observable — o quedan adjetivos disfrazados?
  • ¿Dice el baremo lo que separa dos niveles adyacentes, o solo a qué se parecen los extremos?
  • ¿Producen las sesiones de concordancia un desvío medido y archivado, o solo una discusión?
  • ¿Quién revisa los perfiles estadísticos de los examinadores, con qué frecuencia, y con qué poder de acción?

Queda una zona gris que las cuadrículas actuales cubren mal: la prevención silenciosa. Una tripulación que anticipa tan bien que nada se desborda muestra pocos comportamientos notables — no hay desvío anunciado, porque no hay desvío; no hay carga redistribuida, porque nunca está saturada. Los referenciales recientes intentan calificar la anticipación misma — darse márgenes, verbalizar el plan antes de la carga —, pero la tentación persiste de calificar mejor una dificultad bien recuperada que una dificultad nunca ocurrida. Para quien prepara una calificación de examinador o instructor, la consecuencia práctica es clara: entrenar la toma de hechos antes de la calificación — es lo que falta en las primeras sesiones, y es lo que los recorridos de preparación para las calificaciones trabajan de manera más útil.

Finalmente, estos mecanismos se declinan de manera diferente según las autoridades, los explotadores y los programas aprobados: la regulación aplicable y la documentación aprobada del explotador — manual de explotación, cuadrículas y baremos en vigor — prevalecen en todas las circunstancias sobre el contenido de este artículo.

Commentaires

Deja una respuesta

Découvrez l’écosystème FL330

FL330, c’est toute l’aviation professionnelle — explorez nos autres espaces.