Se implementa un control, y un año después, la revisión de seguridad registra que no se han producido más incidentes de ese tipo. El elemento se cierra. El problema es que nada en esa frase es evidencia sobre el control. Es evidencia sobre un conteo, y un conteo de eventos raros en un corto período apenas aporta información, sea cual sea su resultado. Demostrar que una mitigación redujo un riesgo requiere un tipo diferente de prueba, y la mayoría de las organizaciones ya poseen el materia prima para ello sin utilizarlo.
Lo que « efectivo » tiene que significar antes de poder ser medido
El Anexo 19 de la OACI y el Manual de Gestión de Seguridad que lo acompaña esperan que los controles de riesgo se implementen y su rendimiento se monitoree. En las normas europeas, la obligación de verificar la efectividad es explícita: llega a los operadores a través de los requisitos del sistema de gestión junto con la Parte-CAT, y a las organizaciones de mantenimiento a través de la Parte-145. Ninguno de estos textos dice cómo, y eso no es un descuido: el método depende completamente de lo que hace el control.
Antes de que algo pueda ser medido, la afirmación debe expresarse en una forma refutable. «Esta medida mejorará la seguridad» no puede comprobarse. Lo que sí puede comprobarse es una afirmación de la forma: cuando surja esta condición peligrosa específica, este control interrumpirá la secuencia antes de esta consecuencia específica. Esta forma hace tres cosas a la vez. Nombra la condición, por lo que sabes qué contar. Nombra el mecanismo, por lo que sabes dónde buscar una huella. Y nombra la consecuencia, por lo que sabes cómo se vería un fallo.
La mayoría de los controles que resisten la medición lo hacen porque la afirmación nunca se escribió de esa manera. Un control descrito como «mayor conciencia» no tiene ninguna solicitación identificable, ninguna actuación observable y ningún modo de fallo, por lo que no hay nada que medir y nada que refutar. Ese es un problema de diseño, no de medición, y vale la pena detectarlo en el momento en que se propone el control.
Para medir un control, primero debes definir claramente qué condición peligrosa debe evitar, cómo lo hace y qué resultado esperas. Sin esto, no puedes saber si funciona o no.
Un control de seguridad en un aeropuerto exige que los trabajadores usen chalecos reflectantes en la pista. La condición peligrosa es «trabajador no visible en la pista». El mecanismo es «chaleco reflectante». La consecuencia es «colisión evitada». Si no hay accidentes, pero tampoco hay registros de uso del chaleco, no puedes confirmar su efectividad.
Por qué contar resultados no puede responder a la pregunta
Los eventos que los controles de seguridad tienen por objeto prevenir son, por construcción, raros. Esa rareza es lo que hace que el conteo de resultados sea inútil en los horizontes en los que las organizaciones realmente revisan sus controles.
Considera un peligro cuya tasa histórica era tal que un año típico en la flota producía cero o un solo incidente. Después de implementar el control, pasa un año sin ningún incidente. Ese resultado es el resultado más probable bajo ambas hipótesis en competencia: que el control eliminó el riesgo por completo y que no hizo nada en absoluto. No distingue entre ellas, porque nunca hubo suficiente exposición en la ventana de observación para que las dos hipótesis produzcan conteos visiblemente diferentes. Esperar más ayuda, pero el horizonte requerido suele ser años más allá del punto en el que la organización necesita una respuesta, y para entonces la operación ha cambiado lo suficiente como para que la comparación ya no sea válida.
La consecuencia no es que los datos de resultados sean inútiles. Es que los datos de resultados son una confirmación lenta y de baja resolución que corresponde al final de la cadena de evidencia, no al principio. Una organización que los trate como prueba principal cerrará elementos que deberían permanecer abiertos y, lo que es más grave, desarrollará confianza en barreras que nunca se han probado realmente.
La trampa. «No se han producido incidentes desde la implementación» no es una evidencia débil de que el control funciona. No es evidencia sobre el control en absoluto, en ninguna dirección. Registrarlo como un hallazgo positivo convierte una ausencia de información en una aparente seguridad, y esa conversión es la forma en que las organizaciones acumulan barreras en las que creen y que nunca han verificado.
La escalera de la evidencia
Hay seis cosas distintas que se pueden establecer sobre un control, y no son intercambiables. Clasificarlas hace visible en qué peldaño se sitúa realmente una organización cuando declara un control efectivo.
| Nivel | Pregunta respondida | Fuente típica | Lo que no prueba |
|---|---|---|---|
| 1. Diseño | ¿Existe el control, especificado y aprobado? | Texto del procedimiento, registro de modificación, programa de formación | Que esté presente en la operación |
| 2. Presencia | ¿Está en su lugar y en servicio cuando y donde se necesita? | Muestreo no anunciado, auditoría, registros técnicos | Que alguien lo use |
| 3. Uso | ¿Se usa realmente, y no se elude? | Observación en línea, datos de vuelo, patrones de firma de tareas | Que el peligro haya surgido |
| 4. Demanda | ¿Ha ocurrido la condición peligrosa con el control en su lugar? | Informes de sucesos, eventos de datos de vuelo, conteos de precursores | Que el control haya hecho algo al respecto |
| 5. Rendimiento bajo demanda | ¿Al ser solicitado, funcionó? | Revisión caso por caso de las solicitaciones | Que el riesgo general haya disminuido |
| 6. Resultado | ¿Las consecuencias se han vuelto menos frecuentes o menos graves? | Registro de accidentes e incidentes graves | Nada — pero hacen falta años para poder decir algo |
Los niveles uno y dos son lo que la mayoría de las auditorías producen. Son necesarios y a menudo se confunden con la respuesta. Un hallazgo que dice «procedimiento publicado, todo el personal capacitado, no se encontraron problemas» establece el nivel uno y parte del nivel dos. No dice nada sobre los niveles tres a cinco, que es donde realmente reside la cuestión.
Demanda y rendimiento bajo demanda
La medición que tiene peso real es una proporción: de las ocasiones en que surgió la condición peligrosa, en qué proporción el control interrumpió la secuencia como se pretendía. Ambas partes deben ser contadas, y el numerador no vale nada sin el denominador.
Contar las demandas es la parte que las organizaciones omiten, y suele ser la parte que está disponible. Una demanda es un precursor: la condición que el control debe interceptar, haya ido más allá o no. Una verificación cruzada que detecta una entrada incorrecta es una demanda satisfecha. Una protección física que recibe un golpe es una demanda satisfecha. Un sistema de alerta que se dispara correctamente es una demanda satisfecha. Estos dejan rastros en datos que la organización ya recopila: eventos de monitoreo de datos de vuelo, entradas en el registro técnico, informes de plataforma, correcciones de firma, el texto libre de informes que se presentaron por otra razón.
Una vez que se cuentan las demandas, tres cantidades separadas se vuelven visibles, y responden a diferentes preguntas. Una alta tasa de demanda con éxito alto dice que el control está muy solicitado y resiste — también dice que el peligro subyacente no ha desaparecido, lo cual importa para saber si el control puede ser eliminado alguna vez. Una alta tasa de demanda con éxito intermitente identifica exactamente dónde invertir. Y una tasa de demanda de cero dice algo importante y fácil de malinterpretar: o el peligro no está ocurriendo, o el control no se está activando, o nadie está registrando las activaciones. Esas tres tienen respuestas completamente diferentes, y solo el trabajo de campo las distingue.
El reflejo correcto. Antes de implementar un control, decide qué se verá como una demanda satisfecha en los datos, y confirma que dejará un rastro que alguien pueda recuperar. Un control que opera de manera invisible puede cumplirse perfectamente y nunca se puede demostrar que funciona. Diseñar para la medibilidad en ese momento cuesta una reunión; incorporarlo después suele ser imposible.
Cómo una medida se confirma falsamente
La mayoría de las confirmaciones falsas no son deshonestas. Son artefactos estadísticos y organizacionales ordinarios que parecen exactamente un éxito.

| Patrón | Cómo aparece | La señal |
|---|---|---|
| Falacia de cero eventos | «No se han producido incidentes desde el cambio» | El período previo al cambio también contenía largas rachas a cero |
| Regresión a la media | Un cúmulo desencadenó la acción; luego la tasa disminuyó | La acción siguió a un pico inusual en lugar de una tendencia |
| Cambio en la tasa de reporte | Los informes disminuyen o aumentan justo después de la implementación | El cambio incluyó briefings, campañas o un nuevo formulario |
| Deriva de definición | El recuento de la categoría de sucesos disminuye | La taxonomía o el umbral se revisó en el mismo período |
| Cambio de exposición | Los recuentos absolutos disminuyen | Sectores, temporadas, composición de la flota o red cambiaron también |
| Desplazamiento | El evento desaparece en un punto | Una categoría relacionada crece en algún lugar aguas abajo |
| Compensación de riesgo | La barrera funciona; el margen no mejora | El comportamiento se ha adaptado a la nueva protección |
| Efecto de observación | Las observaciones en línea muestran un excelente cumplimiento | El cumplimiento solo se mide cuando alguien está mirando |
Tres de estos merecen una nota. Regresión a la media es la más común y la más difícil de rebatir, porque los controles casi siempre se introducen después de un cúmulo, y los cúmulos son seguidos por períodos más tranquilos ya sea que se haya hecho algo o no. La forma de protegerse es comparar con una línea base más larga que el cúmulo y mirar la tendencia antes del pico, no el pico en sí.
Cambio en la tasa de reporte funciona en ambos sentidos y a menudo se malinterpreta en la dirección favorable. Un control introducido con comunicación y capacitación aumenta la conciencia, lo que aumenta los informes, lo que hace que el indicador parezca peor mientras el riesgo está disminuyendo. Lo contrario también ocurre: cuando un cambio se percibe como si hubiera resuelto el asunto, los informes de la misma condición dejan de presentarse porque las personas asumen que ya no se desean. Ninguno de los movimientos en el conteo tiene que ver con el peligro.
Desplazamiento es el que produce daño genuino en lugar de solo falsa tranquilidad. Un control que hace una tarea más difícil en un lugar a menudo mueve el trabajo en lugar de eliminar el peligro: un paso que se vuelve difícil se hace antes, en otro lugar, o por otra persona. La categoría de sucesos que la organización estaba observando mejora, y una diferente se degrada, generalmente reportada por un departamento diferente bajo un encabezado diferente. Mirar solo la categoría a la que apuntaba el control garantiza pasarlo por alto.
Escribe el criterio de refutación antes del cambio
La disciplina más efectiva disponible aquí no cuesta nada y rara vez se aplica: antes de implementar el control, escribe qué resultado contaría como un fracaso.
El registro debe llevar la afirmación del mecanismo en la forma refutable dada anteriormente; el indicador de demanda y de dónde se leerá; el indicador de rendimiento bajo demanda; el resultado específico que llevaría a la organización a concluir que el control no funciona; una fecha de revisión; y las condiciones bajo las cuales el control sería eliminado. Establecer de antemano qué contaría como un fracaso elimina el margen de interpretación que de otro modo aparece en la revisión, cuando la persona que evalúa el control a menudo es la persona que lo propuso y la evidencia es lo suficientemente ambigua como para apoyar cualquiera de las dos conclusiones.
La condición de eliminación importa más de lo que parece. Los controles se acumulan. Cada adición consume atención, añade un paso y degrada ligeramente los controles ya presentes al competir con ellos por la misma capacidad operativa finita. Una organización que nunca elimina un control eventualmente tiene un procedimiento que nadie puede ejecutar por completo, momento en el cual el triaje informal de qué pasos realmente se hacen lo está realizando la primera línea en lugar del proceso de seguridad.
Indicadores que miden el papel
Algunos indicadores son populares porque son fáciles de recopilar, y desafortunadamente son medidas de la administración en lugar del riesgo.
| Indicador común | Lo que realmente mide | Sustituto más fuerte |
|---|---|---|
| Porcentaje de personal capacitado | Asistencia al curso | Ejecución correcta observada en una muestra no anunciada |
| Procedimiento publicado y revisado | Control de documentos | Proporción de tareas muestreadas donde el procedimiento está presente y vigente en el punto de uso |
| Número de auditorías sin hallazgos | Alcance y profundidad de la auditoría | Tiempo para restaurar el control después de que se encuentra fuera de servicio |
| Sucesos del tipo objetivo | Comportamiento de reporte y exposición | Demandas al control, y la proporción satisfecha |
| Elementos de acción de seguridad cerrados a tiempo | Gestión de proyectos | Elementos reabiertos porque el control no se mantuvo |
Nada de la columna izquierda es inútil. La finalización de la capacitación y el control de documentos son obligaciones genuinas y tienen su lugar en el sistema de gestión. El error es clasificarlos como eficacia, donde responden a una pregunta que nadie hizo.
Qué se puede verificar en el campo esta semana
Cinco verificaciones no requieren nueva recolección de datos y pueden llevarse a cabo en cualquier control que esté física o procedimentalmente presente.
- Encuéntralo sin aviso. Ve a una muestra aleatoria de los lugares donde el control debería estar, sin previo aviso, y establece si está allí y es funcional. Para una barrera técnica, esto debe entenderse literalmente. Para una procedimental, significa verificar si el documento, la herramienta o la segunda persona que el procedimiento asume están realmente disponibles en el momento en que se realiza la tarea.
- Busca el atajo. Un control eludido deja rastros físicos: un sensor obstruido, una protección retirada y no repuesta, un enclavamiento anulado, una tarjeta de resumen laminada que contradice el procedimiento oficial, un paso consistentemente firmado junto con el siguiente. Estos rastros son informativos precisamente porque nadie los produjo para el auditor.
- Pide que te lo muestren, no que te lo digan. La pregunta «¿qué dice el procedimiento?» prueba la memoria. La pregunta «muéstrame cómo hiciste esto» prueba el control. La brecha entre las dos respuestas es la verdadera medición, y solo aparece si el ejercicio no conlleva riesgo — lo que significa que las condiciones bajo las cuales se realiza la observación son parte de su validez.
- Mide el tiempo de restauración. Cuando el control se encuentra fuera de servicio o no disponible, ¿cuánto tiempo permanece así? Una barrera que permanece diferida durante semanas está disponible con menos frecuencia de lo que la organización cree, y los registros de postergación dan una cifra de disponibilidad directamente utilizable sin ninguna nueva instrumentación.
- Pregunta cuándo estorbó por última vez. Las personas que trabajan con un control a diario saben exactamente cuándo ha sido inconveniente, y la respuesta distingue un control que interactúa con la operación de uno que está inerte. Un control que nunca ha sido un obstáculo muy posiblemente nunca haya sido solicitado.
Cuando la respuesta honesta es que aún no se puede saber
Para algunos controles no puede demostrarse que funcionen dentro del período de revisión, y decirlo es un mejor resultado que fabricar una confirmación. Un registro que dice «el control está presente, utilizado correctamente en los casos muestreados, no ha sido solicitado aún, y no puede evaluarse su efectividad antes de la próxima revisión» es preciso, útil para actuar y seguro. Un registro que dice «efectivo, sin sucesos» no es ninguna de esas cosas, y es peor que el silencio, porque la siguiente persona lo lee como verificación y deja de buscar.
La notificación de sucesos bajo el Reglamento (UE) 376/2014 suministra parte del materia prima para este trabajo, pero solo la parte que cruza el umbral de notificación. Las demandas que un control satisface silenciosamente rara vez son notificables, por lo que deben capturarse deliberadamente, y una organización que depende únicamente del flujo de notificación obligatoria andará permanentemente escasa de la evidencia que más necesita. Los profesionales que comparan cómo sus organizaciones manejan esto encuentran útil debatirlo en los foros profesionales FL330.

Deja una respuesta
Lo siento, debes estar conectado para publicar un comentario.