A las dos de la mañana, un conmutador falla en una sala de datos. En cuestión de minutos, llegan cientos de alertas: servidores inaccesibles, bases de datos inaccesibles, aplicaciones que fallan, tiempos de respuesta fuera de límites. El ingeniero de guardia recibe notificación tras notificación y tiene que encontrar lo que importa. ¿Cuál es la causa y qué es simplemente un síntoma? ¿Qué servicios están realmente afectados? ¿Y está relacionado esto quizás con un cambio que se está ejecutando en ese momento?
El ruido de la monitorización no es solo una molestia técnica. Los ingenieros de guardia aprenden gradualmente que la mayoría de las alertas no significan nada y comienzan a ignorarlas. Luego llega la alerta que sí importa y se pierde. La fatiga por alertas es uno de los riesgos más silenciosos en las operaciones.
Por qué agregar más reglas no ayuda
La respuesta habitual es ajustar umbrales y agregar excepciones en la herramienta de monitorización en sí misma. Eso ayuda durante un tiempo, pero la monitorización solo ve su propia porción del mundo. No sabe que la base de datos se ejecuta en un servidor conectado al conmutador que acaba de fallar. Tampoco sabe que un cambio aprobado se está ejecutando actualmente en ese servidor.
A menudo vemos los mismos patrones:
- varias herramientas de monitorización informan del mismo problema a la vez,
- un servicio “parpadea” entre estados y cada cambio de estado se convierte en una nueva alerta,
- el mantenimiento planificado genera docenas de alertas que nadie necesita,
- cada alerta se convierte en una incidencia y la cola se llena de duplicados.
Cómo abordarlo
El ruido no se puede eliminar en un solo lugar. Tiene que ser comprimido paso a paso, como un embudo. Primero, elimine los duplicados y el parpadeo. Luego suprima lo que se espera, como las alertas durante un cambio aprobado. Finalmente, agrupe las alertas restantes según cómo se relacionan entre sí en la infraestructura.
La topología es esencial para ese último paso. Cuando sabemos qué depende de qué, podemos estimar qué alerta en un grupo es probablemente la causa. También sabemos qué servicios están afectados.
Cómo maneja Eywo Stratum
Eywo Stratum ingiere eventos de su monitorización, ya sea Zabbix, Prometheus/Alertmanager, Checkmk, Grafana o otra fuente a través de una API genérica. Cada evento se hace coincidir con un elemento de la CMDB.
Luego, varias capas actúan sobre la corriente entrante:
- deduplicación – informes repetidos del mismo problema se fusionan en una sola alerta,
- detección de parpadeo – un estado que sigue cambiando de un lado a otro se reconoce y no se informa en cada cambio,
- reglas de filtrado y supresión – lo que se conoce y es inofensivo no necesita llegar a las personas,
- supresión durante cambios – las alertas de elementos con un cambio aprobado en curso se suprimen.
Las alertas restantes se agrupan en situaciones basadas en la topología de la CMDB, los servicios y el momento. Cada situación muestra una causa probable, es decir, el elemento del que dependen los demás, junto con los cambios relacionados. En lugar de cien alertas, el equipo de guardia ve una situación con un impacto claro.
Una incidencia se puede crear a partir de una situación en un solo paso, o automáticamente. Viene con el servicio afectado y el equipo de resolución sugerido de la CMDB. Si el problema vuelve después de ser resuelto, la incidencia se reabre en lugar de crear una nueva. Todo el embudo de reducción de ruido, desde eventos hasta alertas hasta situaciones hasta incidencias, es visible en un solo lugar, por lo que está claro dónde se origina el ruido y dónde se filtra.
Menos ruido, más atención
El objetivo no es que la monitorización informe menos. El objetivo es que las personas reciban solo lo que necesita su atención, con el contexto que necesitan para decidir. Un equipo de guardia que confía en sus alertas responde más rápido y con más calma. Y después de un turno nocturno, pueden ir a casa sabiendo que pasaron su tiempo en lo que importaba.
La gestión de eventos con correlación basada en CMDB y reducción de ruido está incluida en la edición Business.
Eywo Stratum Business
Para operaciones que desean conectar monitorización, seguridad y proveedores.