À deux heures du matin, un commutateur tombe en panne dans une salle de données. En quelques minutes, des centaines d'alertes arrivent : serveurs inaccessibles, bases de données inaccessibles, applications défaillantes, temps de réponse hors limites. L'ingénieur de garde reçoit notification après notification et doit trouver ce qui est important. Quelle est la cause et qu'est-ce qui n'est qu'un symptôme ? Quels services sont réellement affectés ? Et cela est-il peut-être lié à un changement en cours d'exécution à ce moment précis ?
Le bruit de la supervision n'est pas seulement une nuisance technique. Les ingénieurs de garde apprennent progressivement que la plupart des alertes ne signifient rien et commencent à les ignorer. Puis, l'alerte qui compte arrive et passe inaperçue. La fatigue d'alerte est l'un des risques les plus silencieux dans les opérations.
Pourquoi ajouter plus de règles ne résout pas le problème
La réponse habituelle consiste à ajuster les seuils et à ajouter des exceptions dans l'outil de supervision lui-même. Cela aide pendant un certain temps, mais la supervision ne voit que sa propre tranche du monde. Elle ne sait pas que la base de données fonctionne sur un serveur connecté au commutateur qui vient de tomber en panne. Elle ne sait pas non plus qu'un changement approuvé est actuellement en cours d'exécution sur ce serveur.
Nous voyons souvent les mêmes modèles :
- plusieurs outils de supervision signalent le même problème en même temps,
- un service « vacille » entre les états, et chaque changement d'état devient une nouvelle alerte,
- la maintenance planifiée génère des dizaines d'alertes dont personne n'a besoin,
- chaque alerte devient un incident et la file d'attente se remplit de doublons.
Comment aborder le problème
Le bruit ne peut pas être supprimé en un seul endroit. Il doit être compressé étape par étape, comme un entonnoir. Tout d'abord, supprimez les doublons et les vacillements. Ensuite, supprimez ce qui est attendu, tel que les alertes pendant un changement approuvé. Enfin, groupez les alertes restantes en fonction de leur relation les unes avec les autres dans l'infrastructure.
La topologie est essentielle pour cette dernière étape. Lorsque nous savons ce qui dépend de quoi, nous pouvons estimer quelle alerte dans un groupe est la plus susceptible d'être la cause. Nous savons également quels services sont affectés.
Comment Eywo Stratum gère le problème
Eywo Stratum ingère les événements de votre supervision, qu'il s'agisse de Zabbix, Prometheus/Alertmanager, Checkmk, Grafana ou une autre source via une API générique. Chaque événement est associé à un élément de la CMDB.
Plusieurs couches agissent ensuite sur le flux entrant :
- déduplication – les rapports répétés du même problème sont fusionnés en une seule alerte,
- détection de vacillement – un état qui bascule constamment est reconnu et ne fait pas l'objet d'un rapport à chaque changement,
- règles de filtrage et de suppression – ce qui est connu et inoffensif n'a pas besoin d'atteindre les gens,
- suppression pendant les changements – les alertes des éléments avec un changement approuvé en cours sont supprimées.
Les alertes restantes sont regroupées en situations en fonction de la topologie de la CMDB, des services et de la synchronisation. Chaque situation montre une cause probable, c'est-à-dire l'élément dont les autres dépendent, ainsi que les changements associés. Au lieu d'une centaine d'alertes, l'ingénieur de garde voit une situation avec un impact clair.
Un incident peut être créé à partir d'une situation en une seule étape, ou automatiquement. Il est accompagné du service affecté et de l'équipe de résolution suggérée à partir de la CMDB. Si le problème réapparaît après avoir été résolu, l'incident est rouvert plutôt que d'en créer un nouveau. L'ensemble du funnel de réduction de bruit, des événements aux alertes aux situations aux incidents, est visible en un seul endroit, de sorte qu'il est clair où le bruit provient et où il est filtré.
Moins de bruit, plus d'attention
L'objectif n'est pas que la supervision signale moins. L'objectif est que les gens reçoivent uniquement ce qui nécessite leur attention, avec le contexte dont ils ont besoin pour prendre une décision. Une équipe de garde qui fait confiance à ses alertes répond plus rapidement et plus calmement. Et après une nuit de travail, ils peuvent rentrer chez eux en sachant qu'ils ont passé leur temps sur ce qui comptait.
La gestion des événements avec corrélation basée sur la CMDB et réduction du bruit est incluse dans l'édition Business.
Eywo Stratum Business
Pour les opérations qui souhaitent connecter la supervision, la sécurité et les fournisseurs.