Závažný incident: koordinace místo chaosu

Je úterý odpoledne a přestává fungovat klíčová služba. Telefony zvoní, do chatu přibývají zprávy, tři týmy hledají příčinu každý ve své vrstvě. Vedoucí provozu se snaží zjistit, koho výpadek zasáhl, zákaznická podpora chce vědět, co říct volajícím, a vedení se ptá, kdy to bude v pořádku. Nikdo nemá celý obraz.

Závažný incident je zátěžová zkouška pro lidi, nejen pro systémy. Technici pracují pod tlakem a zároveň odpovídají na stále stejné otázky. Komunikace navenek se píše narychlo a často rozporuplně. A po skončení incidentu je těžké rekonstruovat, co se kdy dělo a proč.

Proč běžný postup nestačí

V praxi často vidíme, že organizace mají pro závažné incidenty dobře napsaný postup. Problém je jinde. Ve chvíli, kdy je potřeba, chybí podklady, na kterých by šlo postup provést:

• Dopad se odhaduje. Kdo ví, které služby na zasaženém serveru stojí? Často jen jeden člověk, a ten zrovna řeší něco jiného.
• Změny se hledají zpětně. Otázka „nezměnil někdo něco?“ zazní vždy. Odpověď se skládá z e-mailů a vzpomínek.
• Dodavatel se kontaktuje improvizovaně. Kdo má smlouvu, jakou reakční dobu a na koho se obrátit, se dohledává v sdílené složce.
• Komunikace se píše od nuly. Pokaždé jinak, pokaždé pod tlakem.

Všechny tyto informace v organizaci existují. Jen nejsou po ruce ve chvíli, kdy na nich záleží.

Koordinace stojí na sdílených datech

Dobře zvládnutý závažný incident má jasnou roli koordinátora, jeden zdroj pravdy a pravidelný rytmus komunikace. Koordinátor ale potřebuje fakta, ne dohady. Potřebuje vědět, jaké služby a zákazníky výpadek zasahuje, co se v okolí zasažených položek v poslední době měnilo, kdo je za dodavatelskou část odpovědný a kdo musí být informován. Čím víc z toho je připraveno předem, tím víc kapacity zbývá na samotné řešení.

Jak to řeší Eywo Stratum

Eywo Stratum propojuje incident s daty, která už v systému jsou. Když je incident založen nad položkou CMDB, systém navrhne zasaženou službu, dopad a řešitelský tým. Prioritu odvodí z dopadu a naléhavosti. Incident lze označit jako závažný, aby se s ním zacházelo odpovídajícím způsobem.

Pokud incident vzniká z monitoringu, event management seskupí související alerty do situace podle topologie CMDB, služby a času a ukáže pravděpodobnou příčinu i související změny. Incident ze situace vznikne jedním krokem nebo automaticky. Tým tak nezačíná od tisíce jednotlivých alertů, ale od jedné situace s kontextem.

Pokud je část řešení na dodavateli, incident lze eskalovat podle servisní smlouvy. Systém ví, které položky smlouva pokrývá a jaké SLA dodavatel má. Nikdo nemusí hledat smlouvu ve chvíli, kdy běží čas.

Notifikace e-mailem a do Slacku se řídí pravidly a šablonami. Správní lidé se o incidentu dozvědí bez ručního obvolávání a zprávy mají jednotnou podobu.

Volitelný AI asistent pomáhá tam, kde se pod tlakem ztrácí čas. Navrhne incident ze situace, najde podobné incidenty z minulosti a připraví koncepty komunikace pro zákazníky. Je to návrh, ne rozhodnutí. Co se odešle a jak se postupuje, rozhoduje vždy člověk.

Po skončení zůstává celý průběh v auditní stopě. Rozbor incidentu se tak opírá o záznam, ne o paměť.

Klid v kritické chvíli

Závažné incidenty se nedají vyloučit. Dá se ale zajistit, aby první minuty nepatřily hledání informací. Když je dopad známý, změny dohledatelné, dodavatel po ruce a komunikace připravená, mohou se technici soustředit na opravu a koordinátor na lidi. A po incidentu se všichni můžou vrátit domů s vědomím, že se postupovalo podle faktů.

Závažné incidenty jsou součástí edice Standard; korelace událostí do situací, eskalace podle servisních smluv a AI asistent jsou součástí edice Business.