Surveiller n'est pas afficher
Un tableau de bord que personne ne regarde n'est pas de la surveillance. La question utile n'est pas « que puis-je afficher », c'est « qu'est-ce qui doit me réveiller ».
Tout le reste est de la consultation, utile pour comprendre après coup, sans valeur pour détecter.
Les quatre signaux qui suffisent au début
La disponibilité vue de l'extérieur. Une vérification régulière depuis Internet, qui charge une vraie page et vérifie son contenu. C'est le seul indicateur qui mesure ce que vit l'utilisateur. Une machine peut être parfaitement saine et le service inaccessible.
L'espace disque. La panne la plus fréquente et la plus évitable. Alerte à quatre-vingts pour cent, pas à quatre-vingt-quinze : il faut du temps pour agir.
Les erreurs applicatives. Non pas leur existence, mais leur variation. Une application produit toujours quelques erreurs ; ce qui compte est un décrochage soudain.
Le budget. Vu à la leçon précédente, il appartient à la surveillance au même titre que le reste : une dérive de coût est un incident.
Le seuil qui rend une alerte inutile
Deux erreurs symétriques, et la première est plus grave.
Trop d'alertes. Une équipe qui reçoit vingt alertes par jour cesse de les lire en deux semaines. L'alerte devient un bruit de fond, et le jour où elle compte, personne ne la voit. Une alerte qui ne demande aucune action doit être supprimée, pas ignorée.
Pas assez d'alertes. Le service est tombé la nuit et l'a fait savoir par un utilisateur le lendemain matin.
Le bon réglage se juge à un critère simple : chaque alerte reçue doit avoir provoqué une action. Si trois alertes sur quatre ne débouchent sur rien, le seuil est mauvais.
Où envoyer l'alerte
Le courriel convient pour ce qui peut attendre le lendemain. Il ne convient pas pour une alerte critique la nuit : personne ne lit sa boîte à trois heures.
Pour ce qui doit réveiller, il faut un canal distinct, et surtout une personne désignée. Une alerte envoyée à une liste de diffusion est traitée par personne, chacun supposant qu'un autre s'en occupe.
Ce qu'il faut écrire dans le message
Une alerte utile dit trois choses : quel service est touché, depuis quand, et quoi faire en premier. « Utilisation disque à 92 pour cent sur le serveur de fichiers, depuis 14 h, voir la procédure de purge des journaux » vaut cent fois « CPU alert threshold exceeded ».
Écrivez l'alerte pour la personne fatiguée qui la lira à trois heures du matin, pas pour vous qui la configurez à quatorze heures.
À retenir
Surveillez ce qui doit provoquer une action, quatre signaux suffisent pour commencer. Trop d'alertes tue la surveillance plus sûrement que pas assez. Une alerte critique va à une personne nommée, et dit quoi faire.