Manuel de l'administrateur Table des matières LinkedIn social network LinkedIn social network LinkedIn social network LinkedIn social network Share on social media

Surveillance des flux SNMP et des flux d'alarmes avec le module Statistic Dashboard

Introduction

Accès et installation du module (plugin Statistic DashBoard)

Présentation du module Statistic Dashboard

Contrôle du fonctionnement des mémoires cache de réception

Affichage des événements avec le navigateur d’événements Event Browser

Configurations avancées et paramétrage des mémoires cache

 

Introduction

Le module de service Statistic Dashboard de LoriotPro permet de contrôler le bon fonctionnement des « serveurs internes » à LoriotPro de réception des TRAP SNMP, des messages SYSLOG et des événements propriétaires à LoriotPro. Par ailleurs le monitoring actif génère des flux bidirectionnelles en SNMP avec les équipements surveillés, le DashBoard permet d’évaluer leurs volumes et leurs fréquences.

La problématique du traitement des alarmes en temps réel. Le logiciel LoriotPro est en charge de la surveillance de réseaux pouvant compter des centaines de systèmes et d’équipements. Chacun de ces systèmes peut envoyer vers LoriotPro des flux d’information conséquents sous forme d’alarmes ou de notifications et LoriotPro doit prendre en compte ceux-ci et les mémoriser sans perte d'information.

Les flux d’alarmes reçus par les serveurs interne de LoriotPro (processus de réception) sont affichés au fil de l’eau dans des fenêtres de type liste, sont sauvegardés dans des fichiers d’historique, sont analysés pour filtrage et action.

Depuis la release –bs de la  version 5 de LoriotPro, un mode encore plus performant de la gestion des mémoires cache/tampon de réception pour les différents flux entrants a été mise en place.  Le module de service « Statistic Dashboard » permet d’en contrôler le bon fonctionnement.

A noter que nous utiliserons pour simplifier uniquement le terme « mémoire cache » et non mémoire tampon, celle-ci ayant le double objectif d’amélioration de la rapidité d’acquisition et de stockage temporaire (tampon) pour éviter les pertes de flux.

On distingue les flux entrant (alarmes/notifications) suivants :

Les flux d’événements (Event) Ce sont des flux de format propriétaire à LoriotPro provenant principalement de LoriotPro lui-même ou de LoriotPro distants dans une architecture distribuée de plusieurs  LoriotPro.

Les flux de TRAP SNMP. Les flux de TRAP SNMP (RFC )sont envoyés par les équipements et les systèmes qui ont été configurés avec un agent SNMP actif et qui dirige leur TRAP vers la console LoriotPro.

Les flux SYSLOG. Les flux de message SYSLOG (RFC 3164)  sont envoyés par les équipements et les systèmes qui ont été configurés avec une redirection de leur flux vers  la console LoriotPro.

Les trois serveurs « deamon » de réception ; EVENT, TRAP, SYSLOG, disposent chacun d’une mémoire cache logiciel  de 10000 paquets en complément d’une mémoire cache physique de 5Mbytes. Ces caches ont été implémentés pour satisfaire des environnements critiques avec des flux conséquents ou disposant de centaines d’équipements.

Remarque technique du développeur : Le principal problème posé par l’environnement Microsoft dans la gestion des événements pour LoriotPro est le temps d’affichage des événements dans les différentes fenêtres de type liste « listbox » de l’interface graphique. Il n’est pas possible d’afficher en temps réel les événements dans ces listbox au-delà d’une cinquantaine de nouvelles lignes par seconde, les Listbox utilisés dans ce workspace ne supportant pas le mode virtuel. Dans le cas ou la mise à jour temps réel de ces fenêtres n’est plus possible, la sauvegarde dans les fichiers d’historique reste complètement opérationnel.

Accès et installation du module (plugin Statistic DasBoard)

L'installation des modules de service (plugin) est classique.

Ouvrir l’onglet service puis cliquer droit pour ouvrir le menu contextuel.

Sélectionner le plug-in Statistic DasBoard dans la liste des plugin.

Présentation du module Statistic DasBoard

Le module Statictic Dashboard est composé des zones suivantes.

La zone de contrôle des flux SNMP,  elle même composée de 4 vumètres et de deux courbes.

Les vumètres et les courbes affichent les mêmes informations dans des formats différents.

La zone de contrôle des mémoires de réception composée de trois graphiques.

Contrôle du fonctionnement des mémoires cache de réception

Pour facilité la configuration et le contrôle du bon fonctionnement de la réception des événements, des trap et des messages syslog, le module de service « Statistic Dashboard » affiche 3 graphiques de visualisation en temps réel du mode de fonctionnement des mémoires de réception.

Syslog packets received/analyzed : Graphique d’utilisation de la mémoire cache de réception des messages Syslog.

Event packets received/analyzed : Graphique d’utilisation de la mémoire cache de réception des événements LoriotPro (Events).

Trap packets received/analyzed : Graphique d’utilisation de la mémoire cache de réception des Trap SNMP.

Trap packets received

Les courbes bleues correspondent aux paquets en attente dans la mémoire cache, les courbes vertes au nombre de paquets traités. Des courbes identiques indiquent que LoriotPro traite au fil de l’eau les flux entrant et que la mémoire cache est vidée au fur et à mesure et sa fonction de tampon n’est pas utilisé.

Exemple 1

Considérons l’affichage suivant :

Syslog packets received

Dans l’exemple ci-dessus LoriotPro a reçu une salve de paquets (burst) de 10000 Traps SNMP, les deux icônes rouges (Listbox locked ) indiquent que les mises à jour de l’affichage dans les fenêtres de réception (liste dynamique) de l’interface graphique de LoriotPro sont stoppés pour les évents et les traps.  Ce comportement est normal dans une configuration par défaut de Loriotpro ou un filtre génère un Event par Trap snmp reçu.

Des indicateurs dans la ligne des statuts de la fenêtre principale de LoriotPro notifient de l’arrêt temporaire de la mise à jour de l’affichage des fenêtres en liste de réception dynamique d’événement et de trap.

Exemple 2

event received

On constate dans la courbe ci-dessus que le processus de réception des Events a du mal à assurer un traitement en temps réel et que les deux courbes ne se superposent pas.

LoriotPro est ralenti dans sa capacité de traitement des événements étant donné le faible nombre de paquets traités toutes les 5 secondes. Il est possible que l’antivirus résident est un impact sur la vitesse de sauvegarde des événements dans le fichier de log.

Arrêtons l’antivirus résident pour vérifier :

processus de réception des events

Le serveur de réception passe instantanément de 360 à 1139 paquets gérés et sa capacité de traitement devient supérieure au volume de réception actuel.

Le serveur de réception rattrape son retard et traite le flux en mémoire (le listbox est libéré).

historique des events

Des messages Syslog ont été envoyés pour indiquer les arrêts de la mise à jour en temps réel de la liste de la fenêtre de réception.

Pour assurer un fonctionnement performant de LoriotPro pour le traitement des flux entrant il est indispensable de supprimer de l’analyse antivirus les répertoires dans l’arborescence « bin/www » du logiciel.

Exemple 3

Considérons l’affichage suivant :

memoire cache des traps

Ci-dessus un autre exemple de salve (burst) de 10000 Traps snmp  reçus en 2 secondes et traités en 20  secondes. Il y a  génération d’un Event pour chaque Trap reçu et traité. Dans le même temps les serveurs de réception des Events et des Syslogs reçoivent des messages informant de l’arrêt de la mise à jour des fenêtres de réception des Traps.

Pour information cette courbe est le résultat d’un script LUA qui a été utilisé pour générer cette salve de Trap (Burst).

for i=0,10000 do

a=string.format("<%i> test %i:",j,i);

j=j+1;

if j>255 then j=0 end

--lp.Sleep(1);

--lp.SendSyslog("127.0.01",a);

--lp.SendExternEvent("127.0.0.1","5001",25000,1,"1.1.1.1","255.255.255.255","test : "..a);

lp.SendTrapV2('192.168.0.8','public','linkdown','sysname/(oc)'..a..'dlswTConnOperTDomain/(IN)145,dlswTConnOperRemoteTAddr/(NU),');

end


Remarque : Les courbes et valeurs données ici ne sont qu’indicatives et dépendent totalement des caractéristiques de votre plate-forme LoriotPro (puissance CPU, mémoire etc.). Suivant la puissance de la machine utilisé pour Loriotpro, il est possible d’avoir avec ce système de mémoire cache un capacité de traitement très supérieure à celle visualisée ici.

Exemple 4

Considérons l’affichage suivant :

mémoire cache des syslog

On constate dans la courbe ci-dessus une salve (Burst) de 5000 message Syslogs prise en compte par le serveur de réception.

Exemple 5

Considérons l’affichage suivant :

mémoire cache des trap

Un burst de 1000 Events avec un traitement de 6975 paquets sur 5secondes, avec un délai de traitement d’environs 5s.

Remarque : L’horodatage (timestamp) des paquets correspond à l’heure de la réception des paquets et non pas à celui du traitement. Dans cette exemple le délai de traitement est de 5 secondes mais l’ l’horodatage (timestamp) ne tiendra pas compte de ce délai. Actuellement l’ horodatage (timestamp) sauvegardé est précis à la seconde.

Affichage des événements avec le navigateur d’événements Event Browser.

Le plugin Event Browser a été optimisé en version 5 (bs) de LoriotPro pour permettre une plus grande vitesse d’affichage des Event(s) avec des options pour le tri.

navigateur de log

Il est possible de voir ici avec l’Event 30, et 40 le nombre de message non affiché mais cependant sauvegardé dans les fichiers de log.

recherche de fichiers de log

Configurations avancées et paramétrage des mémoires cache

Tous les paramètres de configuration des mémoires de réception sont dans le fichier config/lalarm.ini dans le répertoire config du logiciel.

Configuration par défaut :

            [ALARM]

            syslog_port 514                   //syslog udp reception port

            syslog_save_html 1            //1 for save all received syslog, 0 to no logging

            syslog_line 200                   //max number of line in the workspace listbox

            syslog_display_limit 100     //the number of packet in cache that limit the display of log in workspace syslog listbox

 

            alarm_port 5001                  //event udp reception port

            event_line 200                   //max number of line in the workspace listbox

            event_display_limit 100     //the number of packet in cache that limit the display of event in workspace syslog listbox

            event_save_html 1            //Allow saving in html format

 

            trap_port 162                        //SNMP TRAP udp reception port

            trap_line 2000                      //max number of line in the workspace listbox

            trap_display_limit 10           //the number of packet in cache that limit the display of trap in workspace syslog listbox

            trap_save_html 1                //Allow saving in html format

 

Il y a quatre paramètres pour chacun des 3 types d’événement (EVENT,TRAP,SYSLOG):

Paramètre: xxx_port    number

Le port UDP utilisé par le serveur pour le type d’alarme considéré, ou xxx est event, syslog, ou trap

Attention les ports UDP d’écoute réservés par RFC sont :

le changement de ces valeurs empêche Loriotpro de recevoir et d’afficher ces types d’alarmes. Il est possible de modifier ces valeurs si une modification de tous les équipements sources de messages ou de trap sont aussi modifiés en conséquence.

Le port par défaut pour le serveur de réception des événements (EVENT) LoriotPro est 5001.

Attention :  En cas de changement du numéro de port UDP de réception des événements (EVENT)  il est aussi nécessaire de changer le port destinataire (la variable alarm_port) dans le fichier  loriotpro.ini. Cette modification peut être utile dans un environnement avec une hiérarchie de LoriotPro.

Exemple de Config/Loriot.ini

[ALARM]
alarm_port 5001
alarm_ip  127.0.0.1

Paramètre xxx_line number

Le nombre maximum de lignes pouvant être  affichées dans les fenêtres d’affichage en liste dynamique des Event, Trap et Syslog de l’interface graphique de LoriotPro, à spécifier pour chaque type d’alarme ou xxx est remplacé par « event », « syslog » ou « trap »

Par défaut 2000 lignes sont affiché pour les  TRAP et les messages Syslog, 15000 pour les EVENT.

Paramètre: xxx_display_limit number

Le nombre maximum de paquets supporté dans la mémoire cache avant de stopper l’affichage au fil de l’eau dans les fenêtres d’affichage en liste dynamique des Event,Trap et Syslog de l’interface graphique de LoriotPro. Ces valeurs sont à spécifier pour chaque type d’alarme ou xxx est remplacé par « event », « syslog » ou « trap ».

Ce paramètre permet de stopper l’affichage dans les fenêtres liste dynamique « listbox » si LoriotPro reçoit un salve de paquets (burst) sur une courte période. En cas d’impossibilité d’affichage, limite atteinte, un événement et un syslog sont générés pour information et en fonction du nombre et du type d’événement non affiché.

Attention par défaut ce paramètre est positionné à 50 pour les « events » les « trap » et les « syslog ».

Lors ce que la limite est atteinte, un événement et un syslog est émis pour indiquer qu’il y a eu un arrêt dans l’affichage.

Attention: La modification de ces paramètres nécessite un redémarrage de LoriotPro pour être prise en compte.

 


www.loriotpro.com