Mit Graylog und Grafana schnell Logs verarbeiten und visualisieren (Heise Magazin)

Fix aufgehübscht

Der ELK-Stack ist beim Log-Management omnipräsent, aber auch komplex einzurichten. Die Alternative aus Graylog und Grafana verspricht, in kurzer Zeit Logs sammeln und visualisieren zu können.

iX-Tract

• Während sich der ELK-Stack vor allem für Big-Data-Szenarien empfiehlt, konzentriert sich Graylog primär auf das Erfassen und Verarbeiten von Logs.

• Graylog kann mit vielen Import- und Exportquellen umgehen, unter anderem Syslog, GELF, Netflow und Kafka.

• Grafana ist eine unabhängige Software zur ansprechenden Darstellung und Analyse von Zeitreihendatenbanken, beispielsweise Graphite, InfluxDB und Elasticsearch.

• Als Kombination bilden Graylog und Grafana eine unkomplizierte Alternative zum ELK-Stack.

Derzeit tummeln sich im Markt für Log-Management zahlreiche Hersteller wie Elasticsearch und Splunk, die Auswahl an Produkten und Features ist schier erschlagend. Platzhirsch ist der ELK-Stack (siehe gleichnamigen Kasten), der sich aber nicht gerade durch Übersichtlichkeit beim Konfigurieren auszeichnet. Die Kombination der beiden Open-Source-­Komponenten Graylog für die Log-Ver­arbeitung und Grafana für die Visualisierung setzt eine schlanke und einfach aufzusetzende Alternative dagegen.

Platzhirsch ELK-Stack

Hinter dem Dreiergespann ELK verbergen sich die Werkzeuge Elasticsearch, Logstash und Kibana. Ersteres bildet als auf Apache Lucene basierende Suchmaschine die Grundlage des Analysepakets. Sie empfängt Daten über definierte Sockets – sogenannte Inputs – in verschiedenen Formaten, beispielsweise konventionelle Syslog-Datenströme oder das von Graylog entwickelte Format GELF (Graylog Extended Format Logging, siehe ix.de/zv1t). Anschließend speichert sie diese im JSON-­Format mit NoSQL-Verfahren.

Damit Anwender die erfassten Daten finden können, sind diese zu indexieren. Hierbei betrachtet die Software die neuen Informationen als sogenannte durchsuchbare Dokumente – die kleinste Einheit in Elasticsearch. Ein Index lässt sich funktional mit einer SQL-Tabelle vergleichen, in der ein Dokument einer Zeile entspricht. Die einzelnen Indizes können verschiedene Verfügbarkeitsanforderungen erfüllen, um Datenverluste durch das Verteilen erfasster Daten auf mehrere Hosts zu vermeiden. Mehrere Elasticsearch-Systeme lassen sich als Cluster betreiben. die Dateneingabe und -suche erfolgen über eine REST-API beispielsweise per ISON.

Sie wollen wissen, wie es weitergeht? Klicken Sie hier, um den ganzen Artikel in der iX Ausgabe 11/2019 S. 144 nachlesen zu können.