VictoriaLogs und rsyslog für eine bequeme Logauswertung

For kurzem hatte ich einen Blog geschrieben, wie ich Beszel auf meinem Home-Server aufgesetzt habe, um diesen, zusammen mit meinem Root-Server, besser überwachen zu können. Nun habe ich doch eine schöne Möglichkeit gefunden, Logs auszuwerten.
Auf der Suche nach einem Logviewer
Mir wurde in einem Forum Loganalyzer empfohlen. Deshalb probierte ich erst mal ein Setup in meiner Proxmox Homelab aufzubauen. Doch leider hat das irgendwie nicht so richtig geklappt. Das Problem hierbei war, dass man eine MySQL-Datenbank aufbauen muss, wenn man ein Multi-User-Logging verwenden möchte. Das gestaltete sich irgendwie recht sperrig.
Dann kommt noch dazu, dass man neben rsyslog auch noch rsyslog-mysql installieren muss. Das legt schon mal eine eigene Datenbank samt Benutzerdaten an. Für den Loganalyzer braucht man jedoch auch eine. Klar könnte man die auch die von rsyslog installieren, aber das kam mir erst jetzt beim Schreiben des Blogs in den Sinn. Allerdings entsprach das ganze Schema nicht so wirklich meinen Vorstellungen. Außerdem kommt noch dazu, dass das ganze auf PHP basiert. Im Grunde nicht schlecht, aber so gesehen irgendwie auch wieder altbacken.
Dann habe ich mir mal VictoraLogs angeschaut. Leichtgewichtig, per Docker betrieben und hat auch schon eine Web-UI mit dabei. Bissl Statistiken anzeigen kann es auch, aber halt nicht mit so schnieken Tortendiagrammen wie z. B. Grafana. Doch das ist mir egal. Ich möchte auch an der Stelle, gerne wieder meine Erfahrungen teilen. Ich hab das alles auf Debian-Servern installiert, weswegen ich auch diese Syntax nehme.
Voraussetzungen
- Docker + Docker compose
- Auf allen Maschinen rsyslog
- Wenn der Collector im Heimnetzwerk ist und der/die Shipper im Internet, dann am besten einen VPN wie z. B. Tailscale (damit geht’s recht einfach).
VictoriaLogs auf dem Collector installieren
Falls noch nicht geschehen, alles entsprechende installieren:
apt install docker.io docker-compose rsyslogCode-Sprache: Bash (bash)
Anschließend geht es hier weiter:
- Einen entsprechenden Ordner für die
docker-compose.ymlanlegen. Zum Beispiel untermkdir -p /opt/docker/victorialogs. - Nun mittels
nano docker-compose.ymldie Konfig anlegen.
Hier kommt folgendes rein:
services:
victorialogs:
image: victoriametrics/victoria-logs:latest
container_name: victorialogs
restart: unless-stopped
ports:
# Das ist der Port, auf dem die Web-UI lauscht.
- 9428:9428
# Der Port, auf die dann die Daten empfangen werden.
- 29514:29514
volumes:
- ./victoria-logs-data:/victoria-logs-data
command:
- "-storageDataPath=/victoria-logs-data"
# Hier wird spezifiziert, auf welchem Port VictoriaLogs lauscht. Muss den Ports oben entsprechen.
- "-syslog.listenAddr.tcp=:29514"
# Je nachdem, wie Dein Sammler konstituiert ist, kannst Du die beiden rentention-Teile weglassen oder anpassen. Da ich einen recht kleinen Home-Server habe, hab ich das entsprechend angepasst.
- "-retentionPeriod=14d"
- "-retention.maxDiskSpaceUsageBytes=15GiB"
# Das dient dazu, Victorialogs später vor ungebetenen Zugriffen zu schützen. Die Passwort-Datei legen wir dann noch an. Den Benutzernamen kannst Du frei wählen. Man kann das ganze noch über einen Reverse-Proxy realisieren und entsprechend absichern, habe es aber hier auf die einfache Variante gemacht. Leider liegt das Passwort dann im Klartext bei der Methode vor, weswegen sich diese nur für ein Single-Admin-System empfiehlt.
- "-httpAuth.username=admin"
- "-httpAuth.password=file:///victoria-logs-data/password"
Code-Sprache: YAML (yaml)
- Mit
mkdir -p /opt/docker/victorialogs/victoria-logs-dataschon mal den Datenordner anlegen. - Nun hast Du zwei Möglichkeiten, eine eigene Passwortdatei anzulegen. In beiden Fällen muss die Datei mit
chmod 600 passwordentsprechende Rechte bekommen.openssl rand -base64 32 > /opt/docker/victorialogs/victoria-logs-data/password: Damit legst Du ein zufälliges langes Passwort an.echo "dein_sicheres_passwort" > /opt/docker/victorialogs/victoria-logs-data/password: Damit kannst Du Dein eigenes Passwort nehmen.
- Im Anschluss kannst Du VictoriaLogs eigentlich schon mit
docker compose up -dstarten.
rsyslog auf dem Shipper installieren
- Falls noch nicht geschehen, auf dem Shipper, der die Logs dann an den Collector pusht, rsyslog installieren. Bei Debian ist es manchmal schon mit dabei und kann per
rsyslogd -vodersystemctl status rsyslogvalidiert werden. - Nun legst Du erst mal unter
/etc/rsyslog.ddie Hauptdatei mitnano 90-victorialogs.confan.
In diese kommt dann folgendes:
# Bei IP gibst Du bitte die Tailscale- oder VPN-IP Deines Collectors an.
*.* @@IP:29514;RSYSLOG_SyslogProtocol23Format
Code-Sprache: PHP (php)
Im Grunde haben wir hier schon mal eine Basis, da bereits jetzt schon der Großteil des Syslog übergeben wird. Allerdings sind in diesem nicht immer alle Logs enthalten. Dienste wie z. B. Apache2, MySQL/MariaDB etc. kochen hier meist ihr eigenes Süppchen und legen sich in /var/log nieder. Möchte man diese auch mit erfassen, legt man eine extra config an.
Hier z. B. für Apache (30-apache.conf):
module(load="imfile")
input(
type="imfile"
File="/var/log/apache2/access*.log"
Tag="apache-access"
Facility="local6"
Severity="info"
PersistStateInterval="100"
freshStartTail="on"
)
input(
type="imfile"
File="/var/log/apache2/error*.log"
Tag="apache-error"
Facility="local6"
Severity="err"
PersistStateInterval="100"
freshStartTail="on"
)
Code-Sprache: JavaScript (javascript)
Dabei kann man z. B. auch *-error.log/*-access.log oder nur error.log/access.log nehmen – je nachdem wie Du Dein System eingerichtet hast. Das ganze kann man auch auf MySQL/MariaDB so übertragen. Allerdings nutzt MySQL meist den Log für Fehler, weswegen man hier eher Severity="err" nehmen sollte.
Man kann das Schema auch auf z. B. Seafile übertragen. Ich hab das so gemacht:
module(load="imfile")
input(
type="imfile"
File="/home/seafile/logs/seafile.log"
Tag="seafile"
Facility="local6"
Severity="info"
PersistStateInterval="100"
freshStartTail="on"
)
input(
type="imfile"
File="/home/seafile/logs/seahub.log"
Tag="seahub"
Facility="local6"
Severity="info"
PersistStateInterval="100"
freshStartTail="on"
)
input(
type="imfile"
File="/home/seafile/logs/fileserver.log"
Tag="seafile-fileserver"
Facility="local6"
Severity="info"
PersistStateInterval="100"
freshStartTail="on"
)
input(
type="imfile"
File="/home/seafile/logs/seafile-monitor.log"
Tag="seafile-monitor"
Facility="local6"
Severity="info"
PersistStateInterval="100"
freshStartTail="on"
)
Code-Sprache: JavaScript (javascript)
Das war’s hier im Großen und Ganzen eigentlich. Nach diesem Schema holt man sich so die Logs mit rein.
Den Collector selber mit loggen
Natürlich macht es auch Sinn, den Collector selber mit zu loggen. Letztendlich verfährt man hier wie bei den Shippern, nur dass man u. a. in der 90-victorialogs.conf anstatt der VPN-IP des Collectors einfach localhost nimmt.

Kommentare zu 'VictoriaLogs und rsyslog für eine bequeme Logauswertung' (0)
Kommentar-Feed