Certalys vorgestellt – mein Monitoring-Projekt mit Proxmox VE und PBS

[Certalys]

Hallo zusammen,

ich bin Meik und möchte euch mein Projekt Certalys vorstellen. Ich komme aus dem IT-Betrieb, und die Idee dahinter ist aus einem ganz konkreten eigenen Bedarf entstanden.

Am Anfang wollte ich tatsächlich nur einen Client bequem zwischen zwei OPNsense-Aliasen wechseln können, um zwischen VPN und normalem Internetzugang umzuschalten. Geplant war ein kleines Hilfsprogramm, keine größere Monitoring-Anwendung.

Während der Entwicklung wurde für mich aber immer interessanter, wie sich die Informationen verschiedener Systeme zusammenbringen lassen. Eine Firewall, ein NAS, ein Virtualisierungshost und ein Backup-Server stehen zwar in getrennten Oberflächen, im Betrieb hängen sie aber zusammen. Genau diesen Zusammenhang wollte ich verständlicher sichtbar machen.

Daraus ist Certalys geworden: eine eigenständige Windows-Anwendung, die Monitoring, eine grafische CMDB und regelbasierte Analyse miteinander verbindet.

Die Integration von Proxmox VE und Proxmox Backup Server ist inzwischen für den vorgesehenen Funktionsumfang umgesetzt und praktisch getestet. Für mich war das ein wichtiger Schritt: Neben OPNsense und Unraid kann ich nun auch Virtualisierung und Backup-Monitoring in denselben Überblick einbeziehen.

Dabei soll Certalys weder die Proxmox-Oberfläche ersetzen noch VMs verwalten oder selbst PBS-Backups ausführen. Die Anbindung dient der lesenden Überwachung. Mich interessiert, wie Systemzustände, Ressourcen- und Backup-Informationen zusammen ein brauchbares Bild ergeben, ohne dass wichtige Hinweise zwischen vielen Einzelwerten untergehen.

Die CMDB macht bestätigte Abhängigkeiten sichtbar. Analysis und Requires attention sollen die Fehlersuche unterstützen: Was ist passiert? Welche Systeme sind betroffen oder könnten betroffen sein? Was sollte als Nächstes geprüft werden? Die Auswertung arbeitet regelbasiert; fehlende Informationen sollen nicht durch vermeintlich sichere Erklärungen ersetzt werden.

Benachrichtigungen über SMTP, Pushover, Slack und PagerDuty sind ebenfalls integriert. Dazu kommen inzwischen Benutzerverwaltung mit Rollen und 2FA sowie ein verschlüsseltes Backup und Restore für Certalys selbst. Letzteres ist ausdrücklich etwas anderes als das Monitoring von PBS: Gesichert werden die Certalys-Konfiguration und ihre Anwendungsdaten, nicht die überwachten VMs.

Monitoring und Analyse benötigen keinen Cloud-Dienst. Externe Meldungen werden nur über die selbst eingerichteten Kanäle versendet. Das Projekt entsteht mit KI-Unterstützung; die Funktionen werden schrittweise implementiert und praktisch erprobt.

Der Gesamtstand ist weiterhin in Entwicklung, noch keine Final 1.0. Als Nächstes steht XCP-ng an; perspektivisch folgen TrueNAS, Agenten für Windows Server und Linux Server sowie Switches und Netzwerkdrucker.

Mein Antrieb ist, eine Lösung nach den Anforderungen zu entwickeln, die mir im Betrieb wichtig sind: Übersicht, nachvollziehbare Zusammenhänge und möglichst wenig unnötige Arbeit. Ob der Ansatz auch anderen hilft, möchte ich gern mit euch diskutieren.



Welche Informationen zu Proxmox VE und PBS wären euch in einer solchen gemeinsamen Übersicht besonders wichtig? Auch kritische Hinweise zum Konzept sind willkommen.

Weitere Informationen stehen auf https://certalys.com. Certalys ist mein eigenes Projekt, keine offizielle Proxmox-Anwendung.

Viele Grüße
Meik

 

[TErxleben]

Hallo zusammen,

ich bin Meik und möchte euch mein Projekt Certalys vorstellen. Ich komme aus dem IT-Betrieb, und die Idee dahinter ist aus einem ganz konkreten eigenen Bedarf entstanden.

Am Anfang wollte ich tatsächlich nur einen Client bequem zwischen zwei OPNsense-Aliasen wechseln können, um zwischen VPN und normalem Internetzugang umzuschalten. Geplant war ein kleines Hilfsprogramm, keine größere Monitoring-Anwendung.

Während der Entwicklung wurde für mich aber immer interessanter, wie sich die Informationen verschiedener Systeme zusammenbringen lassen. Eine Firewall, ein NAS, ein Virtualisierungshost und ein Backup-Server stehen zwar in getrennten Oberflächen, im Betrieb hängen sie aber zusammen. Genau diesen Zusammenhang wollte ich verständlicher sichtbar machen.

Daraus ist Certalys geworden: eine eigenständige Windows-Anwendung, die Monitoring, eine grafische CMDB und regelbasierte Analyse miteinander verbindet.

Die Integration von Proxmox VE und Proxmox Backup Server ist inzwischen für den vorgesehenen Funktionsumfang umgesetzt und praktisch getestet. Für mich war das ein wichtiger Schritt: Neben OPNsense und Unraid kann ich nun auch Virtualisierung und Backup-Monitoring in denselben Überblick einbeziehen.

Dabei soll Certalys weder die Proxmox-Oberfläche ersetzen noch VMs verwalten oder selbst PBS-Backups ausführen. Die Anbindung dient der lesenden Überwachung. Mich interessiert, wie Systemzustände, Ressourcen- und Backup-Informationen zusammen ein brauchbares Bild ergeben, ohne dass wichtige Hinweise zwischen vielen Einzelwerten untergehen.

Die CMDB macht bestätigte Abhängigkeiten sichtbar. Analysis und Requires attention sollen die Fehlersuche unterstützen: Was ist passiert? Welche Systeme sind betroffen oder könnten betroffen sein? Was sollte als Nächstes geprüft werden? Die Auswertung arbeitet regelbasiert; fehlende Informationen sollen nicht durch vermeintlich sichere Erklärungen ersetzt werden.

Benachrichtigungen über SMTP, Pushover, Slack und PagerDuty sind ebenfalls integriert. Dazu kommen inzwischen Benutzerverwaltung mit Rollen und 2FA sowie ein verschlüsseltes Backup und Restore für Certalys selbst. Letzteres ist ausdrücklich etwas anderes als das Monitoring von PBS: Gesichert werden die Certalys-Konfiguration und ihre Anwendungsdaten, nicht die überwachten VMs.

Monitoring und Analyse benötigen keinen Cloud-Dienst. Externe Meldungen werden nur über die selbst eingerichteten Kanäle versendet. Das Projekt entsteht mit KI-Unterstützung; die Funktionen werden schrittweise implementiert und praktisch erprobt.

Der Gesamtstand ist weiterhin in Entwicklung, noch keine Final 1.0. Als Nächstes steht XCP-ng an; perspektivisch folgen TrueNAS, Agenten für Windows Server und Linux Server sowie Switches und Netzwerkdrucker.

Mein Antrieb ist, eine Lösung nach den Anforderungen zu entwickeln, die mir im Betrieb wichtig sind: Übersicht, nachvollziehbare Zusammenhänge und möglichst wenig unnötige Arbeit. Ob der Ansatz auch anderen hilft, möchte ich gern mit euch diskutieren.

View attachment 100386

Welche Informationen zu Proxmox VE und PBS wären euch in einer solchen gemeinsamen Übersicht besonders wichtig? Auch kritische Hinweise zum Konzept sind willkommen.

Weitere Informationen stehen auf https://certalys.com. Certalys ist mein eigenes Projekt, keine offizielle Proxmox-Anwendung.

Viele Grüße
Meik

Mit Win als Basis in einer unixoiden Umgebung bist du für mich schon raus. Wenn dann noch KI-Gefrickel obendrauf kommt gleich nochmal.

 

[Bu66as]

Sieht schon ziemlich durchdacht aus, vor allem dass du beim Verify sauber "Stored check; not a restore test" hinschreibst statt einfach grün zu malen. Das fehlt bei vielen Tools.

Was mir in so einer Übersicht am meisten bringen würde: Gäste, die in keinem Backup-Job drin sind. Das ist der Klassiker, neue VM angelegt, Job nie angepasst, fällt erst beim Restore-Bedarf auf. Die API liefert das direkt (pvesh get /cluster/backup-info/not-backed-up). Auf PBS-Seite würde ich Prune und GC getrennt anzeigen, letzter Lauf und Ergebnis. Viele wundern sich, warum der Datastore trotz keep-Einstellungen voll läuft, weil Prune nur die Snapshots entfernt und erst die GC die Chunks tatsächlich löscht. Dazu Sync-Jobs, falls jemand eine Offsite-Kopie zieht, und Datastore-Füllstand mit Trend statt nur aktuellem Prozentwert.

Bei PVE noch Replikationsstatus (pvesr), Quorum/Corosync bei Cluster, und ZFS-Pool-Health. Ein degradierter Pool läuft gern wochenlang unbemerkt weiter.

Btw, welche Rechte braucht dein Token aktuell? Für ein rein lesendes Tool würde ich in der Doku klar schreiben, dass PVEAuditor bzw. auf PBS eine Audit-Rolle reicht. Dann richtet niemand aus Bequemlichkeit root@pam ein.

 

[Johannes S]

Mit Win als Basis in einer unixoiden Umgebung bist du für mich schon raus. Wenn dann noch KI-Gefrickel obendrauf kommt gleich nochmal.

Dazu kommt: Kein Source code, sieht aber nach einen guten Tool für "Enterprise" aus und das ist kein Kompliment

 

[Certalys]

Mit Win als Basis in einer unixoiden Umgebung bist du für mich schon raus. Wenn dann noch KI-Gefrickel obendrauf kommt gleich nochmal.

Das Windows als Basis für deine Umgebung nicht infrage kommt, kann ich nachvollziehen. Certalys ist derzeit eine Windows-Anwendung. Wer eine ausschließlich unixoide Lösung sucht, für den ist der aktuelle Stand daher nicht geeignet. Ich habe die KI-Unterstützung bewusst erwähnt, weil ich damit offen umgehen möchte. Sie nimmt mir weder die Verantwortung für das Ergebnis noch die Arbeit an Tests, Sicherheit und Wartbarkeit ab. Mir ist auch klar, dass ein junges Projekt erst Vertrauen aufbauen muss. Die Bezeichnung „KI-Gefrickel” halte ich ohne eine konkrete Betrachtung allerdings für wenig hilfreich. Über sachliche Hinweise zu technischen Schwächen oder berechtigten Bedenken würde ich mich freuen. Daran möchte ich das Projekt weiterentwickeln. Ich wollte hier meinen bisherigen Weg und den aktuellen Stand vorstellen. Dass der Ansatz nicht für jeden passt, ist völlig in Ordnung.

Dazu kommt: Kein Source code, sieht aber nach einen guten Tool für "Enterprise" aus und das ist kein Kompliment

Ich respektiere, dass für dich öffentlich einsehbarer Quellcode eine Voraussetzung ist. Der Source von Certalys ist derzeit jedoch nicht öffentlich. Dadurch sind die Möglichkeiten einer unabhängigen technischen Bewertung eingeschränkt, was ein berechtigter Punkt ist.
Konkret würde mich interessieren, was du mit „Enterprise“ als Kritik meinst: die Darstellung, den Funktionsumfang oder das Betriebsmodell?
Die professionelle Oberfläche soll keinen Reifegrad behaupten, den ich noch nicht nachweisen kann. Ich habe bewusst einen Entwicklungsstand präsentiert und keine fertige Universallösung. Ich bin an konkreten Hinweisen zu Bedienung, Sicherheit oder Konzept interessiert, da ich so tatsächlich etwas verbessern kann. Dass Windows und die KI-Unterstützung für dich bereits Ausschlusskriterien sind, habe ich verstanden. Dann passt das Projekt derzeit nicht zu deinen Anforderungen.

 

[Certalys]

Sieht schon ziemlich durchdacht aus, vor allem dass du beim Verify sauber "Stored check; not a restore test" hinschreibst statt einfach grün zu malen. Das fehlt bei vielen Tools.

Was mir in so einer Übersicht am meisten bringen würde: Gäste, die in keinem Backup-Job drin sind. Das ist der Klassiker, neue VM angelegt, Job nie angepasst, fällt erst beim Restore-Bedarf auf. Die API liefert das direkt (pvesh get /cluster/backup-info/not-backed-up). Auf PBS-Seite würde ich Prune und GC getrennt anzeigen, letzter Lauf und Ergebnis. Viele wundern sich, warum der Datastore trotz keep-Einstellungen voll läuft, weil Prune nur die Snapshots entfernt und erst die GC die Chunks tatsächlich löscht. Dazu Sync-Jobs, falls jemand eine Offsite-Kopie zieht, und Datastore-Füllstand mit Trend statt nur aktuellem Prozentwert.

Bei PVE noch Replikationsstatus (pvesr), Quorum/Corosync bei Cluster, und ZFS-Pool-Health. Ein degradierter Pool läuft gern wochenlang unbemerkt weiter.

Btw, welche Rechte braucht dein Token aktuell? Für ein rein lesendes Tool würde ich in der Doku klar schreiben, dass PVEAuditor bzw. auf PBS eine Audit-Rolle reicht. Dann richtet niemand aus Bequemlichkeit root@pam ein.

Vielen Dank für die ausführliche Rückmeldung! Freut mich besonders, dass dir der Hinweis beim Verify aufgefallen ist. Ein gespeichertes Prüfergebnis und eine tatsächlich getestete Wiederherstellung sind für mich zwei verschiedene Dinge. Ich möchte mich auf eine Anzeige verlassen können und nicht erst überlegen müssen, was das grüne Häkchen eigentlich bedeutet.

Die Backup-Job-Abdeckung ist für die bisher unterstützten QEMU-Gäste bereits enthalten. Wenn die entsprechende Überwachung aktiviert ist und eine VM von keinem aktivierten Backup-Job erfasst wird, zeigt Certalys „Not scheduled“ an. Dein Beispiel mit der neu angelegten VM trifft aber einen wichtigen Punkt: Die Prüfung kann vorhanden sein und trotzdem übersehen werden. Eine zentrale Übersicht der nicht eingeplanten Gäste wäre dafür hilfreich.

Prune-/GC- und Sync-Ereignisse sind in der Operations Console ebenfalls schon vorhanden. Prune und GC stehen dort bislang in einer gemeinsamen Ereignisgruppe. Die beiden Vorgänge mit jeweils letztem Lauf und Ergebnis getrennt hervorzuheben, finde ich sinnvoll. Gerade die Frage „Warum wird trotz Prune kein Platz frei?“ ließe sich damit besser einordnen. Das schaue ich mir noch einmal genauer an.

Ein Verlauf beim Datastore-Füllstand wäre ebenfalls eine gute Ergänzung. Der aktuelle Prozentwert sagt eben wenig darüber aus, ob der Speicher seit Wochen gleich belegt ist oder gerade schnell vollläuft. Deine Hinweise zu ZFS und Replikation sind ebenfalls interessant. Cluster-Monitoring mit Quorum und Corosync gehört derzeit allerdings bewusst nicht zum unterstützten Umfang. Das wäre ein eigener Ausbau, den ich nicht nebenbei versprechen möchte.

Zu deiner Frage nach den Rechten: Ich habe auf Proxmox-Seite ausdrücklich einen eigenen Benutzer mit Audit-Rechten für Certalys eingerichtet. Also keinen administrativen Vollzugang. Certalys soll ausschließlich lesen und arbeitet auch so: keine VMs starten oder stoppen, keine Backup-, Prune- oder GC-Jobs auslösen und keine Konfigurationen verändern.

Benutzer, API-Token und Berechtigungen richtet der Anwender auf Proxmox-Seite ein. Certalys vergibt oder erweitert selbst keine Rechte. Den Hinweis zur Dokumentation finde ich deshalb wichtig: Die Anleitung muss konkret benennen, welche Leserechte an welcher Stelle benötigt werden. Eine Empfehlung, bei Zugriffsproblemen einfach mehr Rechte oder gleich einen Administratorzugang zu vergeben, wäre der falsche Weg.

Danke dir auch für die konkreten Beispiele aus dem Betrieb. Daran lässt sich gut erkennen, wo noch eine Funktion fehlt und wo vorhandene Informationen einfach deutlicher dargestellt werden sollten.

 

[TErxleben]

Das Windows als Basis für deine Umgebung nicht infrage kommt, kann ich nachvollziehen. Certalys ist derzeit eine Windows-Anwendung. Wer eine ausschließlich unixoide Lösung sucht, für den ist der aktuelle Stand daher nicht geeignet. Ich habe die KI-Unterstützung bewusst erwähnt, weil ich damit offen umgehen möchte. Sie nimmt mir weder die Verantwortung für das Ergebnis noch die Arbeit an Tests, Sicherheit und Wartbarkeit ab. Mir ist auch klar, dass ein junges Projekt erst Vertrauen aufbauen muss. Die Bezeichnung „KI-Gefrickel” halte ich ohne eine konkrete Betrachtung allerdings für wenig hilfreich. Über sachliche Hinweise zu technischen Schwächen oder berechtigten Bedenken würde ich mich freuen. Daran möchte ich das Projekt weiterentwickeln. Ich wollte hier meinen bisherigen Weg und den aktuellen Stand vorstellen. Dass der Ansatz nicht für jeden passt, ist völlig in Ordnung.



Ich respektiere, dass für dich öffentlich einsehbarer Quellcode eine Voraussetzung ist. Der Source von Certalys ist derzeit jedoch nicht öffentlich. Dadurch sind die Möglichkeiten einer unabhängigen technischen Bewertung eingeschränkt, was ein berechtigter Punkt ist.
Konkret würde mich interessieren, was du mit „Enterprise“ als Kritik meinst: die Darstellung, den Funktionsumfang oder das Betriebsmodell?
Die professionelle Oberfläche soll keinen Reifegrad behaupten, den ich noch nicht nachweisen kann. Ich habe bewusst einen Entwicklungsstand präsentiert und keine fertige Universallösung. Ich bin an konkreten Hinweisen zu Bedienung, Sicherheit oder Konzept interessiert, da ich so tatsächlich etwas verbessern kann. Dass Windows und die KI-Unterstützung für dich bereits Ausschlusskriterien sind, habe ich verstanden. Dann passt das Projekt derzeit nicht zu deinen Anforderungen.

1. Das ganze Promox-Universum spielt sich im unixoiden Bereich ab.
2. Darauf dann einen Win-Aufsatz zu pflanzen passt einfach nicht.
3. KI als "Unterstützung" zu erwähnen ist einfach daneben. Du könntest auch erwähnen, dass Meier, Müller und Schulze mitgewirkt hätten.
4. Wenn du KI als Werkzeug verwendest, wie ein Mechaniker seinen 17er Ringschlüssel, ist es nicht erwähnenswert.
5. Wenn du etwas mit KI zusammenklöppelst, was zwar nett aussieht, aber du keinen Plan hast wie es funktioniert, dann ist das das ein NoGo und assoziiert gleich den Gedanken KI-Slop
6. Das in sicherheitskritischen Umgebungen? Ohne mich!
7. Ich finde das Konzept schon extrem fragwürdig, damit erübrigt sich der Rest.
8. Du hast um Rückmeldung gebeten. Die liefere ich.
9. Du kannst selbstverständlich machen was du möchtest.
10. @Johannes S meinte mit Enterprise bestimmt BlingBling.