Wie schützt Ihr euere Windows Server unter PVE / PBS?

Nov 17, 2023
197
10
18
Moin,
wir betreiben einige VM mit Windows Server unter Proxmox.
Wir haben einen Cluster mit 2 Nodes im Einsatz.
Die VMs werden auf den anderen Node repliziert und per PBS auf eine NAS gespeichert.
Zusätzlich werden die VM´s noch in die Hetzner Cloud transferiert.
Läuft alles wirklich gut.

Ist da der PBS wirklich ausreichen für die Dateisicherheit und Wiederherstellung?

Gibt es einen File Restore direkt in die VM?

Wie schützt Ihr euere Windows Server unter PVE / PBS?
 
Der Proxmox BS ist für das Sichern von LXC und VM aus dem Proxmox VE heraus.
Auch das zurück spielen läuft bei mir Problemlos.
So hat der Proxmox BS einige Anforderungen, die man erfüllen muss.

Der Proxmox BS ist für meine Private Nutzung ausgelegt, so dass ich auf 100% SSD verzichtet habe.
Er bietet einen massiven Deduplikation und läuft bei mir auf einer ZFS Hybird Installation auf HDD und SSD als ZFS Special Device und als Optionen: mit ZFS ZIL/SLOG und/ oder ZFS Cache.
 
Moin,
wir betreiben einige VM mit Windows Server unter Proxmox.
Wir haben einen Cluster mit 2 Nodes im Einsatz.
Die VMs werden auf den anderen Node repliziert und per PBS auf eine NAS gespeichert.
Zusätzlich werden die VM´s noch in die Hetzner Cloud transferiert.
Läuft alles wirklich gut.

Ist da der PBS wirklich ausreichen für die Dateisicherheit und Wiederherstellung?
Der PBS reicht vollkommen aus, aber auf einem NAS würde ich das maximal im Homelab aber nie Produktiv betreiben.
Gibt es einen File Restore direkt in die VM?
Filelevel Restore geht derzeit nur per Download in der GUI. Ein Direkt Restore ist im Bau. Jetzt die Frage wann kommt das Feature? Wenn es fertig ist.
Wir wissen es nicht und erfahren es wenn es fertig ist und vernünftig läuft.
Wie schützt Ihr euere Windows Server unter PVE / PBS?
Alle mit PBs, außer bei kritischen Datenbanken mache ich per Veeam Agent noch zusätzliche Backups inklusive Log Backup alle 5 Minuten.
 
Der PBS reicht vollkommen aus, aber auf einem NAS würde ich das maximal im Homelab aber nie Produktiv betreiben.

Filelevel Restore geht derzeit nur per Download in der GUI. Ein Direkt Restore ist im Bau. Jetzt die Frage wann kommt das Feature? Wenn es fertig ist.
Wir wissen es nicht und erfahren es wenn es fertig ist und vernünftig läuft.

Alle mit PBs, außer bei kritischen Datenbanken mache ich per Veeam Agent noch zusätzliche Backups inklusive Log Backup alle 5 Minuten.
Hi Falk,

warum nicht die Backups auf eine Nas? Was spricht dagegen?
 
Voraussichtlich weil so ein NAS zu langsamm ist und den Flaschenhals darstellt, IOPS
Ja, gut kann ich verstehen. Aber die NAS ist ja nur das Backup, da es sich bei uns um ein PVE Cluster mit 10 GbE ClusterNetzwerk handelt ist glaube ich das Backup zu vernachlässigen oder?

Wenn jetzt eine VM kaputt geht, dann hole ich die nicht auf dem Backup sondern von dem anderen Node.
OK, denn die VM auf dem anderen Node auch kaputt (infiziert oder so ist) dann muss ich wirklich an das Backup ran.

Aber man kann kann auch eine NAS mit 10 GbE anbinden, das ist heute kein Thema mehr.
Darum würde ich sagen eine NAS g geht durch aus als Backupmedium.
 
Hi
Es ist aktuell noch nicht der Hammer, aber es gibt Veeam Backup and Replication Support, Wenn du eine Sehr Umfangreiche Lösung mit S3 Backup, immutable Backup etc. ist das bzw. wird das in Zukunft sicher eine gute Enterprise Lösung sein.
Ja, Veeam supportet seit Version 12.2 auch PVE
https://www.veeam.com/de/company/press-release/proxmox.html und im Detail: https://helpcenter.veeam.com/docs/vbproxmoxve/userguide/overview.html?ver=1

Klar, ist natürlich dann eine richtig gute Lösung, aber die kostet auch Ihren Teil. ;)

Toll wäre es wenn man sein PVE Cluster vernüftig mit Proxmox Mitteln (Replication und PBS) absichern könnte.

Wie macht Ihr das aktuell?
 
Hi Falk,

warum nicht die Backups auf eine Nas? Was spricht dagegen?
Weil der PBS für SSD optimiert entwickelt wurde und ein Netzwerk Dateisystem egal welcher Art nicht gut für kleine schnelle IOPs ist. Das haben wir aber gezwungenermaßen durch das Dedup.
 
wir betreiben einige VM mit Windows Server unter Proxmox.

Also etwas, wovon ich keine Ahnung habe, ich habe beruflich vor allen mit Linux zu tun. Ich nutze das trotzdem als Anlass mein Halbwissen zur Schau zu stellen.

Wir haben einen Cluster mit 2 Nodes im Einsatz.
Die VMs werden auf den anderen Node repliziert und per PBS auf eine NAS gespeichert.
Zusätzlich werden die VM´s noch in die Hetzner Cloud transferiert.
Läuft alles wirklich gut.

Ist da der PBS wirklich ausreichen für die Dateisicherheit und Wiederherstellung?

Das hängt davon ab, was für Anwendungen ihr habt (Datenbanken würde ich seperat sichern, für AD, Exchange und anderen Windows-Kram überlasse ich das wort berufeneren).

Wie schützt Ihr euere Windows Server unter PVE / PBS?

Naja, ich schätze mal, so wie jeden anderen Windows-Server auch, das ist erstmal nicht abhängig von der Virtualisierung.
Wie gesagt: Ich bin kein Windows-Admin, erlaube mir aber trotzdem eine Meinung.

Die Ausgangsfrage sollte sein: Wovor wollt ihr euch schützen (also was ist das Thread-Model) und wie lange darf ein potentieller Ausfall maximal dauern? Macht ihr euch vor allen Sorgen um Ransomware? Habt ihr Angst vor Industriespionage oder internen Angreifen (also Mitarbeitern, die Mist bauen, das können auch Admins mit weitreichenden Zugriffsrechten sein!). Ist der Ausfall als solcher verkraftbar, aber mögliche Haftungsrisiken und Strafgelder das eigentliche Problem (also Compilance)? Je nachdem ergeben sich unterschiedliche Szenarien und Lösungsmöglichkeiten.

Backup und Restore (obwohl beides natürlich vorhanden und geübt werden sollte, Backup dass man nicht wiederhergestellt kriegt, ist nutzlos!) sind da nur ein Lösungsbaustein. Oder findet eurer Mangement es ok, wenn ihr euch Ransomware einfängt, solange ihr alles nur innerhalb von einen Tag/einer Woche/einen Monat wieder hergestellt kriegt? Außerdem kann ja auch ein Backup vom Angreifer übernommen werden.

Ganz interessant fande ich dazu folgenden Podcast über einen erfolgreichen Ransomwareangriff auf den Landkreis Anhalt-Bitterfeld:
https://www.mdr.de/mdr-sachsen-anhalt/podcast/you-are-fucked/index.html
Eine Kurzfassung: https://kommunalwiki.boell.de/index.php/Cyberangriff_auf_Landkreis_Anhalt-Bitterfeld_2021 (Anmerkung: Das wiki wird von der grünennahen Heinrich-Böll-Stiftung gehostet zu werden, trotz dieser parteilichen Färbung entspricht die dortige Darstellung aber den im Podcast genannten Fakten)
Dort hat die Ransomware nicht nur die einzelnen Desktoprechner, sondern auch die Windows-Server und (wenn ich mich richtig erinnere) den Backupserver übernehmen können, da alles im gleichen AD hing und die Admins mit ihren normalen User auch auf die Server konnten.
Auch sonst habe ich die Empfehlung gelesen, dass man eine starke Privilegientrennung durchführen sollte: Also, als normaler User kann man nicht den eigenen Rechner administrieren, sondern nur mit einen admin-Account (der ja für die gleiche Person ausgestellt sein kann) für diesen Rechner. Für die normalen Server braucht es wieder einen eigenen Account. Für die Administration von AD und den Zugriff auf den Backupserver (guess what) sind wieder je eigene Accounts fällig. Zusätzlich wird empfohlen, dass man zusätzlich 2Faktor-Authentifizierung einführt und/oder Smartcards statt Passwort (Hintergrund: Die ransomwares und Hacker versuchen getippte Passwörter abzugreifen, was mit Smartcards oder 2Fa nicht ohne weiteres funktioniert, bzw. haben 2fA-Tokens einen Ablaufzeitpunkt, weshalb der Angreifer damit nicht viel anfangen kann).

Solche Maßnahmen kann man natürlich nicht nur für Windows treffen: Auch unter Linux (und damit auch PBS und PVE) ist das möglich: So bietet es sich an, den root-User nach Möglichkeit gar nicht zu nutzen, sondern mit Userkennungen und daraus abgeleiteten Tokens mit 2FA zu arbeiten. Zusätzlich kann man sich vor dem Szenario "Auch das Backup wurde gehackt" auf zwei Weisen schützen: Erstens den PBS unabhängig vom restlichen Netz auf eigener Hardware und eigenen Zugangsdaten (also lokale User, KEIN AD oder LDAP) aufzusetzen. Zweitens kann man in PBS auch Syncjobs konfigurieren, die sich Backups von anderen PBS-Servern ziehen. Damit kann man nun folgende Kette aufbauen:
1. ProxmoxVE darf Backups auf lokalen PBS schreiben, aber nicht löschen oder verändern.
2. Lokaler PBS räumt regelmäßig alte Backups weg und erlaubt, dass der offsitePBS(sofern er die richtigen Zugangsdaten verwendet) sich Backups ziehen kann, diese aber nicht verändern. Auf den remotePBS hat er Lesezugriff zum restore, aber keinen Schreibzugriff.
3. Offsite PBS erlaubt keinen Schreibzugriff für den PVE und lokalen PBS, nur Lesezugriff (für restore). Er kann außerdem sich Backups vom lokalen PBS ziehen, diese aber nicht bearbeiten (siehe 2.). Ein pulljob zieht sich regelmäßig die neuen Backups vom lokalen PBS, außerdem laufen eigene Aufräumjobs. Als zusätzliche Absicherung sorgt eine Firewallregel dafür, dass im Normalbetrieb der lokale PBS und ProxmoxVE gar keinen Zugriff haben. Sobald ein Restore nötig wird, wird temporär eine Freischaltung dafür (und nur dafür) eingerichtet.
Damit verhindert man also das Szenario, dass ein Angreifer nach Übernahme der gesamten lokalen Infrastruktur (inklusive PBS) auch die offsite-Backups manipulieren kann. Wenn man die offsite-Backups lange genug vorhält, hat man immer einen (mehr oder weniger alten) Datenbestand, der noch nicht kompromitiert wurde und worauf man zurück kann.

Ein weiterer Baustein ist zu verhindern, dass User unautorisierte Anwendungen ausführen können (z.B. als Emailanhänge oder heruntergeladene aus dem Internet), dafür gibt es es unter Windows mit SRP, Safer, Applocker und WDAC verschiedene Mechanismen (je nach Windows-Version funktionieren nicht alle), um die Ausführung von Programmen nur für bestimmte Programme aus bestimmten Verzeichnissen zu erlauben (Application-Whitelisting). Stefan Kanthak und Christoph Schneegans haben dazu einiges veröffentlicht, bei Schneegans und Microsoft findet man auch Tools, um sich Richtlinien für WDAC zu bauen.
Das hilft natürlich nicht nur gegen Ransomware, sondern auch klassische Viren. Anders als bei Antivirenprogrammen auch dann, wenn diese bisher unbekannt sind (außer sie finden im Whitelisting-Mechanismus eine Lücke) und ohne, dass sie selbst Sicherheitslücken aufmachen (siehe https://www.golem.de/news/antivirensoftware-die-schlangenoel-branche-1612-125148.html für eine seriöse Kritik an Antivirenprogrammen). Dafür sind Antivirenprogramme durchaus nützlich für Compilance: In den USA (und vermutlich auch in Deutschland) gibt es Versicherungen, die einen gegen Schadensfälle aus Cyberangriffen versichern, die kriegt man aber nur (bzw. günstiger), wenn ein Antivirenprogramm ausgerollt wurde. Technisch kann man das fragwürdig finden, wenn der Hauptsinn ist sich gegen Schadensersatzansprüche zu sichern, finde ich das aber durchaus legitim.

Dann kann und sollte man natürlich das interne Netzwerk noch möglicht gut gegen die Außenwelt absichern, wobei im Zeitalter der Cloud und Online-Updates das nur noch sehr bedingt möglich ist (siehe dazu folgenden Talk von einer Veranstaltung des Chaos Computer Clubs: https://talks.mrmcd.net/2024/talk/8CZJFN/ )

Wichtig: Alles Erwähnte basiert auf zusammengelesenen Halbwissen, ich bin eigentlich kein Windows-Admin ;) Für unsere Handvoll Window-Server wollte ich eigentlich mal folgenden Kurs bei Heise besuchen, aber habe es bisher noch nicht geschafft, mich darum zu kümmern
https://heise-academy.de/Videokurse/windows_10_11_mit_Bordmitteln_absichern

Toll wäre es wenn man sein PVE Cluster vernüftig mit Proxmox Mitteln (Replication und PBS) absichern könnte.

Kann man doch? Zumindestens in Bezug auf backup- und restore, aber Security ist halt noch mehr, siehe oben. Oder anders gesagt: Was fehlt dir?

Wie macht Ihr das aktuell?

Ich nutze Proxmox nur im Homelab und da habe ich kein Windows.

Edit: Ganz vergessen ( weil für mich selbstverständlich): Die wichtigste Maßnahme unter allen Betriebssystemen ist nach Meinung vieler Sicherheitsexperten, alle (!) Sicherheitsupdates schnellstmöglich ( unter 24 Stunden ) einzuspielen, meistens kommen Angreifer über bereits geschloßene Lücken rein. Man muss sich dafür ( insbesondere, aber nicht nur unter Windows) halt ein Vorgehen überlegen, wie man das ganze testet ( damit das Update einen nicht die Profuktion kaputt macht) und schnell wieder zurückgerollt kriegt.
 
Last edited:
  • Like
Reactions: adp, cave and UdoB
Hi
Es ist aktuell noch nicht der Hammer, aber es gibt Veeam Backup and Replication Support, Wenn du eine Sehr Umfangreiche Lösung mit S3 Backup, immutable Backup etc. ist das bzw. wird das in Zukunft sicher eine gute Enterprise Lösung sein.
Eher "wird" als "ist"oder? Die ganzen für Enterprise interessanten Features ( application-aware Backups etc) gehen ja aktuell, meine ich, nur mit Vmware.
Und was hier und anderswo an Kinderkrankheiten berichtet wurde, würden die ganzen "Proxmox is not enterprise-ready"-Leute auf reddit PBS nie durchgehend lassen ( mit Recht!)
 
Eher "wird" als "ist"oder? Die ganzen für Enterprise interessanten Features ( application-aware Backups etc) gehen ja aktuell, meine ich, nur mit Vmware.
Und was hier und anderswo an Kinderkrankheiten berichtet wurde, würden die ganzen "Proxmox is not enterprise-ready"-Leute auf reddit PBS nie durchgehend lassen ( mit Recht!)
Ja, es fehlt noch das meiste "Coole", wir haben bei uns eine Testinstallation mit einem 2 Node PVE Cluster und 2 Test VMs und die tollen Enterprise Features fehlen aktuell. Was auch sehr störend ist, ist das es aktuell keine Netapp Storage Integration für PVE gibt und somit alle Storage Snapshots von Veeam in an eine Separate Location Kopiert werden müssen. Das mit den Snapshots ist aber ein Generelles Problem/fehlendes Feature. Ich denke, mit PBS kommt man im Moment technisch besser zurecht.

Edit:
Das Coole was funktioniert ist das Backup rumkopieren und Immutable machen, das Kann man mit PBS nicht so einfach.
 
Last edited:
  • Like
Reactions: Johannes S
Ja, es fehlt noch das meiste "Coole", wir haben bei uns eine Testinstallation mit einem 2 Node PVE Cluster und 2 Test VMs und die tollen Enterprise Features fehlen aktuell.
Was fehlt dir denn?
Was auch sehr störend ist, ist das es aktuell keine Netapp Storage Integration für PVE gibt und somit alle Storage Snapshots von Veeam in an eine Separate Location Kopiert werden müssen.
Stimmt nicht, lese mal die aktuelle Doku zum PVE Support und ich habe im Netapp Discord schon gelesen, dass da jemand eine eigene Intrgration gebaut hat.
Das mit den Snapshots ist aber ein Generelles Problem/fehlendes Feature. Ich denke, mit PBS kommt man im Moment technisch besser zurecht.
Naja, welche fehlenden Snapshots? Kommt immer drauf an was du erreichen möchtest und was du nutzt. Mit ZFS/Ceph oder auch einer Netapp und NFS hast du keine Probleme mit Snapshots. Auch einige andere Storagetypen erlauben Snapshots.
Wenn du jetzt die VMware Limtierungen (es gibt nur VMFS sonst nix) als Basis für jeden Hypervisor nimmst, dann ist das nicht weit genug gedacht.
Edit:
Das Coole was funktioniert ist das Backup rumkopieren und Immutable machen, das Kann man mit PBS nicht so einfach.
Nein der kann das besser. Das Buzzword Immutable brauchst du gar nicht (muss aber jeder haben genauso wie KI).
Ich baue statt einem Veeam LHR mit Immutable, einfach einen zweiten PBS wo die Firewall eingehen komplett dicht ist und der holt per Pull die Daten vom Primär PBS.
Das ist sicherer, weil eingehen gar nix erlaubt wird und benötigt weniger Hirnschmalz und beinhaltet weniger Fehlerquellen als ein Veeam LHR.
P.S. 90% meiner Kunden haben ein Veeam LHR im Einsatz, aber mit zweitem PBS schlafe ich noch ruhiger.
 
Was fehlt dir denn?
Letzter Stand in meinem Alten Test Lab haben das Veeam Lab nicht funktioniert und der File-Level restore hat echt Probleme gemacht, zugegebenermassen war das noch mit dem erst Veeam Build der PVE unterstützt hat.
Stimmt nicht, lese mal die aktuelle Doku zum PVE Support und ich habe im Netapp Discord schon gelesen, dass da jemand eine eigene Intrgration gebaut hat.
Also NFS Selbst unterstützt ja selbst keine Snapshots du sprichst wohl von qcow2 oder habe ich etwas anderes nicht auf dem schirm. Zum Thema Netapp Integration, ich will da eigentlich was offizielles einfach aus Support gründen, das ist aber eine ganz persönliche preferenz.
Nein der kann das besser. Das Buzzword Immutable brauchst du gar nicht (muss aber jeder haben genauso wie KI).
Ich baue statt einem Veeam LHR mit Immutable, einfach einen zweiten PBS wo die Firewall eingehen komplett dicht ist und der holt per Pull die Daten vom Primär PBS.
Veeam Kann das auch ich Persönlich finde Immutable ein cooles konzept. Mit Veeam kannst du dir aber auch ein Hardened Reposotory Bauen, das ist dann etwa gleich wie dein Abgeschotteter PBS.

Ich möchte das aber alles noch mit Veeam 12.3 testen und nochmals ein paar in deph Test mit allen Features etc. machen.
 
  • Like
Reactions: Johannes S
Letzter Stand in meinem Alten Test Lab haben das Veeam Lab nicht funktioniert und der File-Level restore hat echt Probleme gemacht, zugegebenermassen war das noch mit dem erst Veeam Build der PVE unterstützt hat.
Naja, mit 12.3 hat sich nix geändert und viele Sachen kommen aus der VMware Welt. Manchmal muss man etwas umdenken. Der PBS ist da natürlich benutzerfreundlicher.
Also NFS Selbst unterstützt ja selbst keine Snapshots du sprichst wohl von qcow2 oder habe ich etwas anderes nicht auf dem schirm. Zum Thema Netapp Integration, ich will da eigentlich was offizielles einfach aus Support gründen, das ist aber eine ganz persönliche preferenz.
Was willst du denn auf NFS außer qcow2 benutzen? VMDK Unterstützung ist perfekt für Migrationen aber bestimmt nicht für den Dauerbetrieb.
Veeam Kann das auch ich Persönlich finde Immutable ein cooles konzept. Mit Veeam kannst du dir aber auch ein Hardened Reposotory Bauen, das ist dann etwa gleich wie dein Abgeschotteter PBS.
Naja, das kann fast so viel wie der zweite PBS. Man muss da aber mehr Hirnschmalz reinstecken, wenn das LHR sicher sein soll. Ich habe schon einige Installationen von hardened Repositories gesehen, da war gar nix sicher. Ist halt nur so gut, wie man es einrichtet. Der PBS bringt da mehr Einfachheit mit und dann simpel die Firewall ingoing komplett zu machen, bekommt jeder hin.
Ich möchte das aber alles noch mit Veeam 12.3 testen und nochmals ein paar in deph Test mit allen Features etc. machen.
12.3 hat an der Proxmox Integration nix geändert, sind nur andere Produktteile erweitert worden.
 
  • Like
Reactions: Johannes S

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!