Genau, ich hatte überlegt, an die beiden SATA-Anschlüsse jeweils eine SSD dranzuhängen und auf dieser dann gemirrored Proxmox zu installieren und zusätzlich alle VMs (die ich unter Proxmox anlege) darauf zu installieren.
Eine andere Variante wäre das ProxmoxVE Betriebssystem (Proxmox Virtual Environment ist das Produkt, Promox Server Solutions GmbH die entwickelnde Firma, die entwickeln ja auch das Proxmox Mail Gateway und den Proxmox Backup Server) auf einen HDD-Mirror zu packen, HDDs kommen mit der Schreiblast durchs Logging etc besser klar und die Performance ist beim Host-Betriebssystem nicht so wichtig wie bei den VMs.
Aber ja: Würde so funktionieren
Wenn ich dich hier richtig verstanden habe, könnte ich doch den (dann hoffentlich im IT-Mode geflashten) '
Fujitsu D3116 RAID Controller' direkt an TrueNAS durchreichen, sodass ich alle 12 SAS-Platten über die TrueNAS-VM verwalte und darauf dann meine Pools erstelle, richtig?
Genau so, wobei ich den Controller nicht kenne und nicht weiß, ob es dort funktioniert, aber in der Theorie sollte das (wichtig: Für ZFS wie es von TrueNAS verwendet wird unbedingt in den IT-Mode umflashen! Hardware-RAID und ZFS vertragen sich nicht gut.)
Wichtig: Solltest du (reichen auch sehr kleine, die Faustregel ist dass ein special device 0,02-2% der Kapazität des HDD-Pools haben sollte) vorhaben SSDs als special device einzusetzen, müssen die am gleichen Controller angeschloßen sein, da sonst TrueNAS natürlich nichts von denen weiß.
Und über das TrueNAS könnte ich dann ja auch Samba- / CIFS- / NFS-Freigaben anlegen, welche ich wiederum in meinen restlichen VMs verfügbar mache
. Das wäre ja das, was du in dem Punkt meinst, oder
?
Exakt. Man hat den Netzwerklayer als zusätzliche Schicht dazwischen, das kostet dann halt Performance, ob die in deinen Fall vernachlässigbar wäre, ist eine Sache, die sich nur durch Ausprobieren klären lässt
Da würde ich zur ersten Variante tendieren und eine zweite Partition (restliche Kapazität auf der SSD) für die VMs die ich Proxmox anlege hernehmen.
Wenn ich dann eine gemirrortes Proxmox-Setup hätte, wären doch die VMs damit dann ebenfalls gemirrort, oder?
Wenn man ZFS als Dateisystem für das /boot-Device nutzt, ist man so flexibel, dass man sich das mit der zweiten Partition sparen kann
Unabhängig davon kann es natürlich (Trennung Daten/Betriebssystem) sinnvoll sein, die VMs auf eine eigene Platte (nicht Partition!) auszulagern, da man dann PVE neu installieren kann, ohne die VMs zu überschreiben.
Hierzu hatte ich mir überlegt ein RAID-Z2 aufzusetzen... Ich weiß aber nicht, ob das das Gleiche ist, was du auch meinst
......
Ist es nicht, RAID-Z2 entspricht eher RAID-6, allen RAID-Z Leveln ist gemeinsam, dass deren Performance im Vergleich zu Mirrorrn deutlich langsamer ist, dazu hat
@UdoB mal ein Writeup geschrieben:
Assumption: you use at least four identical devices for that. Mirrors, RaidZ, RaidZ2 are possible - theoretically.
Technically correct answer: yes, it works. But the right answers is: no, do not do that! The recommendation is very clear: use “striped mirrors”. This results in something similar to a classic Raid10.
(1) RaidZ1 (and Z2 too) gives you the IOPS of a single device, completely independent of the actual number of physical devices. For the “four devices, mirrored” approach this will double --> giving twice as many Operations per Second. For a large-file...
Da geht es zwar in erster Linie darum, ob man RAIDZ für VM nutzen kann (ja, das geht) und sollte (Performance sagt nein, schon bei SSDs, bei HDDs erst recht), aber auch bei Daten würde ich das lassen. Schon weil im Falle eines Festplattenausfalls bis zum Neuaufbau des RAIDZ gerne mal einige Zeit vergehen kann, hier ein Beispiel mit Zeitangaben von einigen Stunden über mehrere Tage bis zu mehreren Monaten (to be fair war das wohl auch ein sehr großer Pool):
https://forum.proxmox.com/threads/dauer-zpool-replace.163244/
Ein Mirror entspricht eher dem klassischen RAID1 bzw. beim striped Mirror dem RAID10. Siehe dazu auch:
https://pve.proxmox.com/wiki/ZFS_on_Linux
https://www.45drives.com/community/articles/RAID-and-RAIDZ/
Ich würde gerne die folgenden Sachen noch im Proxmox aufbauen wollen:
- zweite virtualisierte OPNSense-Instanz zum Basteln
- LAB-Setup mit einigen VMs, um hier auch mal was testen zu können (K8s, etc z.B.
- Monitoring-VM (Grafana, Observium etc. um hierdrüber mein komplettes Netzwerk zu monitoren)
- NextCloud-VM zum Sync von BIldern, KeePass-Files, Chatverläufen etc. von den Handys von meiner Frau und mir und später mal den Kindern
etc
(Ich denke, da findet sich bestimmt noch einiges :O )
Hättest du nen Tipp, wie ich die "reinen Daten"-Freigaben am besten sichern kann? Mein Arbeitskollege hatte mal Acronis ins Spiel gebracht, aber ich hab auch schon Veeam Backup gehört.
Naja grundsätzlich gibt es ja den ProxmoxBackupServer für VMs und so (da brauchst du dann halt noch einen zweiten Server für, da würde sich ein gebrauchter Mini-PC anbieten oder du nimmst einen der CloudPBS-Anbieter wie Inett oder tuxis.nl pder einen PBS auf einen vserver . Ich selbst arbeite mit einen lokalen PBS für schnelle Backups und Restores und einen Netcup-Vserver mit PBS als offsite-Backup. Daten-Backup passiert getrennt, dazu gleich mehr), der proxmox-backup-client kann auch direkt Daten sichern, problematisch ist in meinen Augen daran, dass es den backup-client nicht für alle Systeme gibt und für den restore man dann auch wieder einen laufenden PBS braucht (braucht man für die VMs dann ja auch zugegeben, aber es sind ja envtl. Situationen denkbar, wo man die Rohdaten gerne unabhängig von den VMs wiederherstellen möchte). Darum sichere ich meine Rohdaten (Daten auf der NAS, Kram auf meinen Notebook) mit restic auf eine Hetzner-Storagebox. Dort habe ich eingestellt, dass Hetzner regelmäßig automatische ZFS-Snapshots macht. Diese sind read-only, sollte also ein Hacker auf die Storagebox kommen, kann ich immer noch auf einen alten Snapshot zurückgehen. Alternativ kann man aber natürlich auch jedes andere Backuptool nehmen, im Opensource-Bereich werden da oft auch noch so Sachen wie Borgbackup, kopia, bacula, duplicati oder was auf Basis von rsync genannt. Prinzipiell hat zfs mit zfs send/receive auch selbst einen ganz coolen Mechanismus, der setzt aber auf der Gegenseite zfs und ssh-Zugang voraus, soweit ich weiß, bietet das aktuell nur rsync.net an.
Von meinen VMs sichere ich auch jede Woche noch vma-Archive/vzdumps mit der nativen ProxmoxVE-Funktion, der frisst deutlich mehr Platz als die PBS-Backups, lassen sich aber dafür auch ohne PBS wieder herstellen. Diese vzdumps kommen auch auf die Storagebox.
Mir gefällt an restic, dass es konsolenbasiert ist, eine Wiederherstellung über einen fusermount einfach und unkompliziert möglich ist und (wie der ProxmoxBackupServer) seine Backups dedupliziert und komprimiert, man also sehr viele alte Versionen aufbewahren kann, ohne dass das zuviel Speicherplatz frisst. Mit resticprofile oder autorestic als Wrapper ist die Einrichtung ganz gut machbar, ohne sich eigene Backupskripte schreiben zu müssen. Aber wie gesagt: Andere Backuptools tun auch
Von Veeam würde ich für Proxmox VMs aber noch die Finger lassen, dazu gab es hier im Forum zu viele Berichte über die Kinderkrankheiten (da sie ProxmoxVE erst seit letzten Jahr unterstützen). Als Agent direkt auf der VM sollte es aber (genauso wie Arconis) funktionieren, ich sehe nur keinen Vorteil in Vergleich zu den Opensource-Angeboten im Homelab (bei einer Firma, wo man eh alles mit Veeam/Arconis oder einen anderen propietären Tool sichert, mag das anders aussehen).
Aber dafür bräuchte ich ja auch irgendwo ganz woanders im Haus ne physikalische Location, wo ich wiederum Blech habe, auf welches ich sichere, oder?
Ja, bzw. sollte man eigentlich drei Kopien haben (3-2-1-Regel): Drei Kopien, davon zwei auf verschiedenen Speichermedien und eine offsite (also an einer anderen Location):
https://pbs.proxmox.com/docs/storage.html#ransomware-protection-recovery
Diese Kopien sind die eigentlichen Produktivdaten, das Backup auf einen anderen Medium (nicht der gleichen Festplatte oder Computer!) und die Offsite-Kopie.
Als ProxmoxBackupServer würde sich ein gebrauchter Mini-PC (verbrauchen wenig Strom
anbieten, in dem man zwei SSDs im Mirror für die VM-Backups einbaut. Oder falls das budgetär nicht passt, kann man (auf Kosten der Performance) natürlich auch mit einer externen Festplatte arbeiten (PBS hat neuerdings Unterstützung für removable Datastores). Und mit restic und ähnlichen Tools kann man ja auch an auf externe Laufwerke (per ssh auch auf andere Hosts) schreiben.
Fürs offsitebackup dann halt inett-/Vserver-PBS o.ä. und dazu ein Cloudspeicher wie Backblaze oder Hetzner Storagebox für restic oder welches Tool auch immer.
Natürlich ist das ganze am Ende auch eine Abwägung wie wichtig die Daten einen sind und bei welchen ein Verlust verschmerzbar wäre.
....
