Keine Snapshoots mit EXT4 aber kein ZFS mit HW-RAID?

[bitboy0]

Der Server läuft, aber ich habe da drin 10 Platten an einem HW-Raid
2*SSD als Raid1 (Systempartitionen der VMs und Datenbanken)
6*HDD als Raid6 (Storage für VM 1&2, etwas schneller als RAID1)
2*HDD als Raid1 (Storage für VM 3, Geschwindigkeit egal)

Der SAS-RAID-Controller hat auch einen Akku und schickes RAM und ist so natürlich einem SW-RAID deutlich überlegen.

Aber nun kann Proxmox da ja kein ZFS mit HW-RAID und mit ext4 kann Proxmox keine Snapshoots anlegen.
Ich bin mir nun nicht einmal ganz sicher ob ich sehr oft Snapshoots brauchen werde,
ABER legen nicht auch Backups normalerweise Snapshoots an und was bedeutet das jetzt für die Konsistenz meiner Backups, wenn das gar nicht möglich ist?

ich könnte die Platten temporär auf ein NAS verschieben und dann anders formatieren... aber welches Dateisystem sollte ich dann benutzen?

 

[bitboy0]

Und dazu passend noch eine zweite Frage:


das SSD-Raid ist von Proxmox bei der Installation aufgeteilt worden in local und local-lvm
Auf dem local-lvm gehen Snapshoots für die eine VM die NUR dort ihre einzelne Platte liegen hat.

die beiden anderen habe ich als Directory gemounted ... wenn ich die eh noch Mal formatiere könnte ich die auch anders/besser einbinden?

 

[Alwin]

Der SAS-RAID-Controller hat auch einen Akku und schickes RAM und ist so natürlich einem SW-RAID deutlich überlegen.

Gewagte Aussage.

Aber nun kann Proxmox da ja kein ZFS mit HW-RAID und mit ext4 kann Proxmox keine Snapshoots anlegen.

Ext4 ist ein Filesystem das keine Snapshots kann. Hier muss entweder Qcow2 Image Dateien verwendet werden. Oder LVM(-thin) als Storage.

die beiden anderen habe ich als Directory gemounted ... wenn ich die eh noch Mal formatiere könnte ich die auch anders/besser einbinden?

Du kannst auch auf dem LVM ein LV erstellen und ein Dateisystem darauf einrichten. Dann sind auch beide Optionen möglich.

 

[bitboy0]

Ich meine mich erinnern zu können, dass die Option Qcow2 nicht verfügbar war, als ich die Images von dem NAS mit BTRFS auf den Storage verschoben habe ... Oder muss ich dafür auch auf dem Server das ext4 erst los werden?

Da ich noch ziemlich Anfänger auf Proxmox/debian bin, wäre ich durchaus dankbar für ein paar mehr Hinweise.

 

[Alwin]

Proxmox VE kann mit vielen unterschiedlichen Storages umgehen. Am besten schaust mal in die Doku.
https://pve.proxmox.com/pve-docs/chapter-pvesm.html

Qcow2 ist ein Image Format un muss bei der Erstellung oder bei Migration/Move Disk spezifisch ausgewählt werden. Aber performanter ist wohl LVM-thin zu Qcow2.

 

[hackmann]

Hallo,

auf lange Sicht hin, würde ich mich für etwas entscheiden, "meine Erfahrung"!.
Seit den letzten Jahren hat sich ZFS in meiner Umgebung sehr gut bewährt.

Aber das sollte man auch nicht Unterschätzen, Übung macht den Meister!
Dann wäre es für mich Wissenswert, was dahinter steht, bei deinem Vorhaben.

Die Erfahrung, die ich bisher gemacht habe.

Die Server "VMS" für die Firma laufen alle auf Proxmox mit ZFS > Storage > Verzeichniss > Qcow2 "da dieses gemountet werden kann".
Ich kann auch das Image auf einen anderen Server kopieren und wieder zurückspielen.

UND! Ich installiere eine " bei kleinuntermehen!" eine ganz normale Workstation und habe die Server dann wieder Online.
Dass ganze mit ZFS Snapshots per Inkrementell.

Dazu kommt natürlich noch ein Backupserver, der alle Daten auf eine NAS Sichert "externes Gebäude".
Dieser Backup Server wird jeden Tag per Proxmox auf eine NAS gesichert!

Meine Erfahrung nach, kann ein Snapshot durchaus als Sicherung dienen, dass würde aber den Rahemn Sprengen!

Was das HW angeht, bestelle Dir mal heute einen HW Controller, bei der Corona Zeit. Da wächst ein Baum schneller, als dass der HW da ist.
Ich spreche hier nur für mich und meine Erfahrungen.

Weiterhin sind meine Erfahrungen, konzentriere dich wenn es geht, nicht auf zuviele mountpoints oder auf externe Datenträger wie NAS über NFS!

Versuche es einfach zu halten!

Mein Fazit. Löse dich so gut es geht von der Abhängikeit der Hardware. Auch wenn der HW einen Kühlschrank hat!
Ich habe heute ein Laptop bestellt, dieses kommt ca. in 3 Monaten!

Selbst wenn nicht immer die Power kommt, die sich der Kunde wünscht, aber ich kann sagen, ich habe alles, aber es dauert per Restore etwas länger.

BITTE DARAN DENKEN, jeder Versionssprung, egal ob mit Proxmox, gerade was das ZFS angeht, Owncloud, Seafile, TYPO3, Zentyal, Wordpress, mit denen ich es zu tun hatte, zusammen mit dem Lockdown und dem Corona!

Ich kann nur aus meiner Erfahrung berichten, dass Proxmox eine sehr sehr gutes Produkt ist.



lieben gruss

 

[bitboy0]

Also ich bin etwas frustriert ...

Stelle ich die Fragen falsch oder erwarte ich etwas, was es nicht gibt?
Als ich den Server eingerichtet habe konnte ich ZFS nicht auswählen, weil ich ein HW-RAID habe.
Ich konnte beim Kopieren nicht auswählen die Laufwerke im Qcow2-Format auf den Storage abzulegen. Es wurde nur RAW erlaubt.
Ich suche einen gangbaren Weg um das Problem zu beheben.

Was ich bekomme sind sicherlich gute Sammlungen von Gedanken und Hinweisen. Aber ich habe ja dazu geschrieben, dass ich als Anfänger einfach ein bisschen mehr konkrete Hilfe brauche. Für mich ergibt sich keine Lösung aus den Antworten, sondern nur mehr Fragen weil alles auch nur angerissen wird. Ihr überschätzt mich vielleicht? Ich habe noch kein sehr tiefgehendes Wissen auf Linux.

Muss ich die Platten neu/anders formatieren oder einbinden?

->Wenn ja:
Welches snapshoot-taugliche Format geht auf meinen als Directory gemounteten Laufwerk wenn ZFS wg HW-RAID nicht geht?
Wie muss ich die Platte anders als Storage einbinden damit ich ZFS benutzen kann?
Was ist ein guter Weg dahin?

->Wenn nein:
Wie kann ich die RAW-Images auf dem als Directory gemounteten ext4 Laufwerk in Qcow2 umwandeln?

 

[aaron]

Je nach darunterliegendem Storagetyp sind verschieden Features möglich.

Der PVE Installer erstellt entweder einen ZFS Pool oder ein LVM mit einem logical volume für das System mit dem Dateisystem das ausgewählt wurde.

In jeder Variante gibt es das `local` Storage das ein Directory Storage unter /var/lib/vz liegt. Dieses ist primär dafür gedacht, Container Templates und ISO Images out of the Box hochladen zu können.

Es gibt dann zusätzlich noch das `local-lvm` oder `local-zfs` Storage. Diese sind für die Gäste (VMs, Container) gedacht. Das `local-lvm` ist ein thin LVM um snapshots zu unterstützten. `local-zfs` ist ein weiteres Dataset auf dem vom Installer erstellten Pool.

Für beide ist das Format der VM disks immer raw da beide die Volumes als Block Device exponieren.

Wenn das vom Installer erstellte Partitionierungs- bzw LVM Schema nicht ganz passt, kannst du das natürlich umbauen oder den anderen Weg gehen und zuerst ein Debian installieren. Der Debian Installer erlaubt es dir viel mehr Einfluss auf das Paritionsschema während der Installation zu nehmen. Du kannst dann PVE nachträglich installieren (siehe https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_install_proxmox_ve_on_debian )


Wenn du eine neue VM Festplatte auf einem Directory Storage (NFS und CIFS sind hier gleich) erstellen willst, kannst du auswählen ob das Image als raw, qcow2 oder vmdk Datei gespeichert werden soll.

Sollte das nicht gehen, seige bitte mal den Inhalt der /etc/pve/storage.cfg Datei.


Wenn du jetzt schon Festplattenimages als raw gespeichert hast und diese umwandeln willst gibt es grob zwei Möglichkeiten.
- Du kannst über die GUI ein "Move Disk" auf ein anderes Storage machen. Wenn das Zielstorage ein Directory Storage ist, kannst du das Format auswählen. Du kannst die Festplatte dann wieder zurück auf das eigentliche "moven" und dann auch hier das Format auswählen.

- Du kannst direkt auf der CLI mit dem Befehl qemu-img convert die Imagedateien konvertieren. Du musst dann noch direkt in der Configdatei der VM noch den Pfad anpassen (/etc/pve/qemu-server/<VMID>.conf)

ABER legen nicht auch Backups normalerweise Snapshoots an und was bedeutet das jetzt für die Konsistenz meiner Backups, wenn das gar nicht möglich ist?

Die in PVE integrierten Backupsmechanismen verwenden keine Storage Snapshots für VMs (bei Containern sind sie hilfreich), sondern hängen sich in den Virtualisierungsprozess ein und erstellen dort einen temporären "Snapshot" der Festplatten.


Ich hoffe das hilft ein paar Missverständnisse auszuräumen. Wenn noch was nicht ganz klar ist oder nicht gut genug erklärt wurde lass es mich wissen

 

[bitboy0]

Danke, das war erhellend ... parallel google ich mir eh schon die ganz Zeit 'nen Wolf um dazu zu lernen.

Also ich habe jetzt die Möglichkeiten:

1.
Durch einen doppelten move der disks (z.B. auf das NAS und zurück) das Format auf Qcow2 zu ändern.
Vorteil: Das geht ohne Offtime und ist sicher.
Nachteil: es dauert und behebt nicht das Problem, dass ich danach nicht das performanteste System habe.

2.
mit qm convert die bestehende Platte auf dem Storage umwandeln.
Vorteil: geht evtl. schneller.
Nachteil: auch hier habe ich am Ende nicht das schnellste System und muss offtime einplanen.

3.
Die Platten auf das NAS verschieben und dann den Storage unmounten und dem LVM zuteilen und ein LV mit LVM-THIN erstellen.
Dann die Platten als RAW da drauf.
Vorteil: Schnelles, sauberes System danach. Umzug ohne Offtime möglich.
Nachteil: etwas mehr Gefuddel, es dauern noch länger als die erste Lösung und ich muss an das mir noch fremde LVM ran, was ich bisher vermieden habe weil ich bequem bin.

4.
vermutlich gibt's noch mehr Lösungen ... aber das war jetzt was ich erkannt habe für mich.


Und was ich gut zu wissen finde: Auch ohne Snapshoot-Möglichkeit hatte ich auch bisher schon ein Backup auf Snapshoot-Basis, weil das einen eigenen Mechanismus dafür mitbringt.

Erst Mal mache ich jetzt das mit dem doppelten Move. Dann übe ich das mit dem LVM auf dem dafür hier schon stehenden Rechner, der nichts produktives enthält. Und dann kann ich das an einem WE in der Zukunft Mal versuchen. Backup gibt's eh täglich, falls ich es kaputt mache!

 

[aaron]

Was noch hilfreich sein kann: beim Disk Move über die GUI kann die VM weiter laufen. Da auch das über die Virtualisierung gemacht wird (qemu drive mirror).

 

[H4R0]

Der SAS-RAID-Controller hat auch einen Akku und schickes RAM und ist so natürlich einem SW-RAID deutlich überlegen.

Viele Enterprise Festplatten haben bereits einen Batteriepuffer, aber in der regel reicht eine USV. Akku bringt bei Kernel Panik auch nichts.

Beim Software RAID verwendest du System RAM, welcher in der regel ECC unterstützt und wobei wesentlich mehr zur Verfügung steht.

Das größte Problem bei Hardware RAID ist die Kompatibilität, fällt dir der RAID Controller aus, kommst du oft nur mit baugleichen Controller wieder an die Daten und dieser muss erst mal vorhanden sein. Kompatibilität zwischen verschiedenen Herstellern ist so gut wie ausgeschlossen.


ZFS ist mehr als Software RAID.

Bit rot Erkennung, Komprimierung, Deduplizierung, Verschlüsselung, Snapshots, Scrubs, Inkrementelle Backups, l2arc, slog, etc.


Software Raid ist einem Hardware Raid enstprechend deutlich überlegen und nicht anders herum.

 

[H4R0]

Die Server "VMS" für die Firma laufen alle auf Proxmox mit ZFS > Storage > Verzeichniss > Qcow2 "da dieses gemountet werden kann".
Ich kann auch das Image auf einen anderen Server kopieren und wieder zurückspielen.

Qcow2 auf ZFS ist aber nicht gut wegen doppelten copy on write, dass geht ordentlich auf die performance.

ZFS kann man direkt mounten, sind halt block devices.

Kopieren und zurückspielen geht genauso mit send/receive.

 

[bitboy0]

OK, das klingt nachvollziehbar...
Dann muss ich das Hardware-Raid aber auflösen und einzelne Laufwerke daraus machen? Oder brauche ich einen anderen Controller?

 

[H4R0]

OK, das klingt nachvollziehbar...
Dann muss ich das Hardware-Raid aber auflösen und einzelne Laufwerke daraus machen? Oder brauche ich einen anderen Controller?

Kommt auf den Controller an, viele lassen sich in IT Mode flashen.

 

[bitboy0]

Was noch hilfreich sein kann: beim Disk Move über die GUI kann die VM weiter laufen. Da auch das über die Virtualisierung gemacht wird (qemu drive mirror).

Ja, das meinte ich ja mit "ohne offtime" Das wird jetzt erst Mal gemacht. Also filebasiertes storage als directory mit Qcow2.
Und wenn ich das dann an dem "übungs-proxmox" erforlgreich hinbekommen haben und verstanden, dann kann ich LVM-THIN mit RAW anlegen.

Und als Krönung könnte ich die Hardware-Raids auflösen und ZFSRAID daraus machen und da dann RAW drauf ...
Letzteres geht aber sinnvoll nur wenn ich den Server komplett neu einrichte, weil ja auch das Proxmox selber jetzt auf einem Teil des Hardware-Raid läuft.

 

[bitboy0]

Kommt auf den Controller an, viele lassen sich in IT Mode flashen.

Was sich jetzt nach OP am offenen Herzen anhört für mich ... ich hab hier keine "Ersatzserver" im Schrank ... falls der Server ausfällt steht nur ein PC bereit mit genug RAM und Platz um die Backups vom NAS drauf zu installieren.
Aber der hat keine SSDs für die Datenbanken und das ist dann nicht mehr wirklich schnell und es gibt kein RAID... also das wäre nur eine Notlösung für KURZ.

Wenn ich meinem Chef mit so Zeug komme wie "ich brauch mal noch zwei so Server zum spielen und als Reserve!", könnte eine über 20jährige Freundschaft Schaden nehmen

 

[H4R0]

Was sich jetzt nach OP am offenen Herzen anhört für mich ... ich hab hier keine "Ersatzserver" im Schrank ... falls der Server ausfällt steht nur ein PC bereit mit genug RAM und Platz um die Backups vom NAS drauf zu installieren.

Wenn ich meinem Chef mit so Zeug komme wie "ich brauch mal noch zwei so Server zum spielen und als Reserve!", könnte eine über 20jährige Freundschaft Schaden nehmen

Dann würde ich es so lassen wie es jetzt ist und eventuell in der Zukunft dran denken wenn ein zweiter Server dazu kommt.


Snapshots sind auch nicht wirklich notwendig, backups mit pbs gehen genauso in wenigen sekunden, nur der restore dauert dann lange.

Ich erstelle zwar regelmäßig snapshots bei wartungsarbeiten oder beim testen, wiederhergestellt werden diese aber so gut wie nie.

 

[bitboy0]

Snapshots möchte ich vor größeren Updates machen können. Dann komme ich bei größeren Problemen in Sekunden wieder zu einem laufenden System.

Ich werde deswegen die Lösung ohne Umbau des RAID erst einmal machen und mit Qcow2 Drives. Die Datenbanken liegen auf dem local-lvm was schon als lvm-thin angelegt wurde... Also Performance ist OK. Auf dem anderen storage liegen nur Files und da stört das jetzt nicht zu sehr, wenn das nicht ganz so schnell ist.