Fragen zu LVM SSD-Cache

[BerndKleinert]

Hallo,

ich bin gerade dabei, meinen Server neu (erst Debian mit ext4 und SoftRaid1, dann Proxmox VE) aufzusetzen und frage mich, wie ich die SSD am besten nutze. Ich fand diesen Eintrag: https://pve.proxmox.com/wiki/Performance_Tweaks#Disk_Cache aber was passt davon am besten zu meiner Hardware? Das Host-System soll auf die HDD's, damit der Server schnell wieder verfügbar ist wenn eine HDD kaputt geht. Aber was mache ich mit der SSD? Bisher habe ich manche VM's auf die HDD installiert und manche auf die SSD, wo es auf Schnelligkeit an kam. Aber mit dem Cache ist es vielleicht möglich, die Geschwindigkeit der SSD mit allen VM's zu nutzen?

Hardware:
Intel Core i7-3770
1x HDD SATA 3 TB
1x HDD SATA 4 TB
1x SSD SATA 1 TB
4x RAM 8192 MB DDR3 (kein ECC)

Was ist sinnvoll? Ich habe gelesen, dass der Writethrough Cachemodus für diesen Fall ideal wäre, also LVM schaut im Hintergrund, welche Dateien oft benutzt werden und hält diese auf der SSD bereit. Dateien die selten gefragt sind landen auf der Platte.
Als VM's werden laufen: Nextcloud, Mailcow, Immich und andere. Eigentlich immer im qcow2-Format.

 

[cwt]

Sorry, ist nicht böse gemeint, aber das Setup schreit schon nach Problemen.

Softraid mit Debian und dann erst PVE, nunja. Dazu noch I/O-lastige VMs wie Nextcloud, Immich und Mailcow… VM disks dann in qcow2… das rödelt sich alles tot. Alleine schon Thumbnailing in Immich oder Mailcow werden sich bedanken. Mailcow mag lahme I/O storages gar nicht . Dann irgendwie die SSD als magischen Beschleuniger…

Ich würde eher gebrauchte SSDs besorgen und das Setup ohne Ext4 MDADM, direkte PVE Installation auf einem kleinen SSD Mirror und 2 etwas größere SSDs als Mirror (jeweils ZFS) für VMs. Die HDDs könnte man als cold storage oder für Backups einbinden.

 

[BerndKleinert]

Danke für deine Antwort, aber leider kann ich an der Hardware nichts ändern da es ein gemieteter Server von Hetzner ist. Ich muss das beste aus dem machen was ich habe..

 

[Johannes S]

Dann würde ich den Mietserver auf einen anderen mit sinnvollerer Hardware ( 2 ssds, zwei hdds ) umziehen und den alten kündigen.
Den dann wie folgt aufsetzen:
ZFS bool mit den beiden hdds mit den ssds als special device, der Pool wird dann fürs Betriebssystem und die VMs/lxcs genutzt. Über ein eigenes Dataset mit passend gesetzten small blocks Parameter steuert man dann, welche Daten wo landen:
Post in thread 'ZFS Metadata Special Device' https://forum.proxmox.com/threads/zfs-metadata-special-device.129031/post-699290

Alternativ bei der bisherigen Hardware bleiben, dann entweder die
- die ssd als kombinierten Laufwerk für das Betriebsystem und vms und die hdds als zfs mirror für Rohdaten nehmen oder
- Betriebssystem und Rohdaten auf zfs mirror auf den hdds und die ssd für vms

 

[BerndKleinert]

Danke. Die Änderung der Hardware ist gerade schwierig, die Preise sind extrem hoch, muss erstmal bei dem Server bleiben.
Und ZFS mit so wenig RAM und ohne ECC? Raten nicht alle davon ab?
SSD für VM's ja, so hatte ich es vorher, aber da wäre im Extremfall zB. ein Tag eMails weg: Backup in der Nacht, kurz vor dem nächsten Backup schmiert die SSD komplett ab..

 

[Johannes S]

Danke. Die Änderung der Hardware ist gerade schwierig, die Preise sind extrem hoch, muss erstmal bei dem Server bleiben.
Und ZFS mit so wenig RAM und ohne ECC? Raten nicht alle davon ab?

Nein, es kommt drauf an, siehe:

https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/

Da wird einer der zfs Entwickler ( Matthew Ahrens) zitiert:

There's nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem. If you use UFS, EXT, NTFS, btrfs, etc without ECC RAM, you are just as much at risk as if you used ZFS without ECC RAM. Actually, ZFS can mitigate this risk to some degree if you enable the unsupported ZFS_DEBUG_MODIFY flag(zfs_flags=0x10). This will checksum the data while at rest in memory, and verify it before writing to disk, thus reducing the window of vulnerability from a memory error.

I would simply say: if you love your data, use ECC RAM. Additionally, use a filesystem that checksums your data, such as ZFS. https://arstechnica.com/civis/threa...xt-gen-filesystem-on-linux.1235679/#p26303271

Und 32GB RAM ist doch nicht wenig?

SSD für VM's ja, so hatte ich es vorher, aber da wäre im Extremfall zB. ein Tag eMails weg: Backup in der Nacht, kurz vor dem nächsten Backup schmiert die SSD komplett ab..

RAID ist kein Ersatz für Backups, ich würde dann ja häufigere Backups ( etwa jede Stunde ) machen, idealerweise auf einen ProxmoxBackupServer. Wenn es dir nur um die Rohdaten geht, nimm ein beliebiges Backuptool für Linux ( ich mag restic, kopia soll allerdings besser performance haben, andere Leute nehmen borgbackup, duplicati oder rsync/rsnapshot) und sichere damit auf billigen s3-Speicher, etwa bei Backblaze

 

[ThoSo]

Hardware:
Intel Core i7-3770
1x HDD SATA 3 TB
1x HDD SATA 4 TB
1x SSD SATA 1 TB
4x RAM 8192 MB DDR3 (kein ECC)

Das ist eine Desktop CPU von 2012 und die Platten wären meiner Meinung nach für ein Raid auch ungeschickt, da nimmt man sinnvollerweise gleiche Größen.

Danke für deine Antwort, aber leider kann ich an der Hardware nichts ändern da es ein gemieteter Server von Hetzner ist. Ich muss das beste aus dem machen was ich habe..

Also, wenn die Kiste bei Hetzner ist und dort noch betrieben wird, ist das für die Hardware alterstechnisch ein Super Gerät. Insbesondere da der "Server" kein ECC hat - was die CPU auch nicht unterstützen würde.
Kann man fast nicht glauben!
Wann geht den da etwas defekt und wenn es das Board ist, woher kommen die Teile?
Was machst du dann? Tauscht Hetzner den im Rahmen der Miete oder sagen die "sorry, ist kaputt - da können wir nichts mehr für Sie machen"!

Dann würde ich den Mietserver auf einen anderen mit sinnvollerer Hardware ( 2 ssds, zwei hdds ) umziehen und den alten kündigen.
Den dann wie folgt aufsetzen:
ZFS bool mit den beiden hdds mit den ssds als special device, der Pool wird dann fürs Betriebssystem und die VMs/lxcs genutzt. Über ein eigenes Dataset mit passend gesetzten small blocks Parameter steuert man dann, welche Daten wo landen:
Post in thread 'ZFS Metadata Special Device' https://forum.proxmox.com/threads/zfs-metadata-special-device.129031/post-699290

Alternativ bei der bisherigen Hardware bleiben, dann entweder die
- die ssd als kombinierten Laufwerk für das Betriebsystem und vms und die hdds als zfs mirror für Rohdaten nehmen oder
- Betriebssystem und Rohdaten auf zfs mirror auf den hdds und die ssd für vms

Das sehe ich genau so - der neue Server hat wesentlich bessere Leistung und die Hardware ist modern inkl. Service und Ersatzteile!
Du musst ja nicht die neuste Oberklasse nehmen.
Wenn schon neu, dann doch bitte richtig!

 

[Johannes S]

Eine andere Option wäre einen relativ günstigen Server aus der Serveraktion mit ausreichend viel Platz für VMs zu nehmen und für größere Datenmengen dann eine Storagebox im gleichen RZ über nfs/cifs als Grab für große Datenmengen einzubinden. Alles andere als optimal, aber für einen privaten Server (und darum scheint es sich ja zu handeln) imho schon vertretbar. Generell wäre wichtig zu wissen, was überhaupt für Workloads darauf laufen sollen, je nachdem ist ein günstiger Vserver envtl. die bessere Wahl, auch wenn ich darauf ProxmoxVE dann eher nicht betreiben würde (nested virtualisierung kostet einfach zu viel).

Zum Thema: Defekte Hardware, auch bei Servern aus der Serverbörse ersetzt Hetzner die, aber natürlich dann nur gleichwertige, also Uralt-CPUs durch eine vergleichbare, HDDs durch HDDs....

 

[ThoSo]

Ich habe gerade einmal bei Hetzner einen
EX44 (i5.13500), 64Gb RAM, 2x512GB SSD (Gen4) und 2x 16TB SAATA Enterprise HDD, Ohne OS,
Hosted in Deutschland (Finnland 6 Euro weniger) zusammengeklickt.
Sind stolze 113 Euro pro zzgl einmaligem Setup inkl. MwSt pro Monat.

Wenn das Privat ist, würde ich das lieber zu Hause haben wollen - das sind pA 1356 Euro !

 

[BerndKleinert]

Also ich habe mal gesucht, für um die 40€ / Monat bekomme ich nichts besseres an Server, oder habe ich etwas übersehen? Gerne her mit Links
Ich nutze den Server rein privat.
Ansonsten habe ich ihn jetzt wieder wie vorher aufgesetzt, ohne LVM und Cache. Werde es mit dem stündlichen Backup über den PBS probieren.