Hetzner Server als VM Host und für Proxmox Backups und file based backups

[JohnD]

Hallo zusammen,

ich überlege bei Hetzner einen Server mit folgenden Specs zu mieten:

Intel Xeon E5-1650V2
128 GB Ram
15 x 6.0 TB Enterprise HDD
1 Gbit Nic

Darauf möchte ich Proxmox laufen lassen (2x 6 TB Mirror ZFS) für zwei Nextcloud Server mit sehr wenig Last.

Die anderen 13 HDDs möchte ich als Backup Storage für andere PVE Server sowie als Target für File based Backups (rsync + zfs snapshots) verwenden.

Macht es irgendwie SInn den PBS zu nutzen? Ich hab gelesen, dass das auf HDDs keinen Spaß macht. Es geht um ~15 VMs mit insgesamt etwa 10 TB Daten.

Wie konfiguriere ich den jetzt die 13 HDDs am besten in ZFS?
Es geht mir darum Proxmox VM Backups zu speichern (1x pro Nacht für 15 VMs) und kontinuierliche inkrementelle Backups von verschiedenen Servern via Rsync zu machen (teilweise alle 2 Stunden).

Aktuell nutze ich dafür 2 Hetzner StorageBox Systeme mit je 10 TB, aber ich bin mit der Performance unzufrieden. Wenn ich einen Restore mache und pech habe komme ich nicht auf mehr als 10-20 Mb/s.

Danke euch.

 

[Dunuin]

Macht es irgendwie SInn den PBS zu nutzen? Ich hab gelesen, dass das auf HDDs keinen Spaß macht. Es geht um ~15 VMs mit insgesamt etwa 10 TB Daten.

Bei 10TB an Daten ohne SSD als Special Device wird die GC ewig brauchen. Heißt dann ja, dass die HDDs jedes mal auf gut 5 Mio Chunk-Dateien lesend+schreibend (random nicht sequentiell) zugreifen müssen. Wie lange das dauert kannst du dir ja bestimmt denken bei 120 IOPS oder so pro Disk. Solange die GC läuft werden alle HDDs voll ausgelastet sein und alles andere was auf die gleichen HDDs schreiben will (dein rsync etc) hängt dann natürlich.

Wie konfiguriere ich den jetzt die 13 HDDs am besten in ZFS?

Am besten halt noch SSDs dazu haben wegen Special Devices, damit die HDDs nicht ganz so wegen kleinen Metadaten IO überfordert werden.
Was da Sinn macht hängt ganz von deinen Performance- und Ausfallsicherheit-Anforderungen ab.
A) Striped Raidz1 aus 4x 3 Disks + 1 Hot Spare (8 Disks nutzbar, nur 1 beliebige Disk darf ausfallen, 4x IOPS Performance)
B) Striped Raidz2 aus 2x 6 Disks + 1 Hot Spare (8 Disks nutzbar, beliebige 2 Disks dürfen ausfallen, nur 2x IOPS Performance)
C) Raidz3 aus 13 Disks (10 Disks nutzbar, beliebige 3 Disks dürfen ausfallen, nur 1x IOPS Performance)
D) Striped Mirror aus 6x 2 Disks + 1 Hot Spare (6 Disks nutzbar, nur 1 beliebige Disk darf ausfallen, 6x IOPS performance)
E) Striped Mirror aus 4x 3 Disks + 1 Hot Spare (4 Disks nutzbar, beliebige 2 Disks dürfen ausfallen, 4x IOPS Performance)

 

[JohnD]

Am besten halt noch SSDs dazu haben wegen Special Devices, damit die HDDs nicht ganz so wegen kleinen Metadaten IO überfordert werden.
Was da Sinn macht hängt ganz von deinen Performance- und Ausfallsicherheit-Anforderungen ab.
A) Striped Raidz1 aus 4x 3 Disks + 1 Hot Spare (8 Disks nutzbar, nur 1 beliebige Disk darf ausfallen, 4x IOPS Performance)
B) Striped Raidz2 aus 2x 6 Disks + 1 Hot Spare (8 Disks nutzbar, beliebige 2 Disks dürfen ausfallen, nur 2x IOPS Performance)
C) Raidz3 aus 13 Disks (10 Disks nutzbar, beliebige 3 Disks dürfen ausfallen, nur 1x IOPS Performance)
D) Striped Mirror aus 6x 2 Disks + 1 Hot Spare (6 Disks nutzbar, nur 1 beliebige Disk darf ausfallen, 6x IOPS performance)
E) Striped Mirror aus 4x 3 Disks + 1 Hot Spare (4 Disks nutzbar, beliebige 2 Disks dürfen ausfallen, 4x IOPS Performance)

Danke dir. Wie sieht es mit DRaid aus?
Weitere SSDs sind aus kostengründen eigentlich keine Option.

 

[Falk R.]

DRAID ist gut wenn es um Rebuilds geht. Mit PBS wirst du aber bei den Disks keinen Spaß haben.
Bei den vielen Disks und nur 10 TB Volumen könnte man ja notfalls über eine andere Backupmöglichkeit nachdenken.
Ich habe auch PBS nur mit HDDs im EInsatz, aber das sind alles Secondary als Copy Ziel für den ersten PBS und dann auch kein ZFS.
Dann geht das schon, weil die HDDs 23,5h am Tag Zeit für den Verify haben.
Ich würde an deiner Stelle lieber nach einem anderen Schnäppchen bei Hetzner gucken.

 

[JohnD]

Ich würde an deiner Stelle lieber nach einem anderen Schnäppchen bei Hetzner gucken.

Mit welchen Eigenschaften?
Aktuell hab ich einen Server mit 2x16TB im Mirror der den Job als Rsync Target erfüllt. Davon sind aber 90% belegt.

 

[Falk R.]

Mit welchen Eigenschaften?
Aktuell hab ich einen Server mit 2x16TB im Mirror der den Job als Rsync Target erfüllt. Davon sind aber 90% belegt.

Also wenn du einen PBS betreiben möchtest würde ich mindestens 2 Enterprise SSDs empfehlen.

 

[JohnD]

Also wenn du einen PBS betreiben möchtest würde ich mindestens 2 Enterprise SSDs empfehlen.

Hmm das wird aber teuer, wenn ich ~10 TB VM Daten hab.

 

[Falk R.]

Es reicht ja, wenn du die SSDs als Special Device nutzt. Die Nutzdaten kommen weiterhin auf die HDDs.

 

[Falk R.]

Ich habe mal eben bei Hetzner geschaut, da war in der Serverbörse nix direkt passendes.
Wenn das nur die 15 VMs mit 10TB Daten sind, braucht der PBS vermutlich 7-8TB Platz.
Wenn man dann ein Standard Dedi nimmt mit zwei Datacenter NVMe (OS und Special Device) und zwei 16TB HDDs, dann kommt man ja schon eine ganze Weile hin.
Die große Frage, wie groß ist die Nextcloud VM und soll die mit auf die Disks gesichert werden?