SSDs Konfiguration

[Pulverizer]

Hallo bin relativ neu hier, hab mir als Hardware einen HP EliteDesk 805 mit 64GB Ram gekauft und momentan folgende Plattenkonfiguration:

HP EliteDesk 805
1x nvme 256GB PVE
1x nvme 1TB für VMs/Container

darauf läuft momentan
VM Debian für Portainer/Docker
VM Win11 - hatte noch eine Lizenz übrig
Container Adguard
Container Tailscale
Container iperf3

Backup PBS HP Mini 260 DM2 24GB DDR4 war noch übrig
1x Sata SSD 1TB


Geplant
NAS zur Dateiablage - 1 TB reicht locker
Paperless-NGX mit einem ConsumeOrdner am NAS Laufwerk zum einfachen hinzufügen von Dateien

zu meinen Fragen:
1. ) Welches NAS OS? Paperless-ngx bräuchte Zugriff für den ConsumeOrdner. Direkt in einer DebianVM mit Samba Freigabe? TrueNAS? TurnKeyFileServer als Container?
Wichtig wäre mir die einfache Wiederherstellung durch PBS falls Hardwaredefekte auftreten.
Jetzt habe ich wiederum gelesen, Disk Passthrough und PVE+VMs vertragen sich nicht.
Vielleicht für Paperless-nxg einen eigenen Docker in der bestehenden VM erstellen - wie bekommen User dann Schreibrechte auf den ConsumeOrdner?

2.) Falls die Größe von PVE die von PBS 1 TB übersteigt, schlägt die Datensicherung dann fehl?

 

[Falk R.]

Hallo bin relativ neu hier, hab mir als Hardware einen HP EliteDesk 805 mit 64GB Ram gekauft und momentan folgende Plattenkonfiguration:

HP EliteDesk 805
1x nvme 256GB PVE
1x nvme 1TB für VMs/Container

darauf läuft momentan
VM Debian für Portainer/Docker
VM Win11 - hatte noch eine Lizenz übrig
Container Adguard
Container Tailscale
Container iperf3

Backup PBS HP Mini 260 DM2 24GB DDR4 war noch übrig
1x Sata SSD 1TB


Geplant
NAS zur Dateiablage - 1 TB reicht locker
Paperless-NGX mit einem ConsumeOrdner am NAS Laufwerk zum einfachen hinzufügen von Dateien

zu meinen Fragen:
1. ) Welches NAS OS? Paperless-ngx bräuchte Zugriff für den ConsumeOrdner. Direkt in einer DebianVM mit Samba Freigabe? TrueNAS? TurnKeyFileServer als Container?
Wichtig wäre mir die einfache Wiederherstellung durch PBS falls Hardwaredefekte auftreten.
Jetzt habe ich wiederum gelesen, Disk Passthrough und PVE+VMs vertragen sich nicht.

Wo hast du das denn gelesen?
Das läuft wunderbar und Rocksolid seit Jahren bei mir und einigen Leuten wo ich das eingerichtet habe.

Vielleicht für Paperless-nxg einen eigenen Docker in der bestehenden VM erstellen - wie bekommen User dann Schreibrechte auf den ConsumeOrdner?

2.) Falls die Größe von PVE die von PBS 1 TB übersteigt, schlägt die Datensicherung dann fehl?

Kommt drauf an wie gut sich die Daten komprimieren und deduplizieren lassen.

 

[GMBauer]

Da wäre ich aber sehr gespannt, was du stattdessen empfehlen würdest

 

[Falk R.]

Also so ein setup würde ich noch mal überdenken:

1x nvme 256GB PVE
1x nvme 1TB für VMs/Container

NVMe sind so langsam!

Ich glaube du weißt nicht was du schreibst. NVMe ist ein Protokoll und kann extrem hohe Leistungen erreichen. Die NVMe SSDs können deutlich mehr leisten als SSDs mit anderen Schnittstelllen.

Man wird so um die 40 MByte/s random R/W erreichen.

Wenn du günstige Consumer m.2 SSDs zum Vergleich heranziehst, ja dann ist das so. Wenn du vernünftige NVMe hast schaffst du locker mehrer GB/s (Enterprise natürlich)

 

[Johannes S]

Geplant
NAS zur Dateiablage - 1 TB reicht locker
Paperless-NGX mit einem ConsumeOrdner am NAS Laufwerk zum einfachen hinzufügen von Dateien

zu meinen Fragen:
1. ) Welches NAS OS? Paperless-ngx bräuchte Zugriff für den ConsumeOrdner. Direkt in einer DebianVM mit Samba Freigabe? TrueNAS? TurnKeyFileServer als Container?

Das kommt darauf an, welche Anforderungen du hast. TrueNAS Scale kann in der neuesten Version (gestern erschienen) auch als Host für DockerContainer dienen, da könnte man dann also direkt paperless drin laufen lassen. Allerdings (siehe unten) wird dafür empfohlen, einen eigenen HBA-Controller für die Platten an die VM durchzureichen. OpenMediaVault kann aber auch Docker-Container hosten und ist von seinen Hardwareanforderungen deutlich genügsamer: https://wiki.omv-extras.org/doku.php?id=omv7:docker_in_omv

Von Containern würde ich die Finger lassen, wenn es dir wichtig ist, dass während eines Backups der Dienst weiter erreichbar ist (da dafür Container gestoppt werden müssen, VMs aber nicht). Ich würde außerdem die Finger davon lassen, wenn du dafür ein Helperskript nutzen würdest (ich mag die Dinger nicht, sie verstecken Komplexität und gaukeln eine Einfachheit vor, die so nicht existiert und dann bei Problemen die Fehlerbehebung erschwert, weil man sich vorher mit dem System beschäftigt hat. Aber das kann natürlich jeder halten, wie er mag...).

Grundsätzlich sind alle NAS-Systeme am Ende ja auch nur ein Linux oder BSD, man kann also stattdessen auch eine Debian-/BSD- etc. VM nehmen und dadrin dann samba oder nfs einrichten. Nur nehmen die fertigen Systeme einen ja auch einiges an Arbeit ab und die Integration von Backups-, Docker- etc finde ich da schon komfortabler.

Zusätzlich zu deinen lokalen PBS würde ich mir noch einen günstigen Vserver bei netcup, hetzner oder einen ähnlichen Anbieter klicken, damit du noch ein offsite-Backup zusätzlich zu deinen lokalen Backupserver hast (ein Backup ist keins und ein Hardware- oder sonstiger Schaden ist schneller da, als einen lieb ist). Den PBS richtest du dir dann so ein, dass er auf deinen lokalen PBS nur lesend zugreifen kann und sich dort dann einmal am Tag die Backups zieht. Die Kosten halten sich sehr in Grenzen, ich zahl aktuell bei netcup ungefähr 10 Euro für den vserver + den Datenspeicher (der startet bei Netcup bei 1 Cent in Monat pro Gigabyte und lässt sich nach Bedarf vergrößern, für 1 TB würde man auf 12 Euro plus den Grundpreis des vservers kommen).

Generell ist bei sowas immer die Frage: Was für Anforderungen hast du und wieviel Geld bist du bereit dafür auszugeben? Einige wollen auch im Homelab die Ausfallsicherheit eines RAID (ob als Software- oder Hardware), anderen reicht das Backup (was man ja auf jeden Fall braucht), einer will gerne die Features von ZFS haben (was aber halt seinen Preis in Sachen sinnvoll nutzbarer Hardware hat) oder mit Ceph rumspielen, anderen ist das für ihren Heimserver zu sehr overkill.

 

[GMBauer]

Schreibe ich schon das eine und andere mal für den Hobbyisten hier ins Forum.

ZFS SSD (SATA III) 4x Kingston DC600M in einer speziellen Konfiguration ZFS mirror-0 2x SSD - Stripe - mirror-1 2x SSD.

Angesichts des Rechners, den der TE hat, glaube ich, dass du ein bisschen übers Ziel hinausschießt. Der TE braucht eine kleine SSD fürs System und eine 1 TB für seine Daten, und du empfiehlst ihm vier viel, viel, viel teurere Server-SSDs. Es ist ja schön, dass du so viel Ahnung hast, aber hilfreich ist diese Antwort nicht.
Das ist so, als ob im Autoforum einer fragt nach einem Kleinwagen für die Stadt und du sagst, der wäre zu langsam und rätst zu einem Porsche.

Der TE kann seine NMVs alleine einbauen und deswegen kann man davon ausgehen, dass er sich schon ein wenig Gedanken darüber gemacht hat, ob er ein Raid will/braucht oder nicht. Er hat einen zweiten, leistungsschwächeren Rechner fürs PBS und das ist ja schon mal sehr gut.

Ob TrueNas oder OMV oder meinetwegen auch ein Xynology ist imho Geschmackssache. Weil ich ein Spinner bin, würde ich Paperless auf eine eigene Ubuntu-VM installieren. Die Geschwindigkeit wird für den Gebrauch durch eine oder zwei Personen locker reichen und wenn man das gut backupt (auch auf externe Medien, die man dann wegräumt) sollte das ganze eine gute Lösung werden.

 

[Johannes S]

Angesichts des Rechners, den der TE hat, glaube ich, dass du ein bisschen übers Ziel hinausschießt. Der TE braucht eine kleine SSD fürs System und eine 1 TB für seine Daten, und du empfiehlst ihm vier viel, viel, viel teurere Server-SSDs. Es ist ja schön, dass du so viel Ahnung hast, aber hilfreich ist diese Antwort nicht.

Das ist doch auch zu pauschal. Gebraucht sind Server-SSDs durchaus bezahlbar und sie halten deutlich länger als Consumer-SSDs.
Und es ist doch auch nicht so dolle eine SSD zu benutzen, die bei der Schreiblast von Proxmox VE und ZFS nach relativ kurzer Zeit die Grätsche machen.

 

[GMBauer]

In die Kiste, die der TE gekauft hat, bringt er aber nur ein Datenlaufwerk rein und er wird sicher nicht ZFS nutzen.

 

[Johannes S]

In die Kiste, die der TE gekauft hat, bringt er aber nur ein Datenlaufwerk rein und er wird sicher nicht ZFS nutzen.

Proxmox selbst hat auch schon eine hohe Schreiblast, unabhängig vom Dateisystem. Und wenn er z.B. TrueNAS nutzen will kann er nur ZFS nehmen.

 

[GMBauer]

Erklärst du mir bitte, warum das so ist? Der Zusammenhang ist mir neu, aber ich lerne ja ständig dazu...

 

[Johannes S]

Das wurde doch schon uig mal hier diskutiert, z.B. hier: https://forum.proxmox.com/threads/proxmox-and-ssds.153914/

Es gibt Möglichkeiten sich darum zu tricksen, aber das ist halt nichts Offizielles

 

[Johannes S]

Hier z.B:
https://forum.proxmox.com/threads/m...tice-way-to-reduce-the-amount-logging.145170/


Standardmäßig schreiben die Proxmoxdienste halt ständig Logging- und andere Daten auf die Platte, womit Consumer-SSDs nicht gut klarkommen

 

[GMBauer]

wenn er z.B. TrueNAS nutzen will kann er nur ZFS nehmen.

Die Zusammenhänge von ZFS sind mir bekannt, danke. Ich meinte das mit dem TrueNAS und ZFS. Wo kommt das her, dass TrueNAS nur mit ZFS klarkommt?

 

[Johannes S]

Die Zusammenhänge von ZFS sind mir bekannt, danke. Ich meinte das mit dem TrueNAS und ZFS. Wo kommt das her, dass TrueNAS nur mit ZFS klarkommt?

TrueNAS scale nutzt nur ZFS als Dateisystem für die Daten, man kann also andere gar nicht nutzen. TrueNAS Core nutze ich nicht, daher kann ich da nichts zu sagen, müsste aber ähnlich sein
Edit: Habs nachgeschaut, ist bei Core genauso. Es gab die Möglichkeit den Datenbestand von mit NTFS formatierten Platten zu importieren, aber das wurde irgendwann abgeschafft

 

[Pulverizer]

Vielen Dank für die Antworten. Ich lese hier wie in vielen anderen Threads heraus, daß es DEN optimalen Weg nicht gibt.
Die neu gekaufte Kiste hat 2x nvme, 3xSata Ports und 1 PCIE Slot zur Verfügung.
Da ich mich mit Disk Passthrough noch nicht auskenne, werd ich vorerst mal TrueNasScale und OMV als eigene VM installieren und mal sehen, womit ich besser zurecht komme.

 

[Johannes S]

Vielen Dank für die Antworten. Ich lese hier wie in vielen anderen Threads heraus, daß es DEN optimalen Weg nicht gibt.
Die neu gekaufte Kiste hat 2x nvme, 3xSata Ports und 1 PCIE Slot zur Verfügung.

Das klingt schon mal nach einer guten Grundausstattung Dann würde ich auf die beiden NVMEs das Betriebssystem legen (ob nun Proxmox oder das NAS-System) und den Rest für Daten nehmen.

Da ich mich mit Disk Passthrough noch nicht auskenne, werd ich vorerst mal TrueNasScale und OMV als eigene VM installieren und mal sehen, womit ich besser zurecht komme.

Fürs Testen ist das auf jeden Fall eine gute Idee, für ein produktives Setup mit wichtigen Daten würde ich mir einen dezidierten SATA-Controller für den PCIE_Slot zulegen und an die VM durchreichen:
https://forum.proxmox.com/threads/best-approach-for-a-truenas-vm.121527/
Das hätte auch den Vorteil, dass du die drei SATA-Ports für VM-Storage nutzen könntest, dessen Verfügbarkeit nicht von der NAS-VM abhängig ist.
Sollte du dir erstmal keinen Controller zulegen wollen oder können und du die Kiste in erster Linie als NAS nutzen möchtest, würde ich das NAS-Betriebssystem direkt installieren, falls du doch mal eine VM brauchst, können das die gängigen VM-Systeme ja auch.

 

[Retro1982]

Vielen Dank für die Antworten. Ich lese hier wie in vielen anderen Threads heraus, daß es DEN optimalen Weg nicht gibt.
Die neu gekaufte Kiste hat 2x nvme, 3xSata Ports und 1 PCIE Slot zur Verfügung.
Da ich mich mit Disk Passthrough noch nicht auskenne, werd ich vorerst mal TrueNasScale und OMV als eigene VM installieren und mal sehen, womit ich besser zurecht komme.

Ich wuerde eher den Weg gehen, Proxmox auf einer/zwei (eine reicht wenn ein gutes Backup konzept besteht) sata hdds zu installieren (Fuer Proxmox reichen auch normale HDDS (bitte immer CMRs), da proxmox selbst nicht umbedingt hohe ios benoetigt, aber standig logs schreibte, hdds kommen damit besser klar als ssds (wearout usw) ) und die NVMEs im raid-1 fuer die VMS nutzen wegen der besseren performance.

Also eventuell eine kleine sata hdd (oder zwei im raid 1, aba mit gutem backup ist ein proxmox host in nullkomanix wieder hergestellt) und zwei nvmes genauso im raid-1 fuer die VMs. Dann bleiben je nach dem 1-2 sata ports fuer cold storage.

 

[Pulverizer]

Das klingt schon mal nach einer guten Grundausstattung Dann würde ich auf die beiden NVMEs das Betriebssystem legen (ob nun Proxmox oder das NAS-System) und den Rest für Daten nehmen.



Fürs Testen ist das auf jeden Fall eine gute Idee, für ein produktives Setup mit wichtigen Daten würde ich mir einen dezidierten SATA-Controller für den PCIE_Slot zulegen und an die VM durchreichen:
https://forum.proxmox.com/threads/best-approach-for-a-truenas-vm.121527/
Das hätte auch den Vorteil, dass du die drei SATA-Ports für VM-Storage nutzen könntest, dessen Verfügbarkeit nicht von der NAS-VM abhängig ist.
Sollte du dir erstmal keinen Controller zulegen wollen oder können und du die Kiste in erster Linie als NAS nutzen möchtest, würde ich das NAS-Betriebssystem direkt installieren, falls du doch mal eine VM brauchst, können das die gängigen VM-Systeme ja auch.

Danke, bin auch für diesen Weg. Werde mir daher diesen SATA-Controller kaufen und explizit Platten für NAS-VM durchreichen. IOMMU-Group Aufteilung sollte auf den ersten Blick passen.