Homelab Konzeptfragen

[ProxmoxMobil]

Hallo,

wegen Ausfall eines PCs und der Problematik, dass man immer mehr zu sinnlosen Updates gezwungen wird, wo hinterher weniger funktioniert wie vorher, möchte ich es endlich in Angriff nehmen fast komplett auf Proxmox umzusteigen, so dass ich bei Updates leichter experimentieren kann und bei Hardwaredefekt nur Proxmox installieren muss, statt dutzende Programme. Aktuell habe ich Proxmox nur auf meinem Laptop und das als Produktivsystem, weswegen Experimente aktuell nicht drin sind. Das möchte ich ändern und frage daher nach ein paar Anregungen, wie ich mein Homelab richtig aufbaue.

Verwendungszweck
- Office
- Mikrocontrollerprogrammierung (STM32 mit CubeMX, Eclipse, Putty, ...)
- Multimedia (Youtube in FullHD)
- Gaming (10 Jahre alte Spiele, brauche also nicht die Beste Leistung. Aktuell Skyrim und Dirt4.0. Aber NVIDIA Surround mit 3+1 Monitoren, G25 Lenkrad und diversen Joysticks und Gamepads. Viel über Steam.)
- Teamviewer (beide Richtungen)
- NAS (Fotos, Dokumente, ...)
- Backup NAS + VMs + Promox Hosts
- Experimente mit neuer Software, Programmen, ... ohne Angst haben zu müssen schon wieder mein Produktivsystem zu zerschießen

Ausgangssituation
Mein Laptop ist der zentrale Punkt, weil ich meine Daten nicht auf eine Cloud legen möchte, aber dennoch von Unterwegs drauf zugreifen möchte läuft eine VM mit Openmediavault. Das soll auch so bleiben. Die Daten des NAS werden auf einen separaten Einplatinenrechner mit Openmediavault Backup NAS gesichert. Aktuell nur Inkrementell. Mit Journal hatte ich mal experimentiert. Das Backup NAS ist vom Strom und Netzwerk getrennt, wenn ich keine Sicherung mache.

Ich habe bereits 2 physisch getrennte 1 GBit/s Netzwerke laufen. Das eine ist Internet, wo auch wirklich nur der Internetverkehr drüber läuft. Die Organisation macht der Internet Router. Das andere ist das interne Netzwerk. Das NAS und ein paar Elektronikgeräte hängen im internen Netzwerk, alle PCs in beiden. Der Laptop ist so eingerichtet, dass er bei Bedarf als Gateway und DHCP Server für das interne Netz arbeiten kann. Z.B. um Unterwegs einem anderen Laptop über Smartphone Internet zu geben.

Laptop

• Panasonic Toughbook CF-20, Dualcore (Core m5-6Y57), 8 GB RAM, 1 TB SATA SSD
• Proxmox
• VM Openmediavault NAS
• Office und Multimedia direkt auf dem Host
• und ein paar anderen VMs die gelegentlich genutzt werden

NAS Backup

• Odroid HC1, Octacore ARM, 2 GB RAM, 1 TB SATA SSD (Crucial MX500)
• Openmediavault

Workstation1

• Tyan S2915-E, 2x Sixcore (Opteron 8439 SE), 64 GB RAM, GTX960
• 6x SATA2, 8x SAS1, PCIe1 2x16, 2x8
• Aktuell Windows 7 Programmierung und Gaming
• Kein PCIe Passtrough, daher nicht geeignet für Gaming VM, daher ist auf dem weg:

Workstation2

• HP Z840, 2x Octacore (Xeon E5-2667-v4), 128 GB RAM, RTX2080
• 6x SATA3, 8x SAS2, PCIe3 3x16, 2x8, 1x4, 1x1
• NVMe Boot, aber kein M.2 oder U.2 Slot

PC1

• Intel DQ35JO, Quadcore (C2Q Q9xxx), 8 GB RAM, GTX260
• Aktuell Windows 7 Programmierung und Gaming
• Defekt, vermutlich Kondensator auf Mainboard, werde ich bei Gelegenheit reparieren bzw. habe ich noch 2 Stk. K9N Neo MSI-7260 oder 1 Stk. GA-G31M-ES2L (nur 4 GB RAM)
• 6x SATA2 und PCIe2 x16

PC2

• K9N Neo MSI-7260, Dualcore (A64x2 AM2 3800+), kein RAM
• Habe leider keinen RAM und 25 € für 8 GB DDR2 ausgeben, wenn es bei Ebay Sets mit i5 und 16 GB DDR3 für 40 € gibt, weiß nicht
• 4x SATA1 und PCIe1 x16

PC3

• GA-8S649MF, Singlecore (P4 Presscott 3,6 Ghz), 2 GB RAM (max)
• PC ist fertig montiert und hat genug Platz für 10 bis 16 Stk. 3,5" Festplatten
• Leider auf 2 GB RAM beschränkt
• 4x SATA1 und PCIe1 x16

Multimedia

• Odroid XU4, Octacore ARM, 2 GB RAM, 64 GB EMMC

SSDs (Extra, weil PCs werden eh neu aufgesetzt)

• 2x 1 TB SATA (Crucial MX500)
• 1x 500 GB SATA (Crucial MX300)
• 1x 240 GB SATA (Crucial BX500)
• 1x 256 GB SATA (Crucial BX100)
• 1x 256 GB SATA M.2 (Samsung MZNLN256HCHP)

HDDs

• 2x 2 TB SATA HDD (Seagate SV35)
• 1x 2 TB SATA HDD (Seagate ST2000)
• 1x 500 GB HDD (Hitachi HD725050GLA)
• Diverse 80 bis 320 GB SATA HDDs in 2,5" und 3,5"

Sonstiges

• TP-Link TL-SG116, 16x 1GBit/s für internes Netzwerk
• TP-Link TL-SG108, 8x 1GBit/s für internes Netzwerk
• Haufenweise ältere Hardware, die nicht in Frage kommt, also nicht wundern, wenn im Laufe des Themas plötzlich Hardware auftaucht ;-)

Nutzungskonzept
Laptop mit Proxmox, NAS in der VM und Backup NAS läuft für mich super und bleibt so.

Werde ich schon für Proxmox auf dem Laptop belächelt, wird es jetzt abstrus. Eigentlich hätte ich gern, dass nicht in Computern gedacht wird (meine Tastatur, meine Daten, meine Anwendung, mein Monitor), sondern, dass nur noch entscheidend ist auf welchem Monitor welche Anwendung läuft. Egal welcher PC und wo das im Hintergrund läuft. Und das ohne HA Cluster oder ähnliches. Gut Wunschdenken, aber ich hoffe man versteht mein Konzept.

Praktische Umsetzung wird eher in die Richtung

• Daten liegen weiterhin auf dem Laptop, damit ich unterwegs und von jedem PC drauf zugreifen kann. Für die Programmierung kopiere ich zur Zeit händisch, weil Eclipse keine Netzwerkspeicher zulässt. Git habe ich hin und wieder benutzt. Vermutlich werde ich es darüber lösen.
• VMs liegen auf den jeweiligen Proxmox Servern Workstations/PCs, weil der Aufwand für zentralen Speicher zu hoch wird
  • Redundanz, damit die andere Workstation bzw. PCs weiter funktionieren bei Hardwaredefekt
  • Laptop ist auf 1 GBit/s begrenzt und für alle PCs schnellere Netzwerkkarten und neuer Switch wird einfach zu teuer
  • Letzten Endes wäre es für die beiden Workstations und damit kein Verhältnis Aufwand zu Nutzen. ich bin jedoch nicht abgeneigt die beiden Workstations per gebrauchten Infinibandkarten zu verbinden und damit etwas zu experimentieren.
• Jeder der Proxmox Rechner (außer Laptop wegen Geschwindigkeit und Workstation1 wegen fehlendem PCIe Passtrough) bekommt eine VM, wo die Grafikkarte durchgereicht wird und Monitore direkt angeschlossen werden. Das wird vermutlich die Gaming VM mit Steam OS oder Debian mit Proton werden, weil dort die GPU Beschleunigung gebraucht wird. Von dort aus kann ich per Spice auf die anderen VMs, wie z.B. Programmierung zugreifen, welche nur einen flüssigen Desktop benötigen, aber keine GPU Beschleunigung. Im Zweifel kommt in die Workstation2 für diesen Zweck eine alte Grafikkarte, wie GT 710 oder 7100 GS. Was ich nicht möchte, ist auf dem einen Monitor Gaming und auf dem anderen Programmierung. Alle sollen für alles herhalten und trotzdem getrennte VMs, um die Software zu isolieren.
• Beamer und Fernseher bekommen Ultralowpower PCs. Odroid XU4, Raspberry 4, oder ähnliches. Diese können sich per Spice auf jede VM oder per Moonlight/Sunshine auf die VM mit Grafikkarte schalten. Dadurch kann ich zumindest diese beiden Monitore nutzen, um möglichst einfach auf jede VM und performant auf die Gaming VM zugreifen zu können.

Speicher- und Backupkonzept
Ich habe bereits einiges recherchiert, aber die Möglichkeiten und Stolperfallen sind einfach zu vielfältig.

Ich würde gern ZFS mit RAID1 gegen Rotten Bit einsetzen. Zumindest bei den PCs wo es möglich und sinnvoll ist.
Laut diesen Tests bringt RAID 1 mit LZ4 Komprimierung mehr Lesegeschwindigkeit. https://calomel.org/zfs_raid_speed_capacity.html
Ob Enterprise SSDs notwendig sind, darüber wird gestritten, wie hier https://blog.erben.sk/2022/03/08/do-not-use-consumer-ssd-with-zfs-for-virtualization/
ich würde versuchen auf gebrauchte Enterprise SSDs zu gehen, aber wenn ich die vorhandenen Laufwerke nutzen könnte (gerade die 2 TB Festplatten), dann wäre das auch nicht schlecht.

Laptop
Auf dem Laptop habe ich Proxmox mit ext4 installiert. ZFS wäre zwar sinnvoll für das NAS in der VM wegen Datenintegrität, aber weil der RAM mit 8 GB eh oft schon knapp ist mit den VMs macht das keinen Sinn. Eine Zweite SSD einbauen wäre nur mit basteln über USB2.0 möglich oder eine µSD Karte. Ich müsste mich hier darauf verlassen, dass ich durch Journal + inkrementelles Backup entsprechend weit zurück gehen kann, um meine Daten wieder herzustellen. Beim NAS kein Problem, weil ich nur einzelne Dateien zurückholen muss. Beim Host und VMs stelle ich es mir schwierig vor, wenn irgendwo ein Rotten Bit ist und ich aus zwei Backupversionen eine machen muss.

Workstation1

• Durch fehlendes Bifurcation und fehlendes NVMe Boot wäre der Aufwand für NVMe SSD zu hoch.
• Host + VMs
  • gebrauchte 2x 480 GB Samsung PM863 Enterprise SSD SATA3
  • ZFS RAID1, ohne Deduplikation, mit LZ4
• evtl. Backup
  • SAS Controller auf Mainboard

Workstation2

• Delock 90092 PCIe x16 zu 4x U.2 https://www.delock.de/produkt/90092/merkmale.html
• Host + VMs
  • gebrauchte 2x 2 TB PM983 oder2x 2TB Intel P4510 (was ist besser?) Enterprise NVMe im U.2 Format
  • ZFS RAID1, ohne Deduplikation, mit LZ4
• Gaming VM
  • System: auf Proxmox Pool wie die anderen VMs, wegen Backup
  • Spiele: vorhandene 1 TB SSD durchreichen ohne Backup
• evtl. Backup
  • SAS Controller auf Mainboard

PCs

• Host + VMs
  • vorhandene Consumer SSDs SATA

Backup (z.B. PC3)

• vorhandene 3x 2 TB Consumer HDD SATA oder SAS HBA mit 3x 3 bis 12 TB gebrauchte Enterprise SAS HDD

Was wäre die Empfehlung für Proxmox Backup? Die vorhandenen wenig genutzten SATA Consumer HDDs oder gebrauchte SAS Enterprise HDDs? SSD wird zu teuer.

Sollten diese mit ZFS oder anderem Dateisystem formatiert werden? Ich habe verschiedene Aussagen dazu gelesen.

RAID1 oder nicht?

Genügt ein PC mit Singlecore und 2 GB DDR1 für Homelab Anforderungen? Laut Systemanforderungen ist das knapp unter den Mindestanforderungen.

Backup
Beim Proxmox Backup Server weiß ich noch gar nicht so richtig. Viele installieren diesen als VM auf den Proxmox Servern. Dann würden die Festplatten permanent laufen. Bei SAS Platten doch etwas nervend. Mir wäre es lieber, wenn die Workstations/PCs lokal das Backup auf die SSDs machen. Fullbackup manuell, bevor oder nachdem ich Änderungen vornehme und Snapshot automatisch täglich (zumindest wenn der PC läuft. Sobald PC und PBS laufen, wird das lokale Backup übertragen, egal ob Fullbackup oder Snapshot. Dadurch müsste übers Netzwerk nur übertragen werden, was neu ist und die Festplatten laufen nicht unnötig die ganze Zeit. Kann man sicher etwas mit Script machen.

Evtl. möchte ich bei 3 Verwandten externe Instanzen einrichten, damit diese auf meinen Backupserver und ich auf deren Backupserver sichern kann. Alles zusammen schätze ich aktuelle 0,5 bis 3 TB für VMs und Daten. Datenzuwachs pro Jahr vielleicht 20 GB, hauptsächlich durch Fotos und Dokumente. Fullbackups würde ich per externer HDD übertragen und nur die Inkrementellen Backups per Internet. Aber wie kann man bei den Backups differenzieren, weil die PCs/Workstation Inkrementellen Backups (Snapshots) beziehen sich auf den letzten Fullbackup und Fullbackup per 1 MBit/s Upload übertragen ...?

Alternativ 4 Minibackupserver aus alter Hardware und gebrauchten Enterprise HDDs, die beim nächsten Besuch spätestens alle 6 Monate untereinander getauscht werden. Sobald der PBS im Netzwerk ist, werden vom Client alle Backups synchronisiert, die noch nicht auf dem PBS sind. Bzw. per externer Festplatte, aber da ist wieder die Frage wie stark sich Rotten Bits auswirken. Irgendwo soll es auch bezahlbar bleiben.



Es geht hier erst mal nur ums Konzept, damit ich mich nicht irgendwo verrenne, was sowieso nicht funktioniert. Bei konkreten Problemen würde ich ein extra Thema aufmachen, wenn ich nicht weiter komme. Die Enterprise SSDs/HDDs müssen auch noch gekauft werden. Für andere Vorschläge bin ich offen. Im Anhang ist auch noch ein Schema. Im Voraus schon mal Danke.

 

[sb-jw]

Respekt für diese vielen Ausführungen, ich habe aber nicht alles gelesen und ich befürchte auch, dass es für die meisten zu viel ist, weshalb du vielleicht weniger Menschen erreichst, die dir helfen können.

Ehrlich gesagt denke ich mir bei einem Großteil der Hardware, warum die noch nicht verschrottet wurde. Ich bin ja auch gegen Verschwendung, aber ein P4?

Ist das Zeug tatsächlich gesetzt oder bist du auch offen für andere Lösungen?
Ich habe irgendwie den Eindruck, dass du es ernst meinst, aber dann kommen immer wieder solche alten Teile die du irgendwie zusammenwürfeln willst. Da kommt halt weder Zuverlässigkeit noch Performance raus.

 

[ProxmoxMobil]

P3 wären auch noch da, P1 und P2 habe ich dann doch mal entsorgt
Ein älterer P4 ist sogar fertig installiert als Retro Gaming PC mit Windows 98
Mit dem neueren P4 war ich vor ca. 3 Jahren noch im Internet unterwegs
Und einiges weitere (Celeron1, Xeon Prestonia, K7, K7 MP, K8, ...). Ich habe also schon nur die Hardware aufgelistet, die evtl. noch für niedere Aufgaben, wie einem Backupserver funktionieren würde

Hintergrund ist, dass die Hardware vorhanden ist und ich ungern funktionierende Hardware wegschmeiße, nur weil es etwas neueres gibt. Im Gegenteil kaufe ich seit Jahren fast nur noch gebrauchte Hardware. Und dann nutze ich die PCs auch solange wie es geht, weil ich keine Lust habe ständig alles neu zu installieren. Das Windows7 von Workstation1 ist seit ca. 8 jahren dort drauf. Das Windows7 von PC1 seit ca. 12 Jahren. Weil Steam die Nutzung von Windows7 quasi verbietet ist jetzt der Punkt mal alles neu zu machen, sonst würde ich das so weiter benutzen. Daher auch mit umfangreichem Konzept, damit es für die nächsten 10 Jahre und nicht 6 Monate ist. Ich habe es versucht so zu gliedern, dass man sich auf einen Teil beziehen kann, so wie du gerade auf die Hardware.

Wenn es nicht mehr geht oder keinen Spaß mehr macht, kaufe ich mir neue Hardware. Deswegen auch jetzt Workstation2, u.a. wegen fehlendem PCIe Passtrough. Klar hätte ich mir für das Geld auch einen moderneren Single CPU Rechner kaufen können. Aber Dual CPU System finde ich einfach geil, so wie andere Sportwagen fahren. Laptop habe ich vor ca. 2 Jahren gewechselt, weil man mit einem NC10 (Atom N270) wirklich nicht mehr im Internet surfen kann. Alles andere (E-Mail, Office) ging bis zum Schluss absolut flüssig. Ich Will nicht auf Krampf die alte Hardware verwenden, aber wenn es keine Notwendigkeit für neue gibt, warum nicht. Der Backupserver soll nur während des Backups laufen, was Stromkosten zweitrangig macht. Und ob der 20 % länger dafür braucht ist mir auch egal, ich muss nicht daneben sitzen. Der P4 ist auch nicht als Proxmox Host gedacht. Der C2Q (PC1) bzw. die Workstations sind die Leistung die ich gerade brauche und mit der RTX2080 läuft angeblich sogar Cyberpunkt 2077 in hohen Grafikeinstellungen ... ja ich habe mich die letzten Tage durchgeschlagen mich über neuere Hardware zu informieren, als ich besitze . Beim Backup und Festplatten kam ich nicht richtig weiter, deswegen auch die Frage wie sinnvoll es ist die vorhandenen SATA HDDs zu verwenden. Also die Hardware ist nicht in Stein gemeißelt (außer die Workstations und der Laptop), aber auch nicht so, dass ich sofort sagen würde "weg damit". Vorschläge höre ich mir zumindest an, dafür ist ein Forum da.

 

[endurance]

Puh - ich habs überflogen - das ist ja mal sehr heterogen. Teils haben die Rechner so wenig Speicher und dann noch eine VM drauf. Ich verstehe den Wunsch die Hardware zu abstrahieren, wird aber so nicht ganz so einfach. Statt VMs würde ich dann wo immer möglich auf LXC setzen (zumindest wenn nicht internetfacing). Mangels nicht wirklich komplett inhaliertem lesens ist mir auch noch nicht klar was wo laufen soll.

Aber statt alle Daten auf dem Laptop ein VPN aufsetzen, so dass Datenzugriff auch von unterwegs möglich ist. Oder eine private Nextcloud zum Datenabgleich wenn die Daten wirklich physikalisch auf dem Laptop sein sollen. Bei meinen Mobilen Geräten versuche ich möglichst wenig Daten Lokal zu haben - schlecht wenn es kein Internet gibt, aber dann sind die Daten auch nicht in fremden Händen wenn die Hardware geklaut wird oder man sie irgendwo verliert.

Evtl. überlesen - läuft das alles immer? Wenn ja lohnt es sich evtl. wirklich ein wenig Hardware zu konsolidieren und 3 mit einem Rechner zu ersetzen. Ich habe auch etliche baremetall Rechner virtualisiert und zentral auf meinem PVE servern laufen. Aufgrund von Ersatzteilbeschaffung habe ich die Server (fast) alle zu 99% identisch aufgebaut (4x Supermicro...). Dann kann man mal einen Rechner ausschlachten wenn nötig.

Backup nutze ich die Proxmox PBS Lösung - funktioniert bei mir super - kann man auch Cohosten auf einem PVE server wenn nötig.
Aus dem Netzwerkbild werde ich nicht ganz schlau - du hast da viele Proxmox Backup Server (PBS) eingezeichnet - gemeint sind aber clients nehme ich an. Ich empfehle wenn es um die Virtualisierung geht das PVE zu nennen und sonst PBS. Wenn Client sollte es client heißen. Proxmox ist die Firma die PVE und PBS bereitstellt. Ein PBS reicht und wenn du redundanz haben willst oder das so aufbaust, dass auf dem ersten server nur backups sind und die folgenden dann immer weniger aktuelle Daten haben (Archiv) kannst Du natürlich auch mehrere verbinden und synchronisieren. Auch als georedundates setup bieten sich zwei server an - aber das wäre vermutlich dann ein neuer Thread.

 

[Falk R.]

Was mir noch auffällt: Der Z840 hat ja 2 Grafikkarten drin, die 2080 fürs Gaming durchzuschleifen ist sinnvoll, aber vermutlich ist die 710er Graka die letzte im System. Man sollte immer eine Grafikkarte für den Host lassen, alle Grafikkarten durchzureichen kann funktionieren, aber ist bastellei und im Fehlerfall hast du keine Monitorausgabe, wenn der Host mal ein Problem hat.

 

[Falk R.]

Zum Thema Stromverbrauch, ich weiß nicht ob du den Strom geschenkt bekommst, aber so ein alter Dual Opteron zieht einiges an Strom weg, da kannst du vom Stromgeld eines Jahres dir locker ein deutlich aktuelleres Modell gebraucht kaufen. Dual Sockel finde ich persönlich sowieso nicht so gut, ich habe auch bei großen Kunden nur noch Single Socket Server (dafür in der Regel mit 1x 64Core) laufen, weil die Performance der VMs deutlich besser ist, als wenn der UPI/QPI Link zwischen den CPUs genutzt werden muss, wenn etwas Last kommt.
Stromsparen tut man dabei auch noch.
Zur erinnerung, die Opteron sind 11 Jahre alt und haben 105W TDP für 6x2,8GHz, bei zwei CPUs darf das System schon mal 210W nur für die CPUs durchblasen. Effektiv laufen die dann im Idle zwischen 30-45 Watt und bei moderater Last ca. 60W. Wenn du das Board und etwas RAM dazu nimmst sind schon mal 200W weg. Die selbe Rechenleistung bekommst du in relativ aktueller Hardware für 15-20W.
Jetzt rechne das mal mit deinem Stromtarif dagegen.
Die HDDs welche viel Strom verbrauchen lassen wir erst einmal außen vor.

Ich höre lieber erst einmal auf und bin gespannt ob das Thema Strom für dich interessant ist. Das ist bei der Diskussion für das Sizing schon entscheident.

 

[ProxmoxMobil]

@endurance:
LXC hatte ich beim Laptop schon probiert, aber die LXC waren saumäßig träge, viel langsamer, als eine VM. Hängt irgendwie mit der CPU zusammen. Thema werde ich aber noch mal angehen. Flaschenhals sehe ich nur beim Laptop, mit dem ich aktuell klar komme. Der C2Q (PC1) mit 8 GB RAM soll nur kleine Aufgaben übernehmen. Wenn die VM für Programmierung 4 GB RAM hat, ist das ausreichend. 2 GB für ca. 3-5 leichtgewichts VMs ohne Desktop und 2 GB fürs System. Beim Backupserver ist die Frage ob der mit einem Kern und 2 GB vernünftig läuft, ich werde es wohl mal ausprobieren müssen. Wenn nicht muss der Q2C (PC1) als Backupserver herhalten und es kommt für den PC1 etwas "neues" sehr sparsames. Die Workstations schaffen es dicke.

Gleiche Hardware, schön wärs. Daher die Trennung von Anwendung von der Hardware. Beim PC1, wo aktuell noch Daten drauf liegen muss ich jetzt entweder das Mainboard reparieren oder Gefahr laufen dass Windows rumzickt, wenn ich das Mainboard wechsel oder von außen auf die Festplatte zugreifen, statt einfach von PBS die VM auf einen anderen Host zu schmeißen.

Ich brauche keinen permanenten Zugriff auf meine Daten. Der Laptop kommt nur mit, wenn ich ihn wirklich brauche und ich nehme ihn auch nirgends hin wo Diebstahlgefahr ist. Daher ist Daten lokal lassen die geringere Gefahr, als in einer Cloud. Deswegen wäre es mir auch lieber das außer Haus Backup Offline durchzuführen. Mit der Archivfunktion scheint das zu funktionieren.

Nein die Hardware läuft nur, wenn sie gebraucht wird. Damit ist der Stromverbrauch ok. Hardware die immer läuft wird mit Laptops, Raspberry Pi oder ähnlichem umgesetzt. Eigentlich läuft nur der Internetrouter und ein Pi immer. Noch nicht einmal der Switch.

Danke für den Hinweis. Überall wo "Proxmox" im Schema steht müsste dann "PVE" stehen. Wenn ich "Proxmox Backup Server" geschrieben habe, meinte ich auch "PBS". Ich sehe gerade, ich habe das "PBS oder Backupfunktion" nicht überall rüber kopiert. Ich werde das Schema noch mal korrigieren. Genau darin liegt die Frage. Macht es Sinn auf jeder Workstation einen PBS laufen zu lassen, dass diese sich gegenseitig sichern oder sollte nur die interne Backupfunktion verwendet werden und dann auf den/die dedizierten Backupserver.

Das Georedundante Backup soll vom Konzept her hier mit rein, weil es auch eine Frage der Hardware, besonders der Festplatten ist, die hier mit angesprochen wird. Festplatten bestellen wäre der nächste Schritt, aber dafür müsste ich ein Konzept haben.

@Falk R.
Genau deshalb habe ich mir den Z840 für die Neuanschaffung rausgesucht. 7 PCIe Slots, die alle hinten offen sind. Mehr Grafikkarten dort einsetzen ist kein Thema. Schade dass sowohl AMD, als auch NVIDIA keine kompakten extrem sparsamen Grafikkarten mehr anbieten. Für alle anderen habe ich für solche Fälle PCI Grafikkarten aufgehoben (S3, Rage Pro, ...), muss ich mal testen ob Proxmox ein Bild darauf ausgeben kann. Keiner der Server muss hochverfügbar oder von der Ferne erreichbar sein. Im Notfall kann ich einfach runterfahren bzw. für die Backupserver die Verwandtschaft anrufen. Ich werde mal schauen was eine Grafikkarte mehr für einen Unterschied im Stromverbrauch macht.

Mein Konzept ist eher das Big/Little des Samsung Exynos ARM Chips. Dadurch konnte ich meinen Gesamtstromverbrauch um 30 % gegenüber alles mit Workstation1 senken. Dank virtueller NAS ohne Neuanschaffungen.

• Minimum: Der Laptop braucht ca. 20 W im Leerlauf mit allem drum und dran und hat auch alles für die minimalen Aufgaben (Office, NAS, ...). Er ist sozusagen der kleinste Nenner und läuft immer wenn ich Zuhause bin. Ca. 6 h/d = 45 kWh/y = 18 €/y.
• Optimum: Der C2Q (PC1) reicht für Aufgaben, wo ich einfach mehr Monitorfläche brauche (Teamviewer, Programmierung, z.B. das Netzwerkschema zeichnen, ...) bzw. ist Windows aktuell noch ein Argument. Ich schätze mal 150 W ohne Peripherie und damit ca. 1 h/d = 60 kWh/y = 24 €/y
• .Maximum: Der Opteron zieht 230 W im Leerlauf ohne Peripherie (und ist 14 Jahre alt). Den benutze ich, wenn ich sehr viele Monitore brauche bzw. viel Leistung wie Gaming und wird nicht täglich benutzt. Ca. 0,5 h/d = 45 kWh/y = 18 €/y. Klar, bei Dauerbetrieb wären es 2.000 kWh und 800 € im Jahr.
• Kein Dauerbetrieb: NAS Backup, als auch die Switche laufen nur wenn diese gebraucht werden. Auch der Laptop wird runtergefahren, wenn ich die Wohnung mehr als 1 h verlasse. Standby Verbrauch gibt es bei mir auch nicht.

Ich zahle Pro Jahr unter 1.000 € an Strom. Ich schätze mal die Hälfte wird die Rechentechnik vom Router bis zum Monitor sein. Wenn ich das alles inkl. Monitore ersetzen würde, könnte ich vielleicht 100 bis 300 € im Jahr sparen. Bei geschätzt 2.000 bis 3.000 € Investition lohnt sich das nicht. Bei Neuanschaffungen schaue ich schon etwas drauf. Deswegen habe ich mich bei der neuen Workstation2 für Xeon v4 statt v3 und eine RTX2080 statt einer GTX1080 entschieden. Angeblich soll die Z840 130 W im Leerlauf ziehen. Z840 gehen bei 500 € los und spart bei mir 10 € im Jahr gegenüber der alten Workstation1. Ein aktueller PC, keine Workstation, ist man beim gleichen Preis dabei und ich würde 20 € im Jahr sparen. Bringts nicht wirklich. Wie gesagt, kein 24/7 Betrieb, sonst würde es anders aussehen und ich würde sofort was sparsames kaufen.

 

[endurance]

Ich habe einen zentralen Backupserver (backup clients dann auf jedem PVE host). Und einen zweiten PBS geografisch getrennt der mit dem ersten synchronisiert. Vom PVE server speichere ich nur die Konfig über den Backupclient. Datenverzeichnisse (NAS etc.) auch über den Backupclient. Ganze VMs nat. über die integrierte Backupfunktione von PVE.

 

[ProxmoxMobil]

Ich habe weiter recherchiert. Wenn ich ZFS will, brauche ich 8 bis 16 GB RAM ECC und weil gebrauchte SAS HDDs günstiger sind, als gebrauchte SATA Enterprise HDDs, bin ich dann schnell im Bereich 150 bis 200 € für die Hardware ohne Festplatten. Für einen Backupserver der rumsteht ist mir das doch etwas zu übertrieben. Besonders wenn es mehrere werden, wegen außer Haus Sicherung.

BTRFS soll ebenfalls Softwareraid1 und Scrubber gegen Bitrot können, aber ohne die enormen Hardwareanforderungen. Leider wird zu diesem Thema sehr viel emotional gestritten in den Foren. Proxmox setzt jedoch mehr auf ZFS und Serverhardware für Enterprise Umgebung und Openmediavault mehr auf BTRFS im Home Bereich, war der allgemeine Tenor. Dann werde ich das so anwenden.

1. Alle PVE Hosts machen mit dem integrierten Backuptool ein Backup von den Hosts und VMs, damit das Netzwerk beim inkrementellen Backup weniger belastet wird.
   1. Workstation1 und 2 haben genug Power, RAM, ECC, PCIe, SAS, dass ich hier in die vollen gehen kann mit NVMe/SSD ZFS RAID Z1 als Systemplatte.
   2. Alle anderen Hosts sind für ZFS nicht geeignet, deswegen bleibe ich bei ext4 und ohne RAID. Laptop ist noch fraglich, ansonsten ist bei den PCs Preis und Aufwand zu hoch für ZFS und/oder RAID.
   3. Bei allem was Openmediavault ist wechsel ich irgendwann auf BTRFS. Evtl. RAID1 oder anderweitige Duplizierung auf der gleichen Platte, damit Rotten Bits korrigiert werden können. 2 identische Platten bekomme ich nicht ins Laptop.
2. Workstation1 und Workstation2 bekommen PBS parallel zu PVE installiert. Angeblich soll das gut funktionieren. Die PBS bekommen je 2 SAS HDDs mit ZFS RAID Z1. Auf diesen sammeln beide Workstations die Backups von allen PCs im Netzwerk.
3. Der separate Backuprechner dient wie vorgeschlagen als Archiv. Evtl. BTRFS oder ext4 im RAID1 mit Consumer SATA HDDs. Weil wenn ich das Backup brauche, müssen vorher die lokalen Backups, als auch die beiden Workstations versagt haben. Daher möchte ich dafür nicht zu viel ausgeben und die alte Hardware nutzen. Vermutlich werde ich statt dem P4 die vielen Core2Duo E2200 dafür verwenden. Erst mal mit 2x2 GB RAM, was nur 10 € pro Archivserver sind.

Noch notwendige Hardware

• Workstation1 System: gebrauchte 2x 480 GB Samsung PM863 Enterprise SSD SATA3
• Workstation2 System: gebrauchte 2x 1 TB PM983 oder 2x 2TB Intel P4510 Enterprise NVMe im U.2 Format
• Workstation1 Backup: gebrauchte 2x 3 TB (oder mehr) Enterprise HDD SAS3
• Workstation2 Backup: gebrauchte 2x 3 TB (oder mehr) Enterprise HDD SAS3
• Archiv System und Backup: Vorhandene 2x 2 TB Consumer HDD SATA

Konkrete Fragen:

1. Samsung PM983 oder Intel P4510 ?
2. Proxmox Archivserver ext4 oder BTRFS?

 

[sb-jw]

Samsung PM983 oder Intel P4510 ?

PM883, die günstiger und hat soweit das gleiche Niveau einer PM893. Intel SSDs bin ich persönlich nicht so sehr der Freund von, ist aber eher eine Geschmacksfrage.

Proxmox Archivserver ext4 oder BTRFS?

Mit ext4 kenne ich einige Probleme aus der Vergangenheit, gerade wenn am große Systeme betreibt und viele kleine Dateien hat. Was bei PBS potenziell ja der Fall sein wird. Also Thema Inodes, wenn du kein ZFS willst, dann bleibt wohl nur BTRFS als alternativ.

 

[ProxmoxMobil]

PM893 und P4510 sind U.2
PM983 und PM883 sind SATA3

Inwieweit hat das Einfluss auf die Performance mit Proxmox und ZFS in der Praxis, ob NVMe oder SATA?

Bei Ubuntu hatte ich vor Jahren getestet, sind die Bootzeiten und gefühlte Performance zwischen SATA2 und USB2.0 kein Unterschied. Beides um Welten flüssiger, als HDD an SATA2. Videos, dass NVMe und SATA SSD im Hausgebrauch keinen nennenswerten Unterschied machen gibt es genug, aber bei Server?

 

[Falk R.]

Also ZFS mit HDDs möchtest du nicht benutzen, außer es ist tatsächlich nur eine Dateiablage mit wenigen Zugriffen.
Natürlich liefern die SSDs mit NVMe Interface deutlich mehr aber die Anzahl der Anschlüsse ist da deutlich limitiert.
Enterprise SATA SSDs reichen für ein Homelab in der Regel locker aus, mit Consumer SSDs wird man nicht glücklich.

 

[sb-jw]

PM893 und P4510 sind U.2
PM983 und PM883 sind SATA3

Stimmt auch nicht ganz, die PM883 und PM893 sind SATA
Die PM983 ist M.2 oder U.2

Aber ich fühle mit dir, da hat sich Samsung wieder eine tolle Bezeichnung ausgedacht. Ich verwechsele die auch häufiger

So oder so sollte man auf jeden Fall Enterprise SSDs nehmen. Consumer machen keinen Spaß und zumindest preislich ist die PM883 gegenüber Consumer deutlich attraktiver.

 

[Falk R.]

Stimmt auch nicht ganz, die PM883 und PM893 sind SATA
Die PM983 ist M.2 oder U.2

Aber ich fühle mit dir, da hat sich Samsung wieder eine tolle Bezeichnung ausgedacht. Ich verwechsele die auch häufiger

So oder so sollte man auf jeden Fall Enterprise SSDs nehmen. Consumer machen keinen Spaß und zumindest preislich ist die PM883 gegenüber Consumer deutlich attraktiver.

Alles mit 9xx = NVMe
Alles mit 8xx = SATA
ist doch ganz einfach

 

[ProxmoxMobil]

Alles was System, VMs und Backup ist, soll gebrauchte (besser gesagt schaue ich auf Refurbed) Enterprise Hardware werden. Für Gaming reicht vorhandenes Consumer Material. Das ist gesetzt.

System und VMs soll auf SSDs. Es ist nur noch die Frage, ob NVMe (U.2) etwas bringt. An sich würde es mich schon reizen U.2 einzusetzen. Das Mainboard hat 7x PCIe und 3 davon als x16. Ich würde mir die Delock x16 Adapterkarte für 4x U.2 kaufen, erst mal nur 2 einsetzen. Kann also später einen zweiten Pool anlegen, mit dann günstigeren Preisen.
Auf der anderen Seite wird SATA out of Box laufen und ich spare mir den teuren PCIe zu U.2 Adapter. SATA gibt es in beiden Workstations mehr als genug.

Backup auf SAS HDDs, wegen Kosten. SSD oder NVMe wäre viel zu teuer. Also die Frage von Falk R., ja die HDDs sind nur für Datenablage "Backup". Trotzdem ein Performance Problem mit ZFS? Wenn ich im Internet schaue schwören so viele auf ZFS mit SAS HDDs.

Danke, die Info ist sehr gut mit dem 9xx und 8xx. Das hilft enorm.

 

[endurance]

Also VMs wo du mit GUI flüssig arbeiten willst würde ich NVME nehmen. Ansonsten reichen SSDs aus. Ich finde man merkt als User den Unterschied.

ZFS auf HDD - naja geht schon aber wie gesagt kommt auf die Anwendung an. Ich benutze einen Verbund mit Platten und ZFS als NAS (das wenig IO braucht). Hardware Raids nutze ich nicht mehr (Ausnahme gespiegelte Bootplatten). Ich habe das auch mit einzelnen Platten und PBS im Betrieb. Einen PBS habe ich auch mit einer Consumer 8TB SSD im Betrieb - dort dann aber XFS als FS. Funktioniert für mein Homelab ausreichend - Verification und Garbagecollection laufen dann halt mal einen halben Tag.

Da hobby tendiere ich zu "ich probier mal mit was da ist", richte mich aber mental drauf ein "es wird langsam" und wenn zu langsam wird halt nach einer anderen Lösung gesucht.

 

[ProxmoxMobil]

Hobby und langsam ja, deswegen will ich vorangig Hardware verwenden, die ich habe. Wichtig sind mir jedoch meine Daten (Familienfotos etc.). Meine Backup Strategie ist momentan absolutes Minimum. Um das zu ändern brauche ich definitiv weitere SSDs/HDDs. Wenn ich was kaufe, dann schaue ich schon, dass es das richtige ist. Möchte keine NVMe SSDs für einen Rechner kaufen, der davon nicht booten kann.

Laut diesem Thema soll RAID Z1 nicht bootfähig mit UEFI sein. Nach anderen Quellen braucht die Z840 UEFI, um von NVME zu booten.
https://www.reddit.com/r/Proxmox/comments/6l8k31/can_anyone_explain_why_proxmox_wont_boot_if_you/

Außerdem soll RAID Z1 bei 2 Laufwerken keinen Sinn ergeben, statt dessen soll man RAID 1 verwenden. Ich fand diesen Artikel gut zu internen Schutzmaßnahmen, von denen man nichts mitbekommt, weswegen RAID oder ZFS oft nicht nötig ist. https://www.jodybruchon.com/2017/03...-need-to-get-a-clue-about-bit-rot-and-raid-5/

• Deswegen überlege ich, ob ich die Boot Devices nicht einfach mit einer SATA SSD (Workstation1) und einer U.2 NVMe (Workstation2) mit BTRFS oder XFS mache, weil die Gefahr von Rotten Bits gering ist (zumal Enterprise SSD/NVMe) und bei Totalausfall gibt es die Backups.
• Fürs Backup in den Workstations Software RAID1, mit XFS, ZFS oder BTRFS mit SAS Platten. Durch den geringeren Preis gegenüber SSD tut die eine HDD mehr nicht weh.
• Externe Backups mit XFS, BTRFS oder ext4 und vorhandene Consumer SATA HDDs. Wegen Kosten.

 

[Falk R.]

Hobby und langsam ja, deswegen will ich vorangig Hardware verwenden, die ich habe. Wichtig sind mir jedoch meine Daten (Familienfotos etc.). Meine Backup Strategie ist momentan absolutes Minimum. Um das zu ändern brauche ich definitiv weitere SSDs/HDDs. Wenn ich was kaufe, dann schaue ich schon, dass es das richtige ist. Möchte keine NVMe SSDs für einen Rechner kaufen, der davon nicht booten kann.

Laut diesem Thema soll RAID Z1 nicht bootfähig mit UEFI sein. Nach anderen Quellen braucht die Z840 UEFI, um von NVME zu booten.
https://www.reddit.com/r/Proxmox/comments/6l8k31/can_anyone_explain_why_proxmox_wont_boot_if_you/

RaidZ1 ist quasi ein Raid5 nur mit paar extra Features.
ZFS Mirror ist dann das Raid1 und das man nicht von Software Raid5 booten kann, liegt daran, dass auf jeder Disk nur kleine Teile der Daten sind.
Bei einem Mirror liegen die Daten auf jeder Disk komplett vor.

Außerdem soll RAID Z1 bei 2 Laufwerken keinen Sinn ergeben, statt dessen soll man RAID 1 verwenden. Ich fand diesen Artikel gut zu internen Schutzmaßnahmen, von denen man nichts mitbekommt, weswegen RAID oder ZFS oft nicht nötig ist. https://www.jodybruchon.com/2017/03...-need-to-get-a-clue-about-bit-rot-and-raid-5/

RaidZ1 funktioniert genau so wenig wie Raid5 mit 2 Disks.
Der Artikel ist auch mit viel Meinungsmache aber auch richtigen Fakten. Wenn man eine Redundanz der Disks hat nützt soetwas wie Bit Rot Detection. Ohne bringt einem das nix, außer das man weiß wenn die Daten defekt sind. Man sollte immer im Hinterkopf behalten, dass man sich die Features von ZFS mit Performanceverlust der Hardware erkauft. Ist die Hardware schnell merkt man aber nix davon.

Deswegen überlege ich, ob ich die Boot Devices nicht einfach mit einer SATA SSD (Workstation1) und einer U.2 NVMe (Workstation2) mit BTRFS oder XFS mache, weil die Gefahr von Rotten Bits gering ist (zumal Enterprise SSD/NVMe) und bei Totalausfall gibt es die Backups.

• Fürs Backup in den Workstations Software RAID1, mit XFS, ZFS oder BTRFS mit SAS Platten. Durch den geringeren Preis gegenüber SSD tut die eine HDD mehr nicht weh.
• Externe Backups mit XFS, BTRFS oder ext4 und vorhandene Consumer SATA HDDs. Wegen Kosten.

Das Bootdevice finde ich auch nicht so tragisch, da ich immer Standardkonfigurationen habe, ist ein Host schnell neu gemacht.
Backups solltest du lieber zentral ablegen, damit hast du mehr Benefit beim Dedup und mehr Disks auf die sich das ganze verteilt.

 

[endurance]

Möchte keine NVMe SSDs für einen Rechner kaufen, der davon nicht booten kann.

Warum nicht? Bei mir bootet keiner der PVE Rechner von einer NVME. Alle "nur" eine SATA-SSD (und default was PVE so einrichtet bei der installation). Nur mein alter HP DL 360 hat gespiegeltes HW Mirror aus zwei SAS 15k platten als Boot (die waren halt so bei der gebrauchten Kiste dabei). Auf dem Bootdrive ist bei mir nur ein relativ nacktes (wenig anpassungen) PVE - die disk braucht eigentlich nicht wirklich schnell sein.
Bei den SSDs monitore ich nur den wearout - bisher ist mir kaum eine SSD verreckt (alles consumer) und wenn dann doch mal gibt es eben eine Neuinstallation und ein config restore.
Da du xfs erwähnst - das nutze ich für alle großen Disks (10TB - 22TB in Summe ca. 1PB) da sind dann meist eher große Dateien drauf (50GB aufwärts). Bisher keine Probleme. BTRFS hatte ich mal getestet aber Probleme gehabt (weiss nicht mehr welche) und deswegen verworfen.

Anmerkung: Vergessen abzuschicken, deswegen nach Falk R.

 

[endurance]

... du mehr Benefit beim Dedup und mehr Disks auf die sich das ganze verteilt.

Apropos Dedup - das lohnt sich wirklich - hier mal zwei Beispiele aus meinem Backup:

VM und LXCs:


Filebackup (hauptsächlich PVE host config + NAS)

Also Faktor 10-30 sind in der Praxis drin.