Anfängerfrage

[Tom7320]

Hallo allerseits!

Vor einigen Tagen bin ich auf der Suche nach einer Bare Metal Virtualisierungslösung auf Proxmox gestoßen, habe es installiert und bin bisher recht positiv angetan von der Software! Da ich neu bei Proxmox bin und eher rudimentäre Linuxkenntnisse habe, bitte ich hier vorab schonmal um etwas Nachsicht mit mir, falls meine Fragen zu trivial sind.... ;-)

Ich administriere "nebenberuflich" zusammen mit einem externen Dienstleister die Technik in der Hausarztpraxis meiner Frau. Wir haben dort einen HPE ProLiant DL360 Gen9 E5-2620v4 mit 2x HPE 300GB SAS HDD und 2x HPE 600GB SAS HDD, jeweils im Hardware-RAID 1 laufen. Auf dem 300GB RAID sind Proxmox und die VMs installiert. Das 600GB RAID würde ich gerne komplett als Datenpartition einer VM mit Win Server 2016 zur Verfügung stellen. Diese VM läuft als Terminalserver mit der Praxissoftware Turbomed (im wesentlichen eine Datenbankanwendung).

Banale Frage: Was ist der empfohlene bzw. performateste Weg diese Partition der VM zur Verfügung zu stellen? Unter Linux mit NTFS formatieren und als Directory einbinden? Oder LVM thin? Oder würdet ihr das ganz anders machen?

Ich würde mich über eine kurze Antwort freuen!

Beste Grüße

Thorsten

 

[achim22]

Hi Thorsten,
ich würde es anders machen. Die 2x HPE 300GB SAS HDD nur für Proxmox nutzen und die 2x HPE 600GB SAS HDD für die VMs.
Das alles mit ZFS und gut ist

Warum willst Du die 600 durchreichen ?

Gruß

 

[sb-jw]

Also wenn du einen HW Controller hast, würde ich ein VD für die 300er und ein VD für die 600er machen und mit dem Controller Cache arbeiten. Das bringt dir mehr Performance als ein ZFS, vor allem da du wahrscheinlich einen Controller und keinen HBA hast. Auf den VD's solltest du dann mit LVM Thin arbeiten.

Alles andere macht meiner Meinung nach bei deinem kleinen Setup keinen Sinn. Du holst dir nur unnötig mehr Layer dazwischen, ein ZFS müsstest du z.B. manuell neu anpassen, wenn eine Disk ausfällt. Bei einem HW RAID holst du die defekte Platte raus, steckst die neue rein und bist fertig - das Recovery sollte dann in der Regel von alleine anlaufen.

 

[Tom7320]

@achim22

Hm. Auch eine Variante. Der Server hat nur 16 GB RAM, so dass ich derzeit wohl doch erstmal bei LVM/EXT4 bleiben sollte, oder? Ich habe es deshalb so gemacht, dass ich ggf. künftig die VMs (die derzeit auf den 300GB SAS liegen) auf SSDs umziehen kann. Die Daten auf den 600GB SAS wären dann davon nicht betroffen. Man könnte ansonsten auch ein Hardware-RAID 10 bauen. Bliebe immernoch die Frage nach der "perforantesten" Art eine Datenpartition für Windows einzubinden?

Beste Grüße

Thorsten

 

[Tom7320]

@sb-jw

Klingt sinnvoll! Der Server hat einen SmartArray P410 (?) RAID Controller (sitze gerade nicht davor). Ich habe es derzeit genau so gemacht wie von Dir beschrieben: Proxmox hat bei der Installtion selbst ohne mein Zutun ein 300er VD angelegt. Ich habe von Hand ein 600er VD angelegt auf dem die Daten liegen sollen. Was genau meinst Du mit "mit dem Controller Cache arbeiten"? Wäre ein Hardware RAID 10 auch denkbar bzw. sinnvoll?

 

[sb-jw]

Proxmox hat bei der Installtion selbst ohne mein Zutun ein 300er VD angelegt.

Ich glaube du vermischt hier etwas, bei einer VD handelt es sich um eine "Virtual Disk", diese wird in der Regel im Controller selbst erstellt. Das kann PVE nicht gemacht haben. Die VD ist grundsätzlich eine virtuelle Festplatte, welche das OS dann sieht. Du könntest so also z.B. auch ein RAID 1 mit 2x 300GB anlegen und dort drei VD drauf erstellen, in jeder VD könntest du dann wieder ein anderes FS verwenden oder gar mit mdadm ein SW-RAID 1 machen (könntest du, solltest du aber nicht ). Es handelt sich letztlich also nur um Festplatten die das OS sieht, der Controller sich aber um die Redundanz, Hardware etc. kümmert.

Was genau meinst Du mit "mit dem Controller Cache arbeiten"?

Normal hat jeder RAID Controller einen Cache und eine BBU (evtl. neuere Controller haben nicht flüchtigen Speicher), damit werden die Daten nicht direkt auf die Platte geschrieben sondern im Cache vorgehalten. Bei einem Stromausfall hält die Batterie den Cache bis zu 72h (zumindest beim PERC von Dell), in der Zeit sollte der Server dann wieder gestartet werden um den Cache zu flushen. Solltest du also eine defekte BBU haben und keine USV, solltest du die BBU zeitnah austauschen. Bei einer USV allerdings auch oder du musst den Server so mit der USV verbinden, dass der Server sauber herunterfährt und den Cache wegschreibt.

Wäre ein Hardware RAID 10 auch denkbar bzw. sinnvoll?

Aus Performancesicht auf jeden Fall besser, bedingt aber, dass du 4x die gleiche Plattengröße hast oder, dass du auf die 300GB der beiden 600er Platten verzichtest. Der Controller erstellt normal ein RAID auf Grundlage der kleinsten Platte im Server. Hierbei solltest du aber auch darauf achten, dass beide Platten mit 10k oder 15k RPM drehen, ich glaube das verträgt sich sonst nicht so gut - aber selbst noch nicht probiert.

 

[achim22]

Also wenn du einen HW Controller hast, würde ich ein VD für die 300er und ein VD für die 600er machen und mit dem Controller Cache arbeiten. Das bringt dir mehr Performance als ein ZFS, vor allem da du wahrscheinlich einen Controller und keinen HBA hast. Auf den VD's solltest du dann mit LVM Thin arbeiten.

Alles andere macht meiner Meinung nach bei deinem kleinen Setup keinen Sinn. Du holst dir nur unnötig mehr Layer dazwischen, ein ZFS müsstest du z.B. manuell neu anpassen, wenn eine Disk ausfällt. Bei einem HW RAID holst du die defekte Platte raus, steckst die neue rein und bist fertig - das Recovery sollte dann in der Regel von alleine anlaufen.

Meiner Meinung nach hat ein Hardware RAID keine Vorteile gegenüber ZFS.

Sollte bei ZFS eine Platte ausfallen ist diese auch schnell getauscht, ohne Probleme. Und die Performance ? Ich weiß nicht, deswegen würde ich kein Raid nehmen. Im Gegenteil, raucht der Raidcontroller ab steht man da, wenn der selbige nicht mehr zu bekommen ist.


Bei einer Praxis macht die Stündliche Sicherung schon Sinn. Und was gibt es besseres als ZFS dafür ? Nichts

Ich würde den RAM auf 32 GB erhöhen und dann ZFS nehmen! die Vorteile überwiegen klar einem RAID

 

[sb-jw]

Meiner Meinung nach hat ein Hardware RAID keine Vorteile gegenüber ZFS.

In solch einem kleinen Setup definitiv, gerade dann, wenn ein Controller und kein HBA verbaut ist. So müsste jede Platte als VD im Controller angelegt werden damit ZFS damit arbeiten kann - damit holt man sich einen zusätzlichen Layer dazwischen und kann die Platten auch nicht direkt ansprechen, da der Controller die Hoheit darüber hat. Auch hat der Cache entscheidende vorteile und wir das RAID1 sicherlich um einiges beschleunigen.

Sollte bei ZFS eine Platte ausfallen ist diese auch schnell getauscht, ohne Probleme.

https://pve.proxmox.com/wiki/ZFS:_Tips_and_Tricks#Replacing_a_failed_disk_in_the_root_pool vs "Ich tausche die Platte und bin fertig".
Also aus meiner Sicht ist da der Controller die beste und einfachste Lösung, vor allem auch die Lösung, die weniger Probleme oder Datenverlust verursachen kann. Einen Fehler beim ZFS Replace und die Daten KÖNNTEN dahin sein.

Und die Performance ? Ich weiß nicht, deswegen würde ich kein Raid nehmen.

Wie gesagt Write-Cache und Read-Ahead kann ordentlich was rausholen. Bei zwei Platten in ein HW RAID1 wahrscheinlich performanter als ein ZFS ohne Cache.

Im Gegenteil, raucht der Raidcontroller ab steht man da, wenn der selbige nicht mehr zu bekommen ist.

Mittlerweile sind die Configs auf den Platten gespeichert, der Controller oder gar Server kann einfach getauscht werden. Noch heute gibt es den PERC 6/i von DELL überall zu kaufen, der unterstützt sogar noch Windows XP, entsprechend alt ist der also. Das wird mit sicherheit bei HP nicht anders aussehen. Aus meiner Sicht daher kein Argument gegen einen HW Controller, so lange man sich nix exotischen ins System knallt.

Bei einer Praxis macht die Stündliche Sicherung schon Sinn. Und was gibt es besseres als ZFS dafür ? Nichts

Sicherlich macht eine häufige Sicherung Sinn. Aber ZFS als Snapshot aufs gleiche System bei einer Praxis? Mhh, eher nicht. Backups sollten schon offsite abgelegt werden. Desweiteren reden wir ja hier von Windows und Datenbanken, da sollte besser die Applikation die Backups machen damit die MSSQL DB noch konsistent ist, wenn man diese wieder einspielt.

die Vorteile überwiegen klar einem RAID

Dem kann ich in einem Single Node Setup mit 4 Festplatten leider nur widersprechen. Ich vermute auch, dass wir hier nicht auf einen grünen Zweig kommen werden. Aber ich bin ein freund davon so wenig Layer wie mögliche dazwischen zu nehmen, doch müsste man für ZFS noch einen dazwischen setzen ohne wirkliche Vorteile zu haben.

Ich bin kein genereller Gegner von ZFS, ganz im Gegenteil, wir bauen aktuell unseren Cluster um und nutzen ZFS für PVE im Mirroring und die restlichen Platten reichen wir per HBA direkt an CEPH durch. Aber hier muss ich auch ganz klar sagen, könnte ich die Backplane einzeln anschließen, würde ich dem ZFS auch ein HW RAID vorziehen. Einfach Platten tauschen und das RAID läuft wieder, ist deutlich entspannter als die Schritte der Anleitung zu folgen.

 

[Tom7320]

Ich glaube du vermischt hier etwas, bei einer VD handelt es sich um eine "Virtual Disk", diese wird in der Regel im Controller selbst erstellt. Das kann PVE nicht gemacht haben. Die VD ist grundsätzlich eine virtuelle Festplatte, welche das OS dann sieht. Du könntest so also z.B. auch ein RAID 1 mit 2x 300GB anlegen und dort drei VD drauf erstellen, in jeder VD könntest du dann wieder ein anderes FS verwenden oder gar mit mdadm ein SW-RAID 1 machen (könntest du, solltest du aber nicht ). Es handelt sich letztlich also nur um Festplatten die das OS sieht, der Controller sich aber um die Redundanz, Hardware etc. kümmert.

Ah, sorry, ja, mein Fehler. Da ich mich nebenbei noch versuche in LVM einzulesen habe ich es mit PEs, PVs, VGs und LVs verwechselt. Es ist mir - denke ich - bekannt was Du schreibst. Genau so habe ich den Controller ja selbst konfiguriert: 2 HDDs jeweils als RAID 1 zusammengefasst.

Normal hat jeder RAID Controller einen Cache und eine BBU (evtl. neuere Controller haben nicht flüchtigen Speicher), damit werden die Daten nicht direkt auf die Platte geschrieben sondern im Cache vorgehalten. Bei einem Stromausfall hält die Batterie den Cache bis zu 72h (zumindest beim PERC von Dell), in der Zeit sollte der Server dann wieder gestartet werden um den Cache zu flushen. Solltest du also eine defekte BBU haben und keine USV, solltest du die BBU zeitnah austauschen. Bei einer USV allerdings auch oder du musst den Server so mit der USV verbinden, dass der Server sauber herunterfährt und den Cache wegschreibt.

Ja auch das habe ich so gelesen. Ich habe eine USV an unserem Server. Ob PVE mit dieser kommunizieren kann und den Server bei Stromausfall sicher runterfährt weiß ich noch nicht, ist aber auch nicht Gegenstand dieses Threads...

Aus Performancesicht auf jeden Fall besser, bedingt aber, dass du 4x die gleiche Plattengröße hast oder, dass du auf die 300GB der beiden 600er Platten verzichtest. Der Controller erstellt normal ein RAID auf Grundlage der kleinsten Platte im Server. Hierbei solltest du aber auch darauf achten, dass beide Platten mit 10k oder 15k RPM drehen, ich glaube das verträgt sich sonst nicht so gut - aber selbst noch nicht probiert.

Ah, ok, das hatte ich nicht bedacht. Naja dann ist doch meine Konfiguration mit 2 Hardware-RAID 1 mit 300 GB und 600 GB gar nicht sooooo verkehrt. Das freut mich jetzt!

MFG (musste jetzt sein bei so vielen Abk..... )

 

[Tom7320]

Meiner Meinung nach hat ein Hardware RAID keine Vorteile gegenüber ZFS.

Sollte bei ZFS eine Platte ausfallen ist diese auch schnell getauscht, ohne Probleme. Und die Performance ? Ich weiß nicht, deswegen würde ich kein Raid nehmen. Im Gegenteil, raucht der Raidcontroller ab steht man da, wenn der selbige nicht mehr zu bekommen ist.


Bei einer Praxis macht die Stündliche Sicherung schon Sinn. Und was gibt es besseres als ZFS dafür ? Nichts

Ich würde den RAM auf 32 GB erhöhen und dann ZFS nehmen! die Vorteile überwiegen klar einem RAID

Hm. Ich habe etwas ZFS Erfahrung mit FreeNAS. Von der Genialität und den Möglichkeiten dieses Dateisystems (darf man so etwas komplexes Überhaupt noch als Dateisystem bezeichnen?) war ich immer sehr beeindruckt! Wie verhält es sich mit der Performance? Ich meine Hardware RAID/LVM/EXT4 vs. ZFS?

Zusätzliche 16 GB für den Server kosten schon ganz schön Geld. Es würde mir gerade schon schwer fallen noch einmal ordentlich Geld in die Hand zu nehmen für den Server....

 

[Tom7320]

PS: Spannend Eure Diskussion bzgl. ZFS vs. Hardware-RAID! Ich neige dazu erstmal beim Hardware-RAID zu bleiben und mit ZFS erstmal privat (und nicht in der Praxis) rumzuspielen. Ich wollte hier keine "ideologischen Grabenkämpfe" lostreten....

 

[achim22]

PS: Spannend Eure Diskussion bzgl. ZFS vs. Hardware-RAID! Ich neige dazu erstmal beim Hardware-RAID zu bleiben und mit ZFS erstmal privat (und nicht in der Praxis) rumzuspielen. Ich wollte hier keine "ideologischen Grabenkämpfe" lostreten....

Das ist auch nicht passiert. Es sind ja nur verschiedene Ansichtsweisen.

Nutze erst einmal Dein RAID ohne ZFS für das produktives System wie von sb-jw vorgeschlagen. Wenn Du Dir dann in ein paar Jahren mal einen neuen Server holst, vorher abwägen was man braucht und was nicht

Wie willst Du die Backups fahren ?

 

[Tom7320]

Naja als Versuch meiner Ehrenrettung muss ich sagen, dass die ganze Geschichte mit der Virtualisierung eigentlich gar nicht geplant war. Sonst hätte ich gleich SSDs eingebaut für die VMs. Die Notwendigkeit hat sich erst dadurch ergeben, dass wir einen zweiten Server brauchten und diesen aber auf der selben Hardware konsolidieren wollten. Der nächste Server bekommt SSDs für die VMs und vieeeeeeel RAM für ZFS....

Zum Thema Backups: bisher (mit dem alten Server) habe ich sehr simpel täglich per Drive Snapshot Images von allen Partitionen gemacht und off site aufbewahrt. Wie ich das mit den virtualisierten Servern mache weiß ich noch nicht so recht um ganz ehrlich zu sein. Was ist "good practice"? Täglich Snapshot auf z.B. ein separates NAS sichern?

 

[achim22]

Zum Thema Backups: bisher (mit dem alten Server) habe ich sehr simpel täglich per Drive Snapshot Images von allen Partitionen gemacht und off site aufbewahrt. Wie ich das mit den virtualisierten Servern mache weiß ich noch nicht so recht um ganz ehrlich zu sein. Was ist "good practice"? Täglich Snapshot auf z.B. ein separates NAS sichern?

Snapshot kannst Du nur mit ZFS machen. Einfach ein Backup per GUI erstellen und gut ist, wenn Dir eine tägliche Datensicherung der VM reicht.

Ich bevorzuge immer die 3-2-1 Backup Regel!

In Deinem Fall würde ich ein USB Platte anhängen, mounten und dort täglich eine Datensicherung drauf spielen. Das gleiche dann noch auf einem NAS und in eine Cloud wegen <Brand, Diebstahl usw.>

Wenn Du eine Aversion gegen Cloudspeicher hast, dann mit einem zweites NAS zu Hause arbeiten Alles schick über die DSL Leitung schieben. Außer Du wohnst auf dem Land und hast nur IDSN

 

[Tom7320]

Schau ich mir an sobald die Basics laufen. Stehe etwas unter Druck weil der Server (endlich) produktiv arbeiten soll. Ich wohne brutal auf dem Land aber sowohl die Praxis als auch zu Hause gibt es immerhin VDSL 50/10. Naja ich hab ja Zeit.....

 

[achim22]

okay dann mal alles gute

 

[sb-jw]

Bei Backups kann ich dir nur empfehlen einen Speicher zu verwenden, der von z.B. Crypto Trojanern nicht angreifbar ist. Wenn du dich also für eine externe Festplatte entscheidest, solltest du bestenfalls zwei Stück im wechsel haben und immer nach Gebrauch abziehen. Ja, das mag umständlich erscheinen, aber wenn der Crypto Trojaner dir erst mal sämtliche angebunden Netzwerkshares (sei es SMB in Windows oder NFS unter Linux) verschlüsselt hat, dann ists zu spät

Gerade bei, ich vermute Patientendaten, kann das ziemlich relevant sein. Da ist aber vermutlich auch das Thema Cloud raus bei entsprechenden Gesundheitsdaten - abhängig davon, was dort abgelegt wird. Also bei den Backups auch immer die rechtliche Komponente im Auge behalten.

p.s. warum zwei Festplatten im Wechsel? Sollte es doch mal passieren, dass der Crypto Trojaner bereits drauf ist, kann er nur die Backups von dem einen Tag verschlüsseln, so hast du immer noch ein Backup, wenn es auch bereits etwas älter ist.

 

[LnxBil]

Zusätzliche 16 GB für den Server kosten schon ganz schön Geld. Es würde mir gerade schon schwer fallen noch einmal ordentlich Geld in die Hand zu nehmen für den Server....

Ähh... beim DL360 Gen9 kosten 16 GB weniger als 300 Euro und RAM kann man nie genug haben. NIE - auch wenn angeblich 640 KB reichen :-D

Ne mal im Ernst: Die Hardware ist top. Anständige Serverhardware, die hat auch einiges an Geld gekostet.

Wo steht die in der Praxis? Ist ja nicht typisch für "kleinere" Läden. Die verbauen meistens Towergehäuse.

 

[Tom7320]

Wir haben uns für einen Rackserver entschieden. Im Rack stecken auch TK Anlage, PoE Switch usw. Die Kiste hat 32 GB RAM - ich hatte mich oben verschrieben. Es sollen ca. 8 Arbeitsplätze per Terminalserver laufen. Mal sehen wie gut das laufen wird.....

Zum Thema Backup: Ich sehe das wie ihr. Ich stelle mir vor per cron ein Laufwerk zu mounten, Backup machen, wieder umounten. Off site geht schon, muss dann aber natürlich verschlüsselt laufen. Die Detail muss ich aber noch mit unserem Justiziar und DSGVO Beauftragten besprechen.

Es dauert halt alles ein wenig, da ich selbst eher "technisch interessierter Laie" bin und mich in vieles erst einlesen muss....

 

[achim22]

View attachment 9161

Wir haben uns für einen Rackserver entschieden. Im Rack stecken auch TK Anlage, PoE Switch usw. Die Kiste hat 32 GB RAM - ich hatte mich oben verschrieben. Es sollen ca. 8 Arbeitsplätze per Terminalserver laufen. Mal sehen wie gut das laufen wird.....

Zum Thema Backup: Ich sehe das wie ihr. Ich stelle mir vor per cron ein Laufwerk zu mounten, Backup machen, wieder umounten. Off site geht schon, muss dann aber natürlich verschlüsselt laufen. Die Detail muss ich aber noch mit unserem Justiziar und DSGVO Beauftragten besprechen.

Es dauert halt alles ein wenig, da ich selbst eher "technisch interessierter Laie" bin und mich in vieles erst einlesen muss....

Bei nur 8 Clients wird alle rennen. Ich habe weit aus mehrere Clients bei weniger Leistung am Server hängen die Problemlos laufen.

Sicher den Server richtig ab, AppLocker, dann passt das schon. Ich nutze zum Überwachen auch noch Zabbix, da merkst Du im Vorfeld wenn etwas nicht stimmt bevor es soweit ist