Grundsatz für Shared Storage

[ThoSo]

Midnight Commander startest du auf der Konsole einfach mit mc Fertig.
wenn du auf deinem Datenträger/n eine große Virtuelle Festplatte anlegst, und diese in OMV dann normal einbindest hast du keinen Vendor Lock, Smartwerte gibt es dafür nicht. Die Platte kann dann einfach von hdd1 nach hdd2 verschoben im PVE wenn Bedarf besteht, was darunterliegt ist egal - also auch kein vendor lock.
Wenn die ssd durchreichst, in OMV den Smartdienst aktivieren, die Smartmon Tools sollte OMV nachziehen.
Wirf auch mal einen Blick auf die OMV Extras, da gibt es ein Backup auf eine angeschlossene externe USB Festplatte, mounted automatisch, sichert und meldet diese wieder ab.
https://github.com/OpenMediaVault-Plugin-Developers/packages

 

[AlexanderB]

Ach du meine Güte, stimmt ja, dann hab ich das bei der OMV VM ja total falsch gemacht . Dann muss ich das nochmal neu aufsetzen, Mist.
Das Problem, warum ich das übersehen habe war, dass ich Directory, ZFS, LVM-Thin durchprobiert habe und damit nicht schlau geworden bin.
Weil ich irgendwie noch nicht gecheckt habe, wenn ich später ein NAS in die PVE einbinde und diesen Speicher zu OMV "durchreiche", was dann für eine Formatierung der internen vorübergehenden Platte sinnvoll ist.

 

[ThoSo]

Was mir gerade bei deinem oben aufgeführten Testkonzert auffällt, unabhängig davon was als VM oder LXC dann letztendlich läuft, achte darauf deine Kapazität von CPU, Speicher und Festplattenspeicher nicht zu überverteilen.
Grundsätzlich der RAM muss ausreichend Ressourcen für das PVE haben - das darf nicht mit Auslagerung (SWAP) auf die Festplatte anfangen.
Ebenso aufpassen mit dem Plattenspeicher, wenn der vollläuft ist Stillstand angesagt.

Poste uns doch gerne mal deine PVE Hardware, zwecks CheckUp.

 

[ThoSo]

Ach du meine Güte, stimmt ja, dann hab ich das bei der OMV VM ja total falsch gemacht . Dann muss ich das nochmal neu aufsetzen, Mist.
Das Problem, warum ich das übersehen habe war, dass ich Directory, ZFS, LVM-Thin durchprobiert habe und damit nicht schlau geworden bin.
Weil ich irgendwie noch nicht gecheckt habe, wenn ich später ein NAS in die PVE einbinde und diesen Speicher zu OMV "durchreiche", was dann für eine Formatierung der internen vorübergehenden Platte sinnvoll ist.

Wenn du auf Nummer sicher gehen willst, das erzeuge auf der Platte ein Dateisystem mit ext4 Format. Dann richte darauf ein Verzeichnis im PVE ein. Vorteil, du kommst von extern direkt da ran ohne Verrenkungen. Nachteil, es kann nicht alle Features eines Blockdevices oder LVM. Überverteilung geht auch nicht.


Es gibt hier auch so etwas wie ein Handbuch und Wiki ….
https://pve.proxmox.com/wiki/Main_Page

Wenn Du ausgespielt hast, dann hast auch ein Konzept für das Produktive System

 

[AlexanderB]

Danke, das werde ich machen! Ext4 Formatierung und ein Directory erstellen.

Ja ich hab gelernt, bei CPU kann man overprovisioning betreiben, aber beim Arbeitsspeicher nicht. Für den Arbeitsspeicerh gibts noch Balloning und KVM um etwas mehr zu verteilen, aber übertreiben darf man es da auf keinen Fall.
So sieht meine Hardware aus:

 

[ThoSo]

Mit 64GB dürfte genug Luft sein. Aber lass Reserve und nicht auf Balloning verlassen.
Die smartwerte der SSDS kannst in PVE selber Monitoren, das macht am meisten Sinn.
Bei der CPU aufpassen, die hat Performance und Effizienz Kerne! Das kann durchaus mal Kleppern, ggf. hier mal das Forum durchforsten bei Problemen und auch im Uefi powermangement deaktivieren, sonst geht die Kiste schlafen .

 

[TErxleben]

Weil ich irgendwie noch nicht gecheckt habe, wenn ich später ein NAS in die PVE einbinde und diesen Speicher zu OMV "durchreiche", was dann für eine Formatierung der internen vorübergehenden Platte sinnvoll ist.

Wenn du externen Speicher einem PVE effektiv zur Verfügung stellen willst, dann ist ein schnödes NAS die denkbar schlechteste Lösung. Die Stichworte lauten dann iSCSI, CephFS, RDB u.ä. mit allem dranhängendem PiPaPo. Wenn du ein NAS hast, dann nutze es auch direkt als solches. Keinesfalls als Möchtergern-SAN.

 

[ThoSo]

Weil ich irgendwie noch nicht gecheckt habe, wenn ich später ein NAS in die PVE einbinde und diesen Speicher zu OMV "durchreiche", was dann für eine Formatierung der internen vorübergehenden Platte sinnvoll ist.

Wenn ich ein externes NAS betreibe - sagen wir mal ein ASUSTOR AS6704 oder Nimbusstore (https://www.asustor.com/de/product?p_id=95) dann würde ich kein OMV auf einem PVE betreiben, und auch keine Resources in OMV-LXC oder VM reinreichen, wäre total kontraproduktiv.

Vom NAS Resourcen zum PVE rüber zu bringen - bsp als ISO, Backup Speicher OK, den Storage aber für VMs aus Performancegründen (egal ob SMB, NFS, iSCSI, etc) nicht - außer das Ding hätte "Lichtgeschwindigkeit".

Das gilt dann gleichwohl für NAS Marke Selbstbau.

Ein NAS ist für mich immer eine eigenständige Einheit.

 

[TErxleben]

Ein NAS ist für mich immer eine eigenständige Einheit.

Grundsätzlich sind wir einer Meinung. Ein NAS in einen PVE einbinden um es mit einer NAS-SW als NAS zu Verfügung zu stellen, ist schwer doppelgemoppelt.
Virtualisierte NAS-SW auf einem PVE zu betreiben um interne Kapazitäten von dort zur Verfügung zu stellen ist m.E. aber durchaus legitim und häufig angebracht. Dann ist es eben keine eigenständige Einheit mehr, aber trotzdem ein vollwertiges NAS.
Allerdings sollte man nicht damit anfangen HW irgendwie durchzureichen, sondern minimalen Leistungsverlust akzeptieren.

 

[AlexanderB]

Beim Hinzufügen des Laufwerks, wieso hab ich denn so einen Unterschied in "Verfügbar" und "Kapazität" und kann ich die Kapazität einstellen als Größe?

Und welches Format sollte man wählen?



SCSI, CephFS, RDB u.ä. wird doch erst relevant, wenn es für mich notwendig wird.
Das NAS dann vielleicht nicht als SAN, sondern eher als DAS.

Wie gesagt, aus Skalierungsgründen kann "mehr Hardware" für mich in Zukunft Sinn machen. Aber aktuell finde ich meine All In One Lösung mit der Virtualisierung sehr schön und zentral. Und damit kann ich erstmal einiges machen und lernen.

 

[ThoSo]

Wo bist du den da?
Im PVE unter Disks , die Platte formatieren mit ext4.
Dann unter Verzeichnis ein neues Verzeichnis auf der neuen Platte erstellen.

 

[AlexanderB]

Wo bist du den da?
Im PVE unter Disks , die Platte formatieren mit ext4.
Dann unter Verzeichnis ein neues Verzeichnis auf der neuen Platte erstellen.

Das ist in der Hardware der OMV VM, beim Hinzufügen eines Laufwerks.
Die Platte ist jetzt bereits ein Verzeichnis mit ext4 Formatierung.

Oder muss ich eine EFI-Disk, oder TPM-Status hinzufügen? Was ist denn das?
CloudInit-Laufwerk und Laufwerk importieren gibt´s auch noch.

Wo liegen denn da alles Unterschiede und was nimmt man da?

 

[ThoSo]

Also du benötigst keine EFI-DISK wenn die VM Hardware mit SeaBIOS arbeitet. TPM (Sicherheitschip) ist mehr für Windows.
Die Laufwerkvorgaben kannst übernehmen, anpassen musst nur den Speicherort, und die Größe.

Wenn die Festplatte bei einem Backup (über den Register Backup) nicht mit gesichert werden soll, den Haken bei "Backup" rausnehmen. Die Funktion erstellt ein Backup (ZSTD) als Datei von deiner VM.


Noch ein Tipp: Unter Rechenzentrum / Storage kannst du sehen, was auf einem Datenträger alles gespeichert wird ("INHALT") - Wenn hier bsp ISO-Image nicht angezeigt wird, dann den Speicher (bsp: local.lvm) anklicken, bearbeiten und das gewünschte nachtragen.

 

[Bu66as]

Der Unterschied Verfügbar/Kapazität ist einfach der ext4-Reserveblock, standardmäßig 5% für root, bei 3,94 TB also die fehlenden knapp 200 GB. Kannst du mit tune2fs -m 1 /dev/sdX1 auf 1% runterdrehen, dann hast du den Großteil davon wieder nutzbar.

Auf dem Screenshot fällt mir aber noch was anderes auf: die 3940 als Disk-Größe. Das Feld ist GiB, die Speicheranzeige daneben ist dezimal TB, deine 3,94 TB sind also nur rund 3670 GiB. Du machst da gerade eine virtuelle Platte, die größer ist als der verfügbare Storage. Mit qcow2 funktioniert das durch Thin Provisioning, aber wenn die vollläuft, bleibt die VM stehen. Würd an deiner Stelle kleiner anfangen, 1-2 TB reichen erstmal, vergrößern kannst du jederzeit, verkleinern nicht. Format lass auf qcow2, damit hast du Snapshots und Thin, raw ist minimal schneller.

Noch was zum Backup-Haken: wenn du den bei der Datenplatte rausnimmst, sind deine Daten in keinem PBS-Backup mehr drin, nur das OMV-System. Dann brauchst du für die Daten einen eigenen Weg, z.B. das USB-Backup-Plugin aus den omv-extras auf eine externe Platte. Sonst hast du zwar jede Nacht ein Backup, aber nicht von dem Teil, der dir wehtut.

 

[Johannes S]

TrueNAS hatt ich nach kurzer Zeit runtergeworfen. Zu kompliziert (ACL), zu schlechte Virtualisierung oder einfach zu schlecht / kompliziert umgesetzt. Eine einzige Katastrophe. So kam ich ja zu PVE.

Naja, bei TrueNAS Scale (und das alte TrueNAS auf FreeBSD Basis ist ja EOL) wird exakt die gleiche Virtualisierung (qemu/kvm des Linux-Kernels) genutzt wie bei ProxmoxVE, was also in einen funktioniert, wird es auch im anderen. Die WebUI ist halt weniger flexibel, weil der Hauptusecase eben nicht Virtualisierung, sondern zentrale Bereitstellung von Storage ist, also genau das, was der OP möchte. Bei docker-Containern kann man statt der fertigen Apps auch beliebige docker-compose-Dateien hinterlegen, damit geht also alles was auch mit docker bare-metal geht.
Und "zu kompliziert" würde ich nicht sagen, bei ProxmoxVE kann man Netzwerkfreigaben und deren Berechtigungen GAR NICHT per GUI konfigurieren. Für jemanden wie den OP, für den der Heimserver in erster Linie zum Zweck (Daten nicht in der Cloud bis auf verschlüsselte Backups ) ist, ist da dann doch ein weniger flexibles System, was aber "alles nötige" in der GUI hat, statt dass man sich das per "Helperskripte" und/oder AI zusammenbasteln muss, dann doch die bessere Wahl. Wenn es auch Geld kosten darf, würde sich natürlich auch Synology oder UnRAID anbieten, die sind ja auch (anders als TrueNAS was für Unternehmen mit angestellten ITlern entwickelt wurde) für die Verwendung und Administration durch Endanwender konzipiert.
OMV ist natürlich auch eine denkbare, freie Alternative, aber da muss man halt noch mehr selbst machen und genau das will der OP ja scheinbar vermeiden.

 

[cwt]

OMV ist schon mit die einfachste NAS-Lösung. TrueNAS ist - wie @Johannes S schon schrieb - eher für professionelle User mit entsprechendem Background und auch passender Hardware. Die Features sind eine andere Kategorie als bei OMV. Was das Thema ACLs betrifft, ist das für Endanwender ohne Kenntnisse eher kompliziert bzw. hat zuviele Stellschrauben und Stolpersteine. Und es braucht schon etwas Hardwarepunch für TrueNAS.

 

[Johannes S]

Ich behaupte aber, dass sich im die ACLs einarbeiten weniger aufwändig ist als allgemeine Systemadmin8stration, wie bei ProxmoxVE oder OMV

 

[berprinzess]

@AlexanderB: prüfe, wenn alles fertig ist ob bei größeren Kopiervorgängen auf den Share nicht alle paar Sekunden bzw. Minuten der Traffic kurzzeitig runter geht. Wenn das so ist hast du irgendwo einen Flaschenhals. Am besten auf die IO Werte achten. Damit musste ich mich am Anfang rumärgern.