Frage nach Best-Practice / Limitierungen bei QCOW2-Disks

[Hessenmatze]

Hallo Zusammen,

ich habe folgenden Frage an die Experten:

Wir betreiben einen HA-Cluster mit ISCSI-Storage. Dieses ist redundant über mehrere 10 Gbit NICs an die PVE-Nodes angebunden.
Die zu verarbeitenden Daten werden über einen Debian-Fileserver über Samba-Freigaben realisiert. Diese zentrale Linux-VM ist gleichfalls per ISCSI an die Storage angebunden und nutzt dort andere Volume Groups als die Nodes und gibt diese über CIFS-Freigaben an das Netzwerk frei..

Im Rahmen der Datenverarbeitung werden sehr viele kleine Dateien untersucht und in diverse Datenbanken geschrieben (Postgres und MariaDB). Die Datenverarbeitung erfolgt durch VMs (Win10-Clients), die die zu verarbeitenden Containerdaten (EWF-Dateien oder ZIP/RAR-Archive) über eine Freigabe aus Linux-VM (Samba/Debian Buster) en Verarbeitungsprogramme (Z.Bsp. Filecarver-Anwendungen) auf der Win10-VM zur Verfügung stellen.

Jetzt die Gretchenfrage:

Sollte man die Arbeitsergebnisse dieser VMs (Bspw. gecarvte Dateien, die Datenbanken, Such-Indizes etc.) nun in einer Freigabe "Arbeitsergebnisse" auf dem LinuxVM-Sambaserver speichern, oder wäre es vernünftiger diese Daten direkt in einer Qcow2-Datei abzuspeichern, die dann für die Aufbereitungs-VM (Win10) ein virtuelles Laufwerk darstellen würde.

Gibt er erwartbare Probleme, wenn diese Qcow2-Disks Größen über 2 TB erreichen sollten? Aus Datenschutzgründen ist ein Logging jedweder Dateizugriffe erforderlich. Soweit in den Freigaben demnach Qcow2-Dateien liegen, kann das Logging logischerweise nur in den Virtuellen Maschinen erfolgen.

Welcher Weg wäre sinniger im Hinblick auf zu erwartende Netzlasten.

Ich bedanke mich im Voraus ganz herzlich für etwaige Anregungen und stehe natürlich zur weiteren Erläuterung gerne zur Verfügung.

 

[floh8]

ich finde dein vortext solltest du kürzer und klarer formulieren. Weniger ist manhcmal mehr? Ich verstehe das jetzt so: du willst ergenisse entweder in eine Cifs-Freigabe oder in eine Qcow-Datei, die in einer Cifs Freigabe liegen soll, speichern?

 

[Hessenmatze]

Oh, Sorry. du hast natürlich Recht, aber auch den Nagel auf den Kopf getroffen. Exakt das wäre die Frage.

 

[floh8]

also, dies ist natürlich keine Proxmox-afine Frage, denn es geht ja um deine Anwendungsdaten. Du hast aber nichts über die Größe und Menge der einzelnen Dateien erzählt. qcow2 hat größere Limits als 2 TB. Diese würdest du aber nicht in die Cifs-FReigabe sondern in den iSCSI-Export für deine PVE-Hosts legen. Wenn du bereits in deinem CIFS-Server Access-Logging aktiv hast, dann nutze dies doch auch für die Ergebnisse. Keiner kann dir ohne deine Umgebung genau zu kennen, Hinweise geben. Du musst dies schon selber testen, ob es Geschwindigkeitsunterschiede gibt.

 

[Hessenmatze]

Vielen Dank, stimmt es hat zunächst nichts mit Proxmox zu tun. Sorry.

Also wäre es aber in jedem Fall Unsinn, die Qcow-Container in die CIFS Freigaben zu speichern, sondern allenfalls dann ein weiteres Proxmox-Storage zu verwenden und dort die virtuellen Platten reinlegen. Mir ging es natürlich auch um die Frage, ob beim Carving ggfs Ransomware aktiv wird, welches dann das ganze Netz, andernfalls ja aber nur die QCOW2 befällt.

In jedem Fall schonmal herzlichen Dank. VG Matthias

 

[Hessenmatze]

Tests werde ich nachher Mal fahren und berichten. Danke.

 

[floh8]

Wenn du Angst vor Ransomeware hast, dann solltest du einfach für jede VM einen Ausgabeordner auf dem Samba mit individuellen Berechtigungen anlegen.

 

[Hessenmatze]

Ok, das klingt logisch. Allerdings hatte ich ein bisschen Manschetten davor, den kompletten Traffic aus den Auswertungen aller Vms (vermutlich bis zu 10 parallele Auswertungen denkbar) über einen (!) Samba-Server in die jeweilige Freigabe zurückzuschreiben. Weiterhin ist mir das von Dir angedachte Rechtekonzept noch nicht wirklich eingängig, vermutlich weil ich hier das ID-Mapping zwischen unserer WIndows Server Domäne und dem Linux-Samba-Server noch nicht hundertprozentig durchblicke.

Klarstellend: Die Aufbereitungsprogramme müssen in den Windows10-VMs mit Admin-Rechten ausgeführt werden. Die CIFS-Freigabe wäre dann entsprechend der Windows-Credentials als Netzlaufwerk gemappt. Wenn jetzt also Verschlüsselungstrojaner exploriert werden, dann könnten diese auf die Linux-Freigabe schreiben.

Wie verhindere ich hier den Ausbruch auf die anderen Freigaben? Auf dem Linux-Samba-Fileserver soll auch eine AV-Software ausgeführt werden (McAfee VS Enterprise).

Meinst Du, das ist ausreichend? Oder wäre hier die QCOW-Datei der bessere (sicherere) Weg?

Danke für Deine/Eure Meinung.

 

[floh8]

Na, prinzipiell spielt es ja keine Rolle, ob nun 10 VMs oder eine VM auf den selben Storage die selbe Menge Daten schreiben. Wenn du Last veteilen willst, müßtest du andere LUNs verwenden oder einen anderen Storage einbinden. Frag doch einfach mal eure Storage Admins, die kennen eure Umgebung genau. Wenn ein Win-Programm als Admin ausgeführt wird, heißt das ja nicht, das der Zugriff auf das Share Adminrechte hat. Wenn du auf einen Share schreiben kannst, dann kann das dann auch der Virus.

Eine Frage muss ich leider mal stellen: An deinen Fragen merkt man, das du nicht IT-erfahren bist. Warum sollst gerade du so eine Aufgabenstellung bearbeiten? Das macht überhaupt keinen Sinn.

 

[Hessenmatze]

Aua, immerhin habe ich das Cluster konfiguriert, corosync implementiert, das Storage (Dell Emc) per multipath an die Cluster gebunden, aber vermutlich hast Du Recht, alles angelesen und ergoogelt. Bin tatsächlich kein gelernter It-ler

 

[Hessenmatze]

Bin gerade übrigens am testen mit einer 8 TB grossen qcow2 Datei, die ich allerdings manuell per qemu-img create unter /mnt/pve/cifs/Images/101 erstellen musste. Über die Weboberfläche bin ich in einen Timeout gelaufen, der mich bereits jetzt an der Performance der Schreibzugriffe zweifeln lässt. Ich denke tatsächlich die Lösung per Cifs Freigabe macht den meisten Sinn. Wer und was ist ein Storage-Admin. Wo kann man die anwerben? (Spaß)

 

[floh8]

dann bist noch sehr jung und hast bis jetzt wenig erfahrung. ein forum is ja nicht dazu da, grundlagen von der IT zu vermitteln, sondern hilfestellung bei ungewöhnlichen verhalten oder bugs oder benutzungshinweise zum produkt zu geben, wenn die doku mangelhaft ist, . für grundlagen gibt es bücher, blogs, dokus, schulungen etc...
z.B. wenn du mit samba arbeitest, solltest du dich mal informieren, wie samba bzw. win freigaben funktionieren

 

[Hessenmatze]

Dr. Google wird helfen. Danke lieber floh8 für Deine Mühe. Ich werde mich zukünftig auf die Bugs und die Hinweise beschränken. Wer fragt, muss mit Antworten rechnen (und leben). P.S. bin unerfahrene 52 Jahre alt. Das mit den Freigaben werde ich schon noch lernen, da bin ich recht zuversichtlich.

 

[floh8]

man kritik annehmen oder ironisch werden. ironie is allerdings ne schwäche. du schaffst das schon

 

[Hessenmatze]

Plonk. Man kann so schlecht aus seiner Haut raus. Passt schon. In diesem Sinne: aufrichtigen Dank.