Server Umzug jetzt mit SSD ?

achim22

Renowned Member
May 21, 2015
419
5
83
59
Dortmund
Hallo zusammen,
ich habe einen Dedicated SP-64 Server - Xeon E3-1270v6 - 64GB mit Proxmox im Rechenzentrum von OVH am laufen.

Jetzt wollte jetzt auch mal so langsam auf SSDs umsteigen, damit auch manche KVM mit Windows schneller laufen.

Meine Frage ist, gehe ich da richtig vor ?

Auf einer HDD würde ich Proxmox installieren und die KVMs dann auf SSDs.
Es handelt sich hierbei um ca 4 KVMs die mit Windows Server 2016 laufen.
Die Auslastung ist sehr gering und eine KVM ist ca 400-500 GB groß.

Sollte ich dann lieber pro KVM eine SSD nehmen oder kann auf eine SSD mehrere KVMs packen bzw.
gibt es eine bessere Lösung ?

Schöne Grüße

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 100G 0 loop
loop1 7:1 0 500G 0 loop
sda 8:0 0 3,7T 0 disk
├─sda1 8:1 0 511M 0 part
├─sda2 8:2 0 6,5G 0 part
│ └─md2 9:2 0 19,5G 0 raid0 /
├─sda3 8:3 0 1023M 0 part [SWAP]
└─sda4 8:4 0 3,6T 0 part
└─pve-data 253:0 0 10,9T 0 lvm /var/lib/vz
sdb 8:16 0 3,7T 0 disk
├─sdb1 8:17 0 511M 0 part
├─sdb2 8:18 0 6,5G 0 part
│ └─md2 9:2 0 19,5G 0 raid0 /
├─sdb3 8:19 0 1023M 0 part [SWAP]
└─sdb4 8:20 0 3,6T 0 part
└─pve-data 253:0 0 10,9T 0 lvm /var/lib/vz
sdc 8:32 0 3,7T 0 disk
├─sdc1 8:33 0 511M 0 part
├─sdc2 8:34 0 6,5G 0 part
│ └─md2 9:2 0 19,5G 0 raid0 /
├─sdc3 8:35 0 1023M 0 part [SWAP]
└─sdc4 8:36 0 3,6T 0 part
└─pve-data 253:0 0 10,9T 0 lvm /var/lib/vz


pve-manager/5.1-46/ae8241d4 (running kernel: 4.13.13-2-pve)
 

Attachments

  • cpu.png
    cpu.png
    9.6 KB · Views: 13
  • prox.png
    prox.png
    36.4 KB · Views: 12
  • prox_2.png
    prox_2.png
    29.6 KB · Views: 12
Sehe ich das richtig, dass du hier RAID0 fährst? Nachher bestimmt nicht mehr, oder?

Problematisch ist denk ich, wieviele SSDs zu verwenden willst, da die Server ja oft durch die mögliche maximale Anzahl von Laufwerkseinschüben limitiert sind. Was ist hier deine maximale Anzahl? Daran würde ich festmachen welche und wieviel Laufwerke zu verwendest.
 
Ja noch RAID0 da durch das parallel zugreifen auf alle Festplatten eine hohe Schreib-Lese-Geschwindigkeit erzielt wird.
Klar ist natürlich auch, fällt eine aus haben ich ein Problem ;)

Ach so die Einschübe ...mhh.... Stimmt!

Dann doch lieber ein RAID 10 ohne SSD ? Müsste doch auch gut etwas bringen durch den simultan zugegriffen, oder ?

Wenn das okay ist zu fragen, wie würdest Du es machen ?

Gruß
 
Wenn das okay ist zu fragen, wie würdest Du es machen ?

Das hängt ganz alleine von den Einschüben und den externen Bedingungen ab. Wenn ich z.B. nur 4 Einschübe hätte, dann würde ich (Budget natürlich vorausgesetzt) 4 SSDs einbauen und ein ZFS drauf machen (wenn kein RAID-Controller eingebaut ist oder werden soll - sonst den Hardware-RAID-Controller nehmen). Wenn großer Speicher wichtiger wäre ein RAID z1 (RAID-5 Äquivalent) oder wenn Geschwindigkeit wichtiger wäre dann zwei ZFS vdevs mit je einem Spiegel in einen Pool (also RAID10). Bei SSDs ist eigentlich RAID z1/RAID-5 ausreichend, da die SSDs ja meistens schnell genug sind. Angenommen ich hab 6 Einschübe, dann könnte man wenn die Geschwindigkeitsanforderungen nicht so hoch sind auch Festplatten im RAID 10 verwenden um die Geschwindigkeit von 3 Platten zu haben - so wie du jetzt - nur halt mit Redundanz.

Auch weiß ich nicht, was die bei OVH da an Hardware verbauen. Ich setze normalerweise auf namhafte Hersteller im Komplettpaket mit Service, d.h. Dell, HP, Fujitsu, IBM und entsprechenden Enterprise-Laufwerken (z.B. 10k/15k SAS Festplatten, oder eher gleich Enterprise SSDs, die mittlerweile sogar schon günstiger als 15k sein können). Generell würde ich ZFS nehmen, wenn ich durch Komprimierung noch etwas Platz sparen möchte und somit kleinere Laufwerke verbauen kann.

Ist also echt nicht sooooo einfach, da es viele Schrauben gibt, nach denen man optimieren kann. Im Endeffekt bleibt es meiner Erfahrung eigentlich immer am Preis hängen - Konfigurieren kann man immer viel, aber irgend wer muss das nachher ja auch noch bezahlen. Bei Hosting oder Housing-Angeboten ist es ja auch oft so, dass es eine "Angebot von der Stange" gibt, die recht günstig ist, aber wenn man spezielle Hardware verbauen will kostet die extra (im Monat) exklusive einer "erweiterten oder individuellen Servicegebühr" für das spezielle Zusammensteller des Angebots, zumindest ist das bei Hetzner so. Auch sollte man beachten, wie groß der entstehende Schaden wäre, wenn das System mal 24h steht. Bei jedem Setup sollte man sich auch überlegen, wie schnell man ein Backup wieder einspielen kann, dass alles wieder läuft. Man sollte hier sämtliche Fehlerszenarien inkl. Eintrittswahrscheinlichkeit durchgehen, denn die sind mittlerweile ja auch aufgrund der DSGVO immer zu beziffern, zumindest wenn man Daten im Auftrag verarbeitet.

Generell würde ich auch mal noch die Diese Fragen in den Raum stellen:
Ich würde bei der Konstellation des "Windows Server Virtualisierens" auch immer auf die Lizenzen achten und einen Fachmann zu Rate ziehen, da u.U. eine Datacenter Lizenz von Windows Server mit "unlimited Guests" billiger als PVE und 4 Einzellizenzen Windows Server sein kann. Je nach dem wer nachher die Windows-Maschinen administriert könnte derjenige sich auch um z.B. Hyper-V kümmern und dann hätte man alles darüber abgefrühstückt. Klar ist PVE toll und so, aber wenn die TCO für ein Komplett-Windows-System billiger ist sollte man sich überlegen ob das nicht eher was für einen wäre - man sollte es zumindest mal durchrechnen.
 
Danke für Deine Ausführliche Info;)
Ich werde dann mal das System mit 4 SSD nehmen und ein RAID z1 aufbauen.
Mit ZFS habe ich bis her noch keine Erfahrungen gehabt aber irgendwann ist immer das erste mal.

So wie Du schon schriebst kann man viel machen was natürlich auch das Buget springe kann. Also alles in Grenzen.

Ein Datacenter ist für mich nichts. Ich finde Proxmox ist so easy wenn an einiges versteht ....grins.... man lernt halt nie aus !

Schönes WE und Grüße aus Norwegen!
 
Hatte jetzt wieder Zeit mit dem Projekt weiter zu machen und auch einiges über ZFS gelernt.

Die VMs habe ich von dem produktivem System auf das Testsystem kopiert, dann mit CrystalDiskMark6 ein Test durchlaufen lassen der langsamer ausfiel als auf dem produktivem System.

Es ist trotz dessen okay, da es mir hauptsächlich auf die Vorteile von ZFS ankommt was die Snapshots bzw. Backups angeht!

Gibt es noch etwas zu beachten, was ich jetzt machen sollte ? Es ist immer so ein komisches Gefühl im Bauch später an einem produktivem System Veränderungen durch zu führen!


Die Konfiguration von dem Testsystem sieht folgendermaßen aus.

Hardware Raid 1 mit 2 SSD a 250 GB, darauf läuft Proxmox.
4 Hdds mit jeweils 5,46 TB
Intel Xeon E5 2630v4 (10 x 2,20 GHz)
256 GB REG ECC RAM

RAIDZ mit 3 Platten a 5,46 TB für die VMs
Dann noch eine 5,46 TB Platte als Backup für die VMs.



Eine Umstellung von Virtio auf SCSI brachte auch kein Schub, im Gegenteil.

CrystalDiskMark6 auf dem Testsystem

mit SCSI
https://www.directupload.net/file/d/5317/plfvgzx4_png.htm

mit Virtio
https://www.directupload.net/file/d/5317/qa7zry6x_png.htm



CrystalDiskMark6 auf dem produktivem System



https://www.directupload.net/file/d/5317/v465kajy_png.htm




Hier die Conf von dem Testsystem:

root@pve:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 1 232.7G 0 disk
├─sda1 8:1 1 1007K 0 part
├─sda2 8:2 1 512M 0 part
└─sda3 8:3 1 232.2G 0 part
├─pve-swap 253:0 0 8G 0 lvm [SWAP]
├─pve-root 253:1 0 58G 0 lvm /
├─pve-data_tmeta 253:2 0 1.5G 0 lvm
│ └─pve-data 253:4 0 147.2G 0 lvm
└─pve-data_tdata 253:3 0 147.2G 0 lvm
└─pve-data 253:4 0 147.2G 0 lvm
sdb 8:16 0 5.5T 0 disk
├─sdb1 8:17 0 5.5T 0 part
└─sdb9 8:25 0 8M 0 part
sdc 8:32 0 5.5T 0 disk
├─sdc1 8:33 0 5.5T 0 part
└─sdc9 8:41 0 8M 0 part
sdd 8:48 0 5.5T 0 disk
├─sdd1 8:49 0 5.5T 0 part
└─sdd9 8:57 0 8M 0 part
sde 8:64 0 5.5T 0 disk
├─sde1 8:65 0 5.5T 0 part
└─sde9 8:73 0 8M 0 part
zd0 230:0 0 50G 0 disk
└─zd0p1 230:1 0 50G 0 part
zd16 230:16 0 100G 0 disk
└─zd16p1 230:17 0 100G 0 part
zd32 230:32 0 200G 0 disk
└─zd32p1 230:33 0 200G 0 part
zd48 230:48 0 32G 0 disk
├─zd48p1 230:49 0 512K 0 part
├─zd48p2 230:50 0 30G 0 part
└─zd48p3 230:51 0 1.6G 0 part
zd64 230:64 0 150G 0 disk
└─zd64p1 230:65 0 150G 0 part
zd80 230:80 0 100G 0 disk
├─zd80p1 230:81 0 500M 0 part
└─zd80p2 230:82 0 99.5G 0 part
zd96 230:96 0 32G 0 disk
├─zd96p1 230:97 0 512K 0 part
├─zd96p2 230:98 0 30G 0 part
└─zd96p3 230:99 0 1.6G 0 part
zd112 230:112 0 300G 0 disk
├─zd112p1 230:113 0 500M 0 part
└─zd112p2 230:114 0 299.5G 0 part
zd128 230:128 0 32G 0 disk
zd144 230:144 0 32G 0 disk
root@pve:~#

proxmox-ve: 5.3-1 (running kernel: 4.15.18-9-pve)
pve-manager: 5.3-5 (running version: 5.3-5/97ae681d)
pve-kernel-4.15: 5.2-12
pve-kernel-4.15.18-9-pve: 4.15.18-30
corosync: 2.4.4-pve1
criu: 2.11.1-1~bpo90
glusterfs-client: 3.8.8-1
ksm-control-daemon: 1.2-2
libjs-extjs: 6.0.1-2
libpve-access-control: 5.1-3
libpve-apiclient-perl: 2.0-5
libpve-common-perl: 5.0-43
libpve-guest-common-perl: 2.0-18
libpve-http-server-perl: 2.0-11
libpve-storage-perl: 5.0-33
libqb0: 1.0.3-1~bpo9
lvm2: 2.02.168-pve6
lxc-pve: 3.0.2+pve1-5
lxcfs: 3.0.2-2
novnc-pve: 1.0.0-2
proxmox-widget-toolkit: 1.0-22
pve-cluster: 5.0-31
pve-container: 2.0-31
pve-docs: 5.3-1
pve-edk2-firmware: 1.20181023-1
pve-firewall: 3.0-16
pve-firmware: 2.0-6
pve-ha-manager: 2.0-5
pve-i18n: 1.0-9
pve-libspice-server1: 0.14.1-1
pve-qemu-kvm: 2.12.1-1
pve-xtermjs: 1.0-5
qemu-server: 5.0-43
smartmontools: 6.5+svn4324-1
spiceterm: 3.0-5
vncterm: 1.5-3
zfsutils-linux: 0.7.12-pve1~bpo1
root@pve:~#



root@pve:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
ZFS-Backup 336K 5.27T 96K /ZFS-Backup
ZFS-Daten 1.04T 9.44T 128K /ZFS-Daten
ZFS-Daten/vm-100-disk-0 33.0G 9.47T 74.6K -
ZFS-Daten/vm-103-disk-0 103G 9.48T 60.0G -
ZFS-Daten/vm-103-disk-1 213G 9.44T 213G -
ZFS-Daten/vm-103-disk-2 33.0G 9.47T 74.6K -
ZFS-Daten/vm-117-disk-0 33.0G 9.47T 1.35G -
ZFS-Daten/vm-205-disk-0 103G 9.53T 15.4G -
ZFS-Daten/vm-205-disk-1 309G 9.63T 120G -
ZFS-Daten/vm-205-disk-2 155G 9.52T 77.5G -
ZFS-Daten/vm-205-disk-3 51.6G 9.45T 47.2G -
ZFS-Daten/vm-334-disk-0 33.0G 9.47T 1.39G -
root@pve:~#


root@pve:~# cat /etc/pve/qemu-server/103.conf
agent: 1
boot: cdn
bootdisk: scsi0
cores: 4
ide2: local:iso/virtio-win.iso,media=cdrom,size=309208K
memory: 20000
name: Server2016
net0: virtio=7A:B1:95:CC:37:31,bridge=vmbr4
numa: 0
ostype: win10
scsi0: ZFS-Daten:vm-103-disk-0,size=100G
scsi1: ZFS-Daten:vm-103-disk-1,size=200G
scsi2: ZFS-Daten:vm-103-disk-2,size=32G
scsihw: virtio-scsi-pci
smbios1: uuid=5fe8424a-d493-4692-b35f-442197be4dfe
sockets: 1
 
okay, ich bin nicht so tief in der Materie, aber TRIM mach nur Sinn bei SSDs, oder ?

Im VM Kontext ist es sehr hilfreich, da eine gelöschte Datei in der VM mit Trimming auch wirklich auf dem Host gelöscht wird, sonst ist sie nur in der VM gelöscht, aber benötigt dennoch Platz auf dem Host und beim Backup. Entweder kann man Trimmen oder eben alles mit 0en überschreiben.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!