Allgemeine Fragen eines Umsteigers von VMware

[m4ntic0r]

Hallo Community,
aktuell überlege ich wie ich zukünftig meinen Heimserver konfigurieren möchte. Dabei spielt die Entscheidung für den zukünftigen Hypervisor eine große Rolle.

Kurze Übersicht über aktuelle Hardware u. Virtuelle Machinen:
- i7 2600k
- 32GB DDR3 1600
- Asus V Gene Z77
- Intel 1GB Netzwerk
- 512GB SSD, 2x4TB HDD, 2x3TB HDD (alles kein Raid)
- Windows 10 clean Install mit VMware Workstation 12.5

- VM1: dc01, Server 2016, ad, dns, dhcp
- VM2: dc02, Server 2016, ad, dns
- VM3: filer, Server 2016, Fileserver, Dedup, Cloudbackup
- VM4: downloader, Server 2016, DL Machine
- VM5: exchange, Server 2016, Exchange 2016
- VM6: officeonline, Server 2016, Office Online Server 2016

- VM7: proxy, Ubuntu 16.10, nginx reverse proxy (für alle Webserver inkl. Exchange 2016)
- VM8: mysql, Ubuntu 16.10, zentraler MySQL Server
- VM9: nextcloud, Debian 8
- VM10: tinyrss, Debian 8
- VM11: lychee, Debian 8
- VM12: wordpress, Debian 8
- VM13: chevereto, Debian 8
- VM14: plexms, Debian 8
- VM15: bookstack, Debian 8
- VM16: dyndns, Debian 8

- VM17: win10_testclient, Windows 10


Wo will ich hin:
Ich will upgraden, d.h. Serverhardware wie Supermicro Board, Xeon CPU, 128-256GB Ram.
Ich will bei einem Host bleiben, kein Cluster.
Ich will Ausfallsicherheit bei den Platten, also entweder ZFS bei Proxmox? Oder HW Raid bei VMware.
Nur lokaler Storage, Raid 1 und/oder Raid 10

Fragen zu Proxmox:
1. Macht es Sinn überhaupt über Proxmox nachzudenken? Momentan sehe ich den Vorteil, nicht wie bei ESXi abhängig von einem HW-Raid Controller inkl. BBU zu sein sondern auf ZFS setzen zu können? eine APC USV ist vorhanden. Gibt es sonst Nachteile gegenüber ESXi?

2. Backups. Momentan kann ich unter VM Workstation keine online Backups machen. Das ist unter Proxmox kein Problem oder?

3. Ich habe mir ein Testproxmox installiert um einfach mal die WebUI kennenzulernen. Beim Erstellen einer VM wird man aber erst einmal mit einigen Optionen konfrontiert, wo ich erstmal gar nicht weiß was ich da nehmen müsste. Storage (IDE, SCSI, SATA, VirtIO), CPU (kvm64 o. anderes), Netzwerk (E1000, VirtIO) usw.. was liefert mir denn die beste Performance? Nachteile?

Bin hin und hergerissen zwischen Proxmox und ESXi.. bei einem ESXi hätte ich aktuell noch das wesentlich bessere Gefühl dass alles passt wenn ich an einen Controller wie den LSI 9271 denke. Ich weiß auch gar nicht ob ich meine VMs irgendwie auf Proxmox konvertiert bekomme.. da steckt einiges an Arbeit drin die ich nicht wiederholen möchte.

 

[VolkerK]

Hi!

1. Im Falle von Proxmox mit ZFS wäre Hardware-RAID nicht sinnvoll bzw. sogar kontraproduktiv.
2. ZFS würde Dir die Ausfallsicherheit geben und mit der SSD könntest Du auch das ZFS auch cachen. Dazu bitte mal Doku lesen und im Forum schauen. Das ist alles recht ausführlich dokumentiert
3. Dank USV ist das intensive Caching von ZFS auch safe. BBU macht keinen Sinn. Viel RAM macht immer Sinn. Gerade bei ZFS.
4. Der Vergleich ESXi vs. Proxmox ist nicht ganz einfach: ich denke, solange Du eine Lösung wie die skzizzierte hast, gibt es sich nicht viuel. Außer, dass ich Proxmox mit ZFS in diesem kleinen Szenario für technologisch überlegen halte und ESXi halt auch immer noch einen Management-Server erfordert, den Du nicht als VM realisieren solltest, weil sonst hast Du ein Henne-Ei Problem. VMWare spielt seine Stärken erst in sehr viel größeren Umgebungen aus - aber dann kann VMWare natürlich auch richtig Geld kosten.
5. Konvertierung vom vmdk nach Proxmox: kein Problem. Habe ich gerade wieder gemacht. Letztlich musst Du nur in Proxmox eine neue VM anlegen, die vmdk als Datei hat (im lokalen Filesystem) und die Datei in der gleichen Größe wie Dein vmdk erzeuge. Dann das vmdk rüber kopieren und eine Storage-Migration nach ZFS machen. Dann hast Du Dein VMWare-Image im ZFS.

Was mich mal interessieren würde: wie war denn die Performance von 17 (!) VMs auf einem i7 mit gerade mal 32GB RAM und ein paar Disks. Ich denke, dass das gerade IO-mäßig keinen Spaß macht. Oder?

 

[m4ntic0r]

IO waren und sind bisher kein Problem. Die Betriebssystemdateien bzw. Partitionen liegen alle auf der SSD, da sind aktuell noch 180GB frei. Und die SSD spielt sich mit den VMs, selbst wenn ich mehrere gleichzeitig neu starte oder Updates mache. Der Ram ist allerdings schon etwas knapp, ausgelastet zwischen 85 und 90%. Deswegen will ich ja auch umrüsten auf eine Xeon Plattform mit der Option auf 256GB zu gehen im Vollausbau mit 32GB Riegeln.

"ESXi halt auch immer noch einen Management-Server erfordert, den Du nicht als VM realisieren solltest, weil sonst hast Du ein Henne-Ei Problem"

Das hat doch nichts damit zu tun wenn man nur einen Host betreibt und den freien ESXi verwendet? Außerdem ist es sogar Best Practise von VMware das VCenter zu virtualisieren.

Nachdem ich mir jetzt Proxmox weiter angesehen habe glaube ich kaum noch, dass mich was von ESXi abbringen könnte.

 

[Deleted member 34654]

Was stört dich den an Proxmox? Oder ist es nur was Andersen und was der "Bauer" nicht kennt will er nicht.

Esxi ist gut und schön aber erfordert auch immer einen client und die webconsole kannst du noch in die Tonne treten.

 

[udo]

Fragen zu Proxmox:
1. Macht es Sinn überhaupt über Proxmox nachzudenken? Momentan sehe ich den Vorteil, nicht wie bei ESXi abhängig von einem HW-Raid Controller inkl. BBU zu sein sondern auf ZFS setzen zu können? eine APC USV ist vorhanden. Gibt es sonst Nachteile gegenüber ESXi?

Hi,
in meinen Augen macht es natürlich Sinn über Proxmox VE nachzudenken. In der Firma, in der bis vor einiger Zeit gearbeitet habe, haben wir den ESX-Vsphere-Cluster irgendwann entsorgt und komplett auf PVE gesetzt - und es nicht bereut.
PVE wird konsequent weiterentwickelt und nötigt einen nicht "nur zertifizierte" Hardware ab.
Zukunftsweisende Technologien wie Ceph werden schon lange unterstützt - für VMWare muss man da sich ein iscsi-Gateway frickeln...
Und der größte Vorteil ist, dass es OpenSource ist, aber das können Leute aus dem Windows-Lager häufig am Anfang nicht ausreichend würdigen

Mit PVE hast Du viel mehr Möglichkeiten - dafür wirst Du natürlich auch mehr gefragt (welcher Platten/Adapter-Typ/Caching usw.).

Udo

 

[m4ntic0r]

naja unterschiedliche Dinge.

1. Hätte ich den Hypervisor gern auf einem USB Stick, sehe das bei Proxmox kritischer als bei einem ESXi
2. Sicherung der VMs.. bei ESXi könnte ich Veeam Backup einsetzen
3. ZFS sehr RAM hungrig, hab ich persönlich auch noch keine Erfahrung damit gemacht
4. Gefühlt ist Proxmox durch seine ganzen Optionen mehr Gefrickel als ein ESXi, jeder macht es anders. Und wenn mal was nicht funktionieren würde bzw. langsam wäre würde ich auch wieder ewig suchen und rumprobieren müssen worauf ich keine Lust habe. Die Basis muss einfach stehen.
5. Passthrough, paar Mal schon gelesen dass bei Problemen wieder in irgendwelchen Configs rumgeschrieben werden muss

Ich bin ja selbst Sysadmin in einem Mittelständischen Unternehmen (500 User), ich kenne aber KEIN einziges was überhaupt mal über Proxmox nachdenken würde. Und gerade durch/mit der zertifizierten HW unter ESXi läuft er halt richtig stabil. Seh das nicht als Einschränkung.

 

[tom]

naja unterschiedliche Dinge.

1. Hätte ich den Hypervisor gern auf einem USB Stick, sehe das bei Proxmox kritischer als bei einem ESXi

Proxmox VE auf USB Stick macht keine Sinn, da vom Konzept her Proxmox VE auch viele Daten (zb. logs) auf das System schreibt. ESXi hat hier weniger Anforderungen und hat in der Grundinstallation kaum Funktionen die das Storage belasten, daher geht das auf USB. Warum ist ein USB stick gewollt? Diese sind anfällig und wenig ausdauernd, im Gegenzug ist eine kleine Enterprise SSD günstig und extrem leistungsfähig. Moderne Server Boards haben oft einen M.2 NVMe Slot, optimal für die Installation geeignet und belegt keine Platz im Case.

2. Sicherung der VMs.. bei ESXi könnte ich Veeam Backup einsetzen

Proxmox VE hat eine Full Backuplösung mit dabei, nicht ganz mit Veeam vergleichbar aber mit dabei. In Kombination mit einer File Backuplösung lässt sich hier alles nötige abbilden, bz. mit Bacula/Bareos.

3. ZFS sehr RAM hungrig, hab ich persönlich auch noch keine Erfahrung damit gemacht

ZFS ist optional, müssen sie nicht verwenden. Sowas bietet VMware nicht. RAM ist derzeit sehr billig, da sehe ich nicht wirklich ein Problem. Die Funktionen von ZFS sind jedoch konkurrenzlos, auch pve-zsync wird immer besser, kommt für 5.0 auch ins GUI.

4. Gefühlt ist Proxmox durch seine ganzen Optionen mehr Gefrickel als ein ESXi, jeder macht es anders. Und wenn mal was nicht funktionieren würde bzw. langsam wäre würde ich auch wieder ewig suchen und rumprobieren müssen worauf ich keine Lust habe. Die Basis muss einfach stehen.

Gefühle sind hier wohl fehl am Platz. Umfassende Funktionen als "Gefrickel" zu bezeichnen, kann ich nicht nachvollziehen. Die Anforderungen an Servervirtualisierung sind heutzutage vielfältig, da reicht es nie aus, nur eine Lösung für alle Anwendungszenarien zu nehmen. Wenn etwas als Gefrickel zu bezeichnen ist, dann die peinlichen Fat-Client/WebGUI Versuche von VMware der letzten Jahre (zb. die flash basierte Variante, die aktuelle VMware GUI ist wohl langsam brauchbar.)

5. Passthrough, paar Mal schon gelesen dass bei Problemen wieder in irgendwelchen Configs rumgeschrieben werden muss

PCI Passthrough ist keine stabile Funktion und experimental. Grundsätzlich ist sowas zu vermeiden, genau darum virtualisiert man ja, um die Verknüpfung zur lokalen Hardware zu kappen. Siehe auch https://pve.proxmox.com/wiki/Pci_passthrough

Die einzige sinnvolle Anwendung sind für mich hier nur GRAKAs, um in Windows zu spielen, für Storageanwendungen gibt es besseres für fast alle Szenarien.

Ich bin ja selbst Sysadmin in einem Mittelständischen Unternehmen (500 User), ich kenne aber KEIN einziges was überhaupt mal über Proxmox nachdenken würde. Und gerade durch/mit der zertifizierten HW unter ESXi läuft er halt richtig stabil. Seh das nicht als Einschränkung.

Gerade als Mittelständler sollten sie über VMware Alternativen nachdenken, offenbar machen sie ja das schon sonst würden sie hier nicht posten. Siehe auch:
https://www.proxmox.com/de/proxmox-ve/referenzen

Grundsätzlich kann jede VMware Installation zu Proxmox VE migriert werden, genau das machen Tausende mit Erfolg. Es gibt natürlich Punkte wo VMware oder Proxmox besser abschneiden, hier ein paar Punkte, wo Proxmox VE punkten kann.

• Null Lizenzkosten, 100 % freie Software
• Sehr gute Hardwareunterstützung (Linux/Ubuntu Kernel), auch zertifizierte Hardware verfügbar, zb. https://www.thomas-krenn.com/de/loesungen/virtualisierung/proxmox.html
• Container und VMs
• 100 % des Entwicklerteams in Wien, Support wird auch direkt vom Entwicklerteam geleistet, keinerlei First Level Callcenter im Nirgendwo
• Flexibles Storage: die Highlights sind ZFS bei lokalem Storage und Ceph bei HA Clustern.
• Komplettes Debian Linux darunter, mit allen damit verbundenen Funktionen und Möglichkeiten.

Statt jährlich Lizenzkosten zu zahlen, empfehle ich jedem Mittelständler dieses Geld in Mitarbeiterschulung und in gute Hardware zu stecken, das ist langfristig die bessere und auch kostengünstigere Lösung. Und ja, wenn auch für unseren Support bezahlt wird, freut uns das auch.

Proxmox VE wird oft ein paar Jahre parallel zu VMware eingesetzt und es wird Erfahrung gesammelt. Und beim nächsten VMware Hardware/Lizenz Upgrade Angebot, erfolgt dann die komplette Umstellung.

Eine Virtualisierungplatform wechselt man sehr selten - daher sollte das gut überlegt sein.

 

[LnxBil]

4. Gefühlt ist Proxmox durch seine ganzen Optionen mehr Gefrickel als ein ESXi, jeder macht es anders. Und wenn mal was nicht funktionieren würde bzw. langsam wäre würde ich auch wieder ewig suchen und rumprobieren müssen worauf ich keine Lust habe. Die Basis muss einfach stehen.

Hierzu kann ich nur sagen, dass die Standardeinstellungen, wenn man mal eine Zielplatform zum Virtualisieren gewählt hat, genau die sind, die als schnell und zuverlässig gelten (also einfach weiter klicken). VMware hat die gleichen Einstellungen, wenn man mal genauer hinschaut.

 

[fireon]

Die Funktionen von ZFS sind jedoch konkurrenzlos, auch pve-zsync wird immer besser, kommt für 5.0 auch ins GUI.

Oh mein Gott, ist wie Ostern und Weihnachten zusammen