Was ist der beste Weg der Installation?

[ChrisBaum]

So,

nachdem ich erst arbeitstechnisch und dann krankheitstechnisch aus dem Thema Proxmox
Neuinstallation raus war, fange ich jetzt nochmal von Scratch auf an. Habe gestern den ganzen
Tag rumgespielt und probiert und dabei sind Fragen zum Grundsetup aufgekommen. Ich habe mich
schon stundenlang mit ChatGPT und Grok herumgeschlagen, aber die erzählen sehr oft auch
Mist, bzw. nach 10 Minuten genau das Gegenteil, von dem was sie vorher schrieben.

Probiert hatte ich (Habe intern 4x Bays für 3,5" und einen internen Sata):

Setup 1: (Standard Installation)
Proxmox auf eine interne 512GB SATA SSD darauf Proxmox OS und die Standard Data LVM Thin für die VMs/LXCs , 4x Datenplatten (etx4) in den Bays.
(Schnell. Standard, aber keine physikalische Trennung von OS und VMs / LXCs)

Setup 2:
Proxmox OS auf einem 256GB USB 3 Stick an USB 3.0 Port (maxvz=0), die VMs / LXCs auf der internen SATA SSD und dann 4x Datenplatten in den Bays.
(Etwas langsamer, im internen USB 2.0 Port sehr langsam, Stick wird warm und ist nicht wirklich geeignet, da kein SSD Controller vorhanden --> irgendwann Schreibtod)

Setup 3:
Proxmox auf einer externen USB M2 SSD an USB 3 (maxvz=0), VMs / LXCs auf der internen SATA SSD, 4x Datenplatten in den Bays.
(Schnell, eigentlich beste Lösung, da Proxmox OS auf SSD und VMs / LXCs getrennt auf eigener interner SSD)
Bin noch am überlegen, ob da vielleicht ein interner PCIe auf M2 Adapter mehr Sinn macht.

Jetzt die Frage an die Experten, welches Setup macht am meisten Sinn?

Ich habe gestern auch rumprobiert, ob man die VMs bei einer Neuinstallation wieder eingebunden bekommt, auch wenn man die configs,
die ja auf der Proxmox OS Partition liegen, nicht hat. Das klappt mit ein wenig Gefummel ganz gut.

Macht es Sinn, VMs / LXCs und Proxmox OS physikalisch zu trennen oder ist das sinnlos. Ich will meinen alten Server später als PBS
installieren, der sichert ja dann eh VMs / LXCs samt den configs weg.

Fragen über Fragen....

 

[ThoSo]

Von den aufgezählten Setups würde ich das setup1 nehmen.
Je nach vorhaben, kannst auf den Datenplatten ja ebenfalls vms oder lxc laufen lassen. Das hängt halt auch von geplanten Einsatzzweck ab, und der ist hier nicht ersichtlich.
Für sata bzw nvme SSDs kannst auch noch, so verfügbar, über einen Adapter am PCIE slot arbeiten.
Usb sticks sind ungeeignet für Proxmox als OS Datenträger.

 

[ChrisBaum]

Danke @ThoSo, ganz vergessen, das soll ein Homeserver mit OMV, HA, MQTT, etc. werden. Die Datenplatten sind ext4
und sollen auch ausschliesslich Datenplatten bleiben, keine VMs oder sonstiges von Proxmox darauf. Ich glaub ich bestelle
mir mal einen PCIe --> M2 Adapter, die gibt es in Zweifach M2, da könnte man eine M2 für Proxmox OS und die andere
für VMs / LXCs hernehmen, wäre die eleganteste Lösung denke ich.

 

[micneu]

@ChrisBaum kannst du mehr zu deiner eingesetzten Server Hardware schreiben?
Ich persönlich habe in meinem proxmox nur noch SSDs, und so Lösungen mit USB halte ich nichts von, dann doch lieber richtig SATA. Sollte deine Hardware nicht ausreichend NVME oder SATA. Habe sehe ich persönlich deine Hardware als ungeeignet.

PS: Bitte mehr Informationen was du genau an VMs laufen lassen willst

 

[ChrisBaum]

@micneu : Wie oben geschrieben: VMs: OMV, HA, NC, eventuell später noch weitere, LXCs: MQTT, 433MhztoMQTT, später auch andere.
Die Hardware ist ein Gen10 Microserver von HP (Opteron X3421). Der hat 1x Sata, 4x Bays für 3,5", 4x USB 3 extern, 2x USB 2 extern und 1x USB 2 intern.
Neues Problem: Vom PCIe --> M2 Adapter kann man eventuell nicht booten, den 2 Slot M2 (für 2x M2 SSD) den ich wollte geht anscheinend
gar nicht, da HP im BIOS die Bifurcation Option entfernt hat. Ich mache das anscheinend wieder zu komplex.


Edit: ich habe jetzt mal einen Einslot Adapter bestellt und teste mal.

 

[bluesite]

bei den PCIe --> M2 Adapter, die gibt es in Zweifach M2
sollte man aber aufpassen da ist es oft so das der eine Slot nvme kann und der andere nur sata vom Protokoll her

 

[ChrisBaum]

@bluesite Da habe ich schon aufgepasst, der den ich wollte hat 2x M Key. Egal, ich habe jetzt mal einen einfachen bestellt
zum Testen, kann man ja immer noch anders verwenden, falls das nicht klappt.

 

[ThoSo]

Neues Problem: Vom PCIe --> M2 Adapter kann man eventuell nicht booten, den 2 Slot M2 (für 2x M2 SSD) den ich wollte geht anscheinend
gar nicht, da HP im BIOS die Bifurcation Option entfernt hat. Ich mache das anscheinend wieder zu komplex.

Du kannst doch deinen internen SATA-Port mit einer (enterprise)-SSD für das OS verwenden und diese dann brach liegen lassen - bzw. hier Backups oder ISOs sichern.
Auf den Adapter steckst 2x SSD/NVMe (kannst ja spiegeln) und fährst darauf deine VMs / Container.
Die HDD sind dann dein Datengrab (Raid).

 

[ChrisBaum]

Ich warte mal auf morgen wenn der Adapter da ist, dann berichte ich weiter.

 

[bluesite]

ich hab bei mir auch 2 mal so PCIe auf M2 Adapter drin da mein Mainboard nur 2 mal M2 onboard hat und ich 4 mal 1 TB (PM9A3) im Raid 10 laufen habe

Was ich auch noch als Alternative gedacht habe wäre sowas hier Quad m.2 nvme ssd pcie x16 adapter

 

[mr44er]

(Etwas langsamer, im internen USB 2.0 Port sehr langsam, Stick wird warm und ist nicht wirklich geeignet, da kein SSD Controller vorhanden --> irgendwann Schreibtod)

Vorweg, ein USB3-Stick an einem USB2-Port rennt trotzdem immer besser als ein USB2-Stick (egal wo gesteckt). Du könntest einen billigen USB-Hub mit vier billigen USB-Sticks (alle unterschiedliche Hersteller, damit die dir nicht gleichzeitig bei Tod aussteigen) intern anbringen und dann einen vierfach-mirror mit ZFS bauen. Das ist zwar immer noch keine gute Lösung, aber nicht maximal schäbig. Ließe sich optimieren, wenn alles USB3 spricht, damit du beim resilver irgendwann nicht durchdrehst aus Bandbreitenmangel. Also Hub, die Sticks und das Abomination-Gebilde dann innen irgendwie häßlich drangetaped, damit du das Kabel rausführen kannst an einen USB3-Port.

Besser als ein einzelner Stick ist das allemal, aber empfehlen würde ich es nicht. USB ist nie eine gute Lösung für einen daueraktiven Datenspeicher.

 

[micneu]

Also deine Verbaute CPU ist ca. 8 Jahre alt, meinst du nicht das man die Hardware langsam austauschen sollte. Schau doch mal nach was Aktuellem was genau deine Bedürfnisse abdeckt, wo du ohne Komische Klimmzüge deinen Bedarf abdecken kannst.