Refurbished Mini PC oder China Mini-PC?

[Johannes S]

das finde ich praktisch, auch wenn es etwas CPU frisst.

Ich auch, sie haben aber das Problem potentiall angreifbar für eine sogenannte side-channel-Attacke zu sein:

KSM can optimize memory usage in virtualization environments, as multiple VMs running similar operating systems or workloads could potentially share a lot of common memory pages.
However, while KSM can reduce memory usage, it also comes with some security risks, as it can expose VMs to side-channel attacks. Research has shown that it is possible to infer information about a running VM via a second VM on the same host, by exploiting certain characteristics of KSM.
Thus, if you are using Proxmox VE to provide hosting services, you should consider disabling KSM, in order to provide your users with additional security. Furthermore, you should check your country’s regulations, as disabling KSM may be a legal requirement.

https://pve.proxmox.com/wiki/Kernel_Samepage_Merging_(KSM)

Die Frage ist natürlich wie man das bewertet, bei mir im Homelab nutze ich KSM sehr gerne, in Endeffekt habe ich da ja keine VMs, die ich nicht selbst angelegt habe und wenn erstmal ein Angreifer irgendwo reinkommt muss ich eh alles neu aufbauen.
Als Hosting-Provider würde ich das dagegen definitiv deaktivieren, ich kann ja schließlich nicht wissen, ob meine Kunden ungebetenen Besuch haben oder selbst böse Absichten. Je nach Land- und Branche kann es auch eine regulatorische oder Compilance-Anforderung sein, KSM zu deaktivieren.

Wer im Homelab das gerne schon früher starten möchte als bei 80% Auslastung, für den hat @Impact das mal beschrieben: https://gist.github.com/Impact123/3dbd7e0ddaf47c5539708a9cbcaab9e3#making-ksm-start-sooner

Es gibt übrigens noch eine Möglichkeit auf Kosten der CPU aus den Speicher etwas mehr rauszuholen:
https://pve.proxmox.com/wiki/Zram#Alternative_Setup_using_zram-tools

Dabei wird eine RAM-Disc erzeugt, die einen Teil des Arbeitsspeichers (Default 50%, kann auch problemlos der gesamte Arbeitsspeicher sein) als swap nutzt. Der Clou ist nun folgender: Dieser Teil wird komprimiert abgelegt, man braucht also (was dafür CPU-Load für die Kompression frisst) weniger Arbeitsspeicher. swap wird ja bei Linux genutzt, um Teile des Arbeitsspeichers auszulagern, die gerade nicht benötigt werden (diese Erklärung ist sehr grob und teilweise falsch, genauer wird das hier erklärt: https://chrisdown.name/2018/01/02/in-defence-of-swap.html )

 

[DennisMenger]

Hallo.
Ich habe jetzt einen Mini PC HP Elitedesk G4 günstig bekommen. 1 TB NVMe SSD und 32 GB RAM.

Jetzt habe ich Proxmox 9 mit den normalen Optionen installiert. Für local wurden automatisch lediglich 100 GB bereitgestellt, für local-lvm sind 850 GB bereitgestellt. Mir kommen die 100 GB so wenig vor. Ich habe keinen weiteren Speicher, daher die Frage, ob es sinnvoller wäre den Speicher anders zu verteilen. Habe schon gelesen, dass man bei den Option bei der Installation das anders angeben kann. Allerdings verstehe ich nicht genau was was bedeuten soll bzw. wie ich hdsize, swapsize, maxroot, maxvz und minfree bestücken soll. Siehe: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#advanced_lvm_options

Kann da jemand helfen?

 

[Ernst T.]

Mir kommen die 100 GB so wenig vor

Die 100GB sind viel zu viel. Die kannst du niemals ausnutzen. OK Templates und ISO-Dateien könntest du dort speichern (bitte keine Backups).

Ich mach immer 32GB das reicht vollkommen, Proxmox benötigt knapp 5GB ...

 

[DennisMenger]

Aber ich kann doch Backups nur auf local speichern oder nicht? Wie gesagt, keine andere Möglichkeit wie externe Festplatte oder ähnliches.

 

[beisser]

die 100G sind schon ok.
wenn du das grösser machst ärgerst du dich hinterher nur, weil du keinen platz für dei VM's hast.
backups auf der OS-Disk zu speichern ist keine gute lösung.
stirbt die os-platte, sterben deine backups.
machst du dir deinen PVE kaputt kommst du an die backups auch nicht so ohne weiteres ran.
für backups sollte es immer einen gesonderten datenträger geben, den du dann bei einer neuinstallation einfach mounten kannst und die backups wiederherstellen kannst.

das kann eine einfache usb-ssd sein, oder eine andere maschine mit einem PBS drauf, oder sogar ein Netzlaufwerk, das du von einem anderen pc einbindest um dort deine backups abzulegen.

 

[Impact]

Einfache Lösung. Nutze ZFS und beide Speicher teilen sich die Kapazität.

 

[beisser]

zfs will er warscheinlich auf einer consumer-ssd nicht nutzen, wenn sie länger leben soll

 

[6equj5]

Sind die China-Dinger so gut nutzbar für Proxmox IN Bezug auf Auslastung, Treiber und so? Hat da jemand Erfahrungen?

Ich hab PVE auf einem Minisforum N5. Läuft astrein. 80G RAM.

 

[kleinp]

Ich würde bei einem Speicherexperten nachschauen, ob man das gewünschte Mini-System nicht vielleicht sogar auf 64 GByte aufrüsten kann. Das hätte höhere Priorität als die Aussage des Geräteherstellers und die Potenz der CPU. Lieber gleich 64 GByte in zwei SO-DIMMs (und deswegen den Mini-PC leer oder nur mit einem 8er Modul oder so kaufen) als nachher ärgern.

Du kannst bei speicher.de dein Model eingeben und die max. Größe RAM wird angezeigt.
Ich hab da schon einige Riegel gekauft, auch für mein QNAP-NAS.

 

[Johannes S]

zfs will er warscheinlich auf einer consumer-ssd nicht nutzen, wenn sie länger leben soll

Naja offen gestanden halte ich den Impact von ZFS auf Consumer-SSD für *vorsichtig gesagt* overblown. Die größte Schreiblast kommt bei PVE doch durch die Metrik- (für die load/ram etc Dashbaords) und Loggingdaten sowie die sqlite-Datenbank für das pmxcfs (also die Konfigurationsdaten). Dagegen dürfte ZFS eher vernachlässigbar sein. Meine eigene Strategie damit umzugehen ist, dass ich eine gebrauchte Enterprise-SSD im SATA-Slot meiner Mini-PCs habe und eine M2-Consumer-NVME im M2-Slot. Beide zusammen sind in einen ZFS mirror und werden für Betriebssystem und die VM/Container-Daten genommen. Sollte also eines der beiden Laufwerke ausfallen (realistisch wird das die M2-SSD sein), sollte das dank ZFS mirror schnell behoben sein

 

[6equj5]

Die größte Schreiblast kommt bei PVE doch durch die Metrik- (für die load/ram etc Dashbaords) und Loggingdaten sowie die sqlite-Datenbank für das pmxcfs (also die Konfigurationsdaten).

Ich hab PVE auf meinem China-NAS auf die "interne" SSD (also da, wo das Hersteller-OS war). Das ist eine 128 GB "Airdisk". Sicher nicht das dauerhafteste Modell. Jetzt nach knapp einem Monat Betrieb hat die Disk ein Wearout von 3%. Also sagen wir mal 30 Monate bis "verbraucht". Das ist ja durchaus erträglich.

Meine Idee ist eigentlich dann, die SSD rechtzeitig vorher zu klonen auf eine neue. Damit müßte doch PVE 1:1 weiterlaufen. oder? Hat schon mal jemand so was gemacht?

 

[beisser]

Naja offen gestanden halte ich den Impact von ZFS auf Consumer-SSD für *vorsichtig gesagt* overblown. Die größte Schreiblast kommt bei PVE doch durch die Metrik- (für die load/ram etc Dashbaords) und Loggingdaten sowie die sqlite-Datenbank für das pmxcfs (also die Konfigurationsdaten). Dagegen dürfte ZFS eher vernachlässigbar sein. Meine eigene Strategie damit umzugehen ist, dass ich eine gebrauchte Enterprise-SSD im SATA-Slot meiner Mini-PCs habe und eine M2-Consumer-NVME im M2-Slot. Beide zusammen sind in einen ZFS mirror und werden für Betriebssystem und die VM/Container-Daten genommen. Sollte also eines der beiden Laufwerke ausfallen (realistisch wird das die M2-SSD sein), sollte das dank ZFS mirror schnell behoben sein

das problem bei ZFS ist die write amplification, die durchaus schon mal den faktor 20-30 (auch faktor 100 ist schon gesehen worden) erreichen kann.
plus die unmöglichkeit bei consumer drives, sync writes zu cachen und neu zu ordnen um den stress für den flash zu minimieren.
das frisst schlicht die TBW auf.
wir haben mehr als genug posts hier im forum wo man sieht, dass consumer drives innerhalb von monaten ihre ganze schreibleistung auffressen, während enterprise-drives nur müde lächeln.

klar kann man zfs noch etwas optimieren (z.b. ashift) oder so kaputtkonfigurieren, dass die write amplification fast nicht mehr existiert (async mode erzwingen), aber dann zerstört man auch einiges was zfs gut macht.

aber jeder soll es so machen, wie er es für richtig hält.
ich halte es für richtig nicht einmal im jahr ssds austauschen zu müssen.

performance in verbindung mit zfs ist ein anderes thema.
hier performen die consumer disks schlicht grausam.



natürlich hängt das immer von der workload ab.
wenn man nur einige kleine container hat die alle heilige zeit mal ein paar MB schreiben müssen, dann macht das keinen unterschied.
hat man aber etwas mehr konkurrierende schreibzugriffe, dann geht sofort der iowait rauf und vms fühlen sich dann träge an.
ich persönlich will das nicht.

ich verwende in meinen systemen enterprise ssds für das wichtige zeug mit zfs und consumer ssds (mit ext4 oder xfs) als datengrab für daten, die ich einfach wieder bekomme (z.b. für meine plex-bibliothek).

 

[6equj5]

hier performen die consumer disks schlicht grausam.

Lol, was die in ihrem (völlig veralteten?) Bild drinhaben, sind ja eh uralte Gurken. Die 850 Evo kam vor 11 Jahren auf den Markt. Ist doch mit einer KC3000 z.B. oder einer Fury Renegade (4000 TBW) nicht vergleichbar.

 

[Johannes S]

wir haben mehr als genug posts hier im forum wo man sieht, dass consumer drives innerhalb von monaten ihre ganze schreibleistung auffressen, während enterprise-drives nur müde lächeln.

Ja und zwar wegen der Grundlast von ProxmoxVE (Metriken-, Logs- plus die Konfigdatenbank), die hat man aber auch ohne ZFS. Ja, ZFS mag es noch "verschlimmern", aber auch ohne ist die Schreiblast von ProxmoxVE höher als bei einer normalen Linuxinstallation. Darum gibt es ja die (in meinen Augen gefährlichen) Hacks (ob mit oder ohne Höllenskripte), die diese Daten in ram-disc verschieben, Teile der Dienste abschalten etc... Meine Empfehlung daraus ist aber nicht "Lass die Finger von ZFS", sondern "Kaufe dir passende Hardware" oder "Nutze was anderes als ProxmoxVE".

Lol, was die in ihrem (völlig veralteten?) Bild drinhaben, sind ja eh uralte Gurken. Die 850 Evo kam vor 11 Jahren auf den Markt. Ist doch mit einer KC3000 z.B. oder einer Fury Renegade (4000 TBW) nicht vergleichbar.

Die Graphik ist auch aus einen älteren Benchmark, die Grundtendenz stimmt allerdings trotzdem, consumer-SSDs werden immer schlechter performen und schneller verschleißen als Server-SSDs mit power-loss-protection. Nur finde ich das keinen Grund auf ZFS zu verzichten

 

[beisser]

Lol, was die in ihrem (völlig veralteten?) Bild drinhaben, sind ja eh uralte Gurken. Die 850 Evo kam vor 11 Jahren auf den Markt. Ist doch mit einer KC3000 z.B. nicht vergleichbar.

wenn du meinst.
hier geht es um technologien, nicht spezifische produkte.
auch deine KC3000 hat kein PLP und somit die selben probleme, wie alle anderen consumer ssds.
auch eine samsung 990 pro hat kein PLP und somit die selben probleme.

auch die schreibleistung der kc3000 ist schlecht im vergleich zu enterprise ssds.
bei 4 TB kapazität 4800 TBW (ziemlich gut für consumer) vs 7000 TBW (DC3000ME, selber Hersteller).
nur das deine KC3000 halt gewisse schreibzugriffe nicht optimieren kann (weil technologie fehlt) und somit ihre 4800 TBW wesentlich schneller verbraucht als die DC3000ME ihre 7000 TBW.

aber wie gesagt, es kann jeder machen, was er will.

 

[Johannes S]

Ich hab PVE auf meinem China-NAS auf die "interne" SSD (also da, wo das Hersteller-OS war). Das ist eine 128 GB "Airdisk". Sicher nicht das dauerhafteste Modell. Jetzt nach knapp einem Monat Betrieb hat die Disk ein Wearout von 3%. Also sagen wir mal 30 Monate bis "verbraucht". Das ist ja durchaus erträglich.

Eben

Meine Idee ist eigentlich dann, die SSD rechtzeitig vorher zu klonen auf eine neue. Damit müßte doch PVE 1:1 weiterlaufen. oder? Hat schon mal jemand so was

Ja das sollte klappen und im ZFS mirror, muss man die nicht mal klonen, da reicht es die neue Platte einzuhängen, den Server zu starten und den Rest dann zfs zu überlassen:
https://pve.proxmox.com/wiki/ZFS_on_Linux
-> Prozedur ist unter "Changing a failed bootable device" beschrieben

 

[6equj5]

... hat kein PLP und somit dieselben probleme.

Die nach anderen Meinungen vielleicht "etwas" übertrieben sind ... Wann hat man schon mal power loss... Und selbst wenn. Habe noch nie wichtige Daten verloren dadurch. Zumal es ja noch Backups gibt.

auch die schreibleistung der kc3000 ist schlecht im vergleich zu enterprise ssds.

Fürs Home Lab mehr als ausreichend. Meine KC3000 hat jetzt in 21 Monaten 8% Wearout. Ok, die meiste Zeit war noch unter ESXi 8. Aber selbst wenn das unter PVE nun zunehmen sollte... nach drei Jahren ist doch eh alles "veraltet" und wird ersetzt.

aber wie gesagt, es kann jeder machen, was er will.

Sowieso.

und im ZFS mirror muss man die nicht mal klonen

Hab PVE derzeit noch nicht mal im Boot-Mirror. Bequemer wär's schon, hab nur kein Platz.
Im Fall des Falles müßt ich wohl den Host neu aufbauen, wär halt 'n bißchen Arbeit.

Kann jemand 'n raid 1 pcie Controller empfehlen? Das wär vielleicht noch 'ne einfache Möglichkeit.

 

[Impact]

Wann hat man schon mal power loss

F

Thread 'Powerloss Protection (PLP) Mythos'

Nov 5, 2024

Ich habe mich früher schon gefragt, warum man eigentlich eine Batterie für einen Raidcontroller Cache braucht, wenn man denn 2 Netzteile und 'ne USV hat. Das man also ohne BBU den Cache nicht verwenden kann, fand ich damals schon dämlich.

Hier im Forum wird immer wieder betont, wie wichtig PLP bei SSDs ist, weil man dadurch deutlich mehr Performance bekommt. Ich habe mich damals schon gefragt, was PLP denn mit Performance zu tun hat. Da ich mich aber nicht auskenne, habe ich die Aussage einfach übernommen. Jetzt bin durch die horrenten Preise zu PLP SSDs wieder über die Frage...

• floh8
• zfs performance
• Replies: 56
• Forum: Proxmox VE (Deutsch/German)

 

[beisser]

PLP stellt sicher, dass der cache der SSD auch bei stromverlust noch sicher in den flash geschrieben werden kann.
so weit so gut.
was dieses feature aber noch wertvoller macht, ist, das PLP dafür sorgt, dass eigentlich nicht cachebare sync-writes gecached und reorganisiert werden können um die lebensdauer des flash-speichers weniger zu belasten.

unter normalen umständen führt ein sync-write dazu, dass die daten unter umgehung sämtlicher cache-mechanismen direkt in den flash geschrieben werden und zwar so, wie die daten anfallen. das führt dann z.b. dazu, das die ssd im extremfall für ein geändertes Byte 1 Megabyte (beispielwert, der genaue wert hängt davon ab, wie die flashzellen organisiert sind) im flash neu schreiben muss.
das ganze dann jedesmal, wenn jedes fitzelchen an Daten neu geschrieben wird.

das wird so erzwungen. dafür sind sync-writes da. sie sollen garantieren, dass daten unter allen umständen geschrieben sind, bevor das programm weiter macht.

das führt dann dazu, dass die ausdauer des flash in kürzester zeit runtergeht, weil eben krank viel daten intern auf den flash geschrieben werden (müssen).

hat die SSD PLP als feature, kann die hardware selbst die daten cachen, reorganisieren und dann in optimierter weise ins flash schreiben und verschwendet nicht wertvolle flash-schreibzyklen.
PLP garantiert, dass die SSD unter allen bedingungen ihren cache noch schreiben kann und somit kann die SSD den sync-write bestätigen, bevor die daten im flash eintreffen.

ich sehe das halt daran, dass meine gebrauchten enterprise-ssds in 2 jahren 0% ihrer ausdauer verloren haben.
ich kann also davon ausgehen, dass ich die datenträger, ausser bei spontanem hardware-tod, warscheinlich niemals aus verschleissgründen ersetzen muss.

man muss allerdings auch sagen, dass ich diese SSD's damals wirklich zu einem guten preis bei aliexpress bekommen habe (100€ pro 1.6TB sata ssd und 120€ pro 1.92tb sata ssd).
da hat es sich angeboten, die direkt zu nehmen, auch im privaten homelab-umfeld.

 

[6equj5]

F

Thread 'Powerloss Protection (PLP) Mythos'

Nov 5, 2024

Ich habe mich früher schon gefragt, warum man eigentlich eine Batterie für einen Raidcontroller Cache braucht, wenn man denn 2 Netzteile und 'ne USV hat. Das man also ohne BBU den Cache nicht verwenden kann, fand ich damals schon dämlich.

Hier im Forum wird immer wieder betont, wie wichtig PLP bei SSDs ist, weil man dadurch deutlich mehr Performance bekommt. Ich habe mich damals schon gefragt, was PLP denn mit Performance zu tun hat. Da ich mich aber nicht auskenne, habe ich die Aussage einfach übernommen. Jetzt bin durch die horrenten Preise zu PLP SSDs wieder über die Frage...

• floh8
• zfs performance
• Replies: 56
• Forum: Proxmox VE (Deutsch/German)

Das unterschreib ich sofort:

Es ist also ... eine Philosophiefrage wie paranoid man ist und wie viel Geld man ausgeben will.

Also... irgendwie geht's ja hier auch um China-HW fürs Homelab.

Ja und zwar wegen der Grundlast von ProxmoxVE (Metriken-, Logs- plus die Konfigdatenbank), die hat man aber auch ohne ZFS. Ja, ZFS mag es noch "verschlimmern", aber auch ohne ist die Schreiblast von ProxmoxVE höher als bei einer normalen Linuxinstallation.

Mich würde da echt mal eine Quanzifizierung interessieren.

Laut Zabbix hab ich z.B. im NAS auf der PVE-Root-Disk im Schnitt über eine Woche 68 w/s. Im Max 1884 w/s. Ist das nun viel oder nicht? Mir kommt es eher wenig vor. Die 4 HDDs (enterprise class, juhui) im RAIDZ1 liegen natürlich darunter, aber es ist irgendwo dieselbe Größenordnung.
Selbst im Supermicro auf der KC3000 (allerdings LVM und nicht ZFS) liegen die Werte "nur" bei 213 & 25800. Und auf dieser SSD läuft ja nicht nur der PVE, sondern alle aktiven VMs. Ok, die machen nicht viel. Ein PBS ist dabei, der hat den Datastore aber auf Rost.