Frage an die Community

[pakuzaz]

Guten Morgen,

ich muss hier mal ein wenig Frust ablassen, ggf. bin ich auf dem Holzweg, und ich sehe das mit dem falschen Augen.

Fakt ist wie folgt:

Wir haben ein Cluster (Basic Lizenz) bestehend aus 15 Nodes, verteilt in getrennten Gebäuden. Auf diesem Cluster laufen ca. 60 virtuelle Server, mitunter auch das FMC von Cisco für das Firewall Cluster.

Nun wurde durch Zufall bekannt, dass die Backups vom FMC gar nicht funktionieren (Wir testen die Backups alle 3 Monate durch). Daher haben wir ein Ticket bei Proxmox aufgemacht und gefragt, warum das Backup den Boot Loader beschädigt.

Besser gesagt, wir haben 120 Backups, 100 funktionieren, bei den restlichen 20 letzten Backups ist der Bootloader defekt.

Da nun das FMC neugestartet wurde wegen Wartungsarbeiten, startet es nun nicht mehr.

Wer ist jetzt für den Schaden haftbar oder wer muss die Wiederherstellung aus eurer Sicht bezahlen?

Ich möchte jetzt hier keinen Streit vor den Zaun brechen, aber wenn eine Software verkauft wird und man diese einsetzt, sollte diese funktionieren und sollte ein Bug gefunden werden der nicht gleich behoben werden kann, aber dadurch Schaden beim Kunde entsteht, müsste doch der Verkäufer dies wieder in Ordnung bringen.

Oder sehe ich das gerade falsch?


Hier eine Meldung vom Ticket System inkl Bug Report:


https://bugzilla.proxmox.com/show_bug.cgi?id=2874


Leider konnten wir es bisher noch nicht reproduzieren. Die Configs sind meistens auch unterschiedlich, und womöglich gibt es sogar mehrere Probleme die hier zusammenspielen.

Bitte beachten Sie, dass der Titel vom Bugreport etwas irreführend ist. Das Problem tritt nicht in Zusammenhang mit einem Backup auf, aber wurde lange Zeit im Kontext eines Backups beobachtet, da bei `Stop` Backups die VMs gestoppt und anschließend wieder gestartet werden, wo sie dann nicht booten konnten.

Oder wenn von einem Backup restored wurde.

________________________________


Können nun alle Kunden die Proxmox VE einsetzten von diesem Problem betroffen sein?
Müssen alle Kunden nun die Server durchstarten um zu wissen das der bootloader noch funktioniert?

FMC ist ja "nur" das Management aber was wäre jetzt mit einem Server der unternehmenswichtig ist der keine 30min ausfallen dürfte?

Wenn man es so möchte wäre das auch ein fall für heise oder andere IT Seiten die über andere Hersteller und deren Bugs schrieben. Betrifft aus meiner sicht die komplette Proxmox Community. Und es ist aus der Antwort vom Ticketsystem rauszulesen das es auch noch kein ende in sicht ist. Somit sind Daten und Server doch gar nicht mehr sicher und Produktiv einsetztbar?

Wie seht Ihr das?

Danke und bitte @ Proxmox Team nicht als Angriff ansehen ich suche nur Rat und ggf. jemand der ggf. eine lösung hat.

Wünsche euch noch einen schönen Arbeitstag.

 

[Falk R.]

Hi, solche schleichenden Fehler sind der Grund warum man seine Backups testet. Haftbar machen kannst du mal bei deinem Diskhersteller versuchen. Das Backup sichert stumpf was auf der Disk steht, wenn die Daten kaputt sind, ist dem Backup egal, da es nichts davon weiß und die Aufgabe hat alles im Originalzustand zu sichern. Das die Ursache die Quell-VM ist, habt ihr ja bewiesen, weil die Ursprungs VM nicht mehr bootet.

Also eure VM hat vor ca. 20 Backups (vermutlich 20 Tagen) ein Problem bekommen, dass die Daten auf der Disk korrupt gegangen sind. Das kann an einem gekippten Bit auf der Disk, einen Fehler in dem Filesystem oder eventuell durch defekten RAM/CPU verursacht worden sein.

Eine Backupsoftware, egal welche macht niemals Daten kaputt. (Ausnahme der Hypervisor hat ein defektes Change Block Tracking)

 

[Falk R.]

P.S.
Das Server irgendwann mal korrupte Daten auf der Disk haben und nicht mehr booten gab es schon vor 20 Jahren und habe ich schon öfters gesehen.
Du darfst dann kein Windows, kein Linux, kein ESXi und kein HyperV einsetzen. Habe ich schon bei all den Produkten erlebt. Nur wer sein Backup regelmäßig testet bekommt so etwas rechtzeitig mit. Das Backup hatte in allen Fällen genau das gesichert was auf der Originalmaschine war, natürlich auch alle Fehler.

 

[pakuzaz]

Guten Morgen,

hast du den Text gelesen?

1. Wir testen unsere Backups
2. Was hat ein Diskhersteller mit einer Virtuellen Disk zu tun? Der Bug in der Software verändert doch die Boot Partion wie im Bug Report geschrieben
3. Liegt es ja nicht nur am Backup Sondern am Proxmox VE aber das steht auch oben im Text
4. Eine Backupsoftware kann gut Daten vernichten das habe ich in meinem Beruf schon öfters erlebt

Also deine Antwort respektiere ich aber deine Punkte habe ich oben beantwortet das dein Senario nicht zutrifft.

Schönen Tag dir noch.

 

[jim_os]

Wer ist jetzt für den Schaden haftbar oder wer muss die Wiederherstellung aus eurer Sicht bezahlen?

Das solltest Du einen Rechtsanwalt fragen. Der kann Dir möglicherweise erklären wie es bei einem östereichischen Software-Hersteller bzgl. Haftung und ggf. Schadensersatz aussieht und Dich entsprechend beraten. Hier wird Dir sicher niemand eine rechtsverbindliche Auskunft dazu erteilen können und mögliche Spekulationen oder Ansichten von irgendwelchen Usern (incl. mir) helfen Dir nicht wirklich weiter.

BTW: Was das deutsche Recht betrifft wird an dem Thema Hersteller-Haftung bei Software-Fehlern wohl (gerade) noch weiter gearbeitet (Stand: 1. Februar 2022), bzw. stehen dort ggf. Veränderungen an.

VG Jim

 

[pakuzaz]

Naja mir geht es hier um keine Rechtsberatung sondern wie ihr zu der Meinung steht wer bei solch Virtuellen Problemen die "arschkarte" bekommt wenn es um einen BUG geht.

Proxmox im großen und ganzen stellt ja zb. nur die Gui und bezieht sich bei allen anderen auf offene Produkte. << Stark übertrieben. Daher kann man Proxmox selber da eigentlich nicht belangen sondern müsste jetzte die Entwickler vom KVM fragen wir Sie das sehen ob das auf ein Bug in der Software oder in einem zusatzmodul eines anderen Programms das Proxmox nutzt suchen muss.

Wie gesagt möchte ich hier niemanden die schuld geben.

 

[Dunuin]

BTW: Was das deutsche Recht betrifft wird an dem Thema Hersteller-Haftung bei Software-Fehlern wohl (gerade) noch weiter gearbeitet (Stand: 1. Februar 2022), bzw. stehen dort ggf. Veränderungen an.

Mal gucken was dann da am Ende nach der ganzen Lobbyarbeit noch als Gesetz rauskommt. Von seiten des CCCs ging es da aber eher um das Nicht-Schließen von Sicherheitslücken, wo ich auch finde, dass da dann die Firmen haften sollten, wenn sie keine Sicherheisupdates herausbringen, weil das ja Personal und damit Geld kostet. Anders bekommt man ja Handy-, Router-Hersteller und Co nicht dazu auch mal mehr als 1 oder 2 Jahre Updates zu liefern. Das hat mich auch immer unglaublich genervt. Ob nun Samsung oder Asus, alle Smartphones die ich bisher hatte haben nach 6 bis 18 Monaten die Updates eingestellt. TP-Link Router, der nach einem Jahr keine Updates mehr bekommen hat, hatte ich auch schon.
Wenn man es richtig machen würde, müsste man ja eigentlich alle Geräte die im Internet/WLAN hängen vom Netz nehmen, sobald keine Updates mehr kommen. Damit wären dann nach einem Jahr 200€ Router nur noch 4-port Switches und 1000€ Smartphones nur noch als MP3-Player/Kameras zu gebrauchen. Aber damit Hersteller auch wirklich gezwungen wären für Sicherheitsupdates zu sorgen, müsste das meiner Meinung nach schon ein EU-Gesetz sein. Rein für den deutschen Markt wird kein internationaler Konzern den Updatezeitraum vervielfachen.
Aber gut, wenn ein "Mindesthaltbarkeitsdatum" fett auf den Kartons stehen müsste, dann hätte man wenigstens eine leichtere Kaufentscheidung, wenn man sich das nächste 800€ Samsung Smartphone holen will und dann sieht, dass da das Mindesthaltbarkeitsdatum schon in 6 Monaten überschritten wird oder bereits überschritten ist.

Was Sicherheitsupdates angeht finde ich Proxmox bisher sehr löblich. Was ich so gesehen habe wurde da immer schnell auf Fragen geantwortet, ob Proxmox Produkte von einer Sicherheitslücke betroffen sind und Sicherheits-Updates sind immer sehr schnell (wenige Tage sofern es nicht Upstream hing) ausgerollt.

 

[pakuzaz]

@Dunuin

Generell finde ich Proxmox und deren Einstellung gut auch deren Reaktionszeit finde ich perfekt egal ob Home oder Enterprise. Die Frage kommt uns halt gerade auf da man eigentlich gar keine Handhabung hat wenn so was passiert.

 

[jim_os]

Naja mir geht es hier um keine Rechtsberatung sondern wie ihr zu der Meinung steht wer bei solch Virtuellen Problemen die "arschkarte" bekommt wenn es um einen BUG geht.

Auch naja, denn Du hast explizit nach Haftung und Schadensersatz

Wer ist jetzt für den Schaden haftbar oder wer muss die Wiederherstellung aus eurer Sicht bezahlen?

gefragt.

Letztendlich bringt es Dir doch auch gar nichts - außer vielleicht etwas "Frustabbau" - hier nach möglichen Ursachen oder evtl. Fehlverhalten zu forschen. Auch bringt es Dir nichts wenn hier X User posten das dieser oder jener eigentlich die "Arschkarte" bekommen müsste. Wenn dann musst Du jemanden ein Verschulden genau nachweisen und das dürfte Dir in diesem oder ähnlichen Fällen ziemlich schwer fallen. Wenn Du das aber vorhaben solltest wirst Du das nur per Rechtsanwalt und ggf. zusätzlichen Gutachter schaffen können und nicht weil hier irgendjemand irgendetwas postet oder meint.

Somit könnte es Dich vielleicht "trösten" wenn hier X User der Meinung sind das vielleicht Proxmox verantwortlich ist, aber bringen tut Dir das rein gar nichts.

VG Jim

 

[Dunuin]

Rechtslage wäre aber wirklich mal interessant. So wie ich das sehe verkauft Proxmox ja auch keine Lizenzen für ein Produkt, sondern die Software ist frei und was verkauft wird ist Support. Denke Opensource und Haftung ist nochmal ein ganz eigenes Thema. Wäre man für Fehler in quelloffener Software haftbar, würde ich nicht gerne einer der Entwickler sein, der da in der Freizeit an OpenSSL mit heartbleed oder log4j arbeitet und dann auf Milliarden verklagt wird.

Proxmox nutzt ja die GNU AGPL v3 und die sagt:

15. Disclaimer of Warranty.​

THERE IS NO WARRANTY FOR THE PROGRAM, TO THE EXTENT PERMITTED BY APPLICABLE LAW. EXCEPT WHEN OTHERWISE STATED IN WRITING THE COPYRIGHT HOLDERS AND/OR OTHER PARTIES PROVIDE THE PROGRAM "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESSED OR IMPLIED, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE. THE ENTIRE RISK AS TO THE QUALITY AND PERFORMANCE OF THE PROGRAM IS WITH YOU. SHOULD THE PROGRAM PROVE DEFECTIVE, YOU ASSUME THE COST OF ALL NECESSARY SERVICING, REPAIR OR CORRECTION.

16. Limitation of Liability.​

IN NO EVENT UNLESS REQUIRED BY APPLICABLE LAW OR AGREED TO IN WRITING WILL ANY COPYRIGHT HOLDER, OR ANY OTHER PARTY WHO MODIFIES AND/OR CONVEYS THE PROGRAM AS PERMITTED ABOVE, BE LIABLE TO YOU FOR DAMAGES, INCLUDING ANY GENERAL, SPECIAL, INCIDENTAL OR CONSEQUENTIAL DAMAGES ARISING OUT OF THE USE OR INABILITY TO USE THE PROGRAM (INCLUDING BUT NOT LIMITED TO LOSS OF DATA OR DATA BEING RENDERED INACCURATE OR LOSSES SUSTAINED BY YOU OR THIRD PARTIES OR A FAILURE OF THE PROGRAM TO OPERATE WITH ANY OTHER PROGRAMS), EVEN IF SUCH HOLDER OR OTHER PARTY HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH DAMAGES.

Aber ja, da wird nur ein IT-Anwalt etwas zu sagen können.

 

[pakuzaz]

@Dunuin danke

 

[Falk R.]

Guten Morgen,

hast du den Text gelesen?

1. Wir testen unsere Backups
2. Was hat ein Diskhersteller mit einer Virtuellen Disk zu tun? Der Bug in der Software verändert doch die Boot Partion wie im Bug Report geschrieben
3. Liegt es ja nicht nur am Backup Sondern am Proxmox VE aber das steht auch oben im Text
4. Eine Backupsoftware kann gut Daten vernichten das habe ich in meinem Beruf schon öfters erlebt

Also deine Antwort respektiere ich aber deine Punkte habe ich oben beantwortet das dein Senario nicht zutrifft.

Schönen Tag dir noch.

Hast du deinen Text und meinen gelesen?

Ihr macht ja einiges richtig. Backups testen ist schon mal Top.
Jetzt erkläre mir mal wie deiner Meinung nach ein Virtualisiserungshersteller für deine Daten in einer VM haften soll?
Was für ein Dateisystem nutzt ihr in der VM? Warum macht ihr Stop Backups?

Was ich bisher noch nicht bei Proxmox aber bei ESXi schon öfters gesehen habe: Virtuelle Appliances von verschiedenen Hersteller gehen bei einem unsauberen Shutdown auf die Bretter und booten nicht mehr. Meistens war da noch ext2 im Einsatz und die Kernel steinalt. Lösung ist meistens, die Tools installieren (VMware = openvmtools) bei Proxmox den qemu-guest-agent. Damit kann vom Hypervisor immer ein sauberer Shutdown angetriggert werden. Ich wüsste keinen Grund warum Proxmox bei euch die bootloader schrottet und bei den paar tausend anderen VMs bei meinen Kunden ist komischerweise gar nix. (Auch da sind alte, konvertierte vSphere Appliances im Einsatz)

 

[Falk R.]

2. Was hat ein Diskhersteller mit einer Virtuellen Disk zu tun? Der Bug in der Software verändert doch die Boot Partion wie im Bug Report geschrieben

Hast du dich mal mit der Physik einer Disk beschäftigt? Ich habe schon sehr viele korrupte Daten gesehen wenn fehlerhafte Sektoren auf Disks vorhanden sind, die tauchen dann auch in virtuellen Disks auf.
Bei SSDs habe ich auch schon gekippte Bits erlebt wenn die Daten schon länger nicht gelesen wurden.

 

[pakuzaz]

@ SkyDiver79 Ziatat = Ich wüsste keinen Grund warum Proxmox

Antwort= Weil sie es im Ticket so schreiben, das es hier ein Bug gib sie es aber nicht finden.

Es geht hier nicht um die Hardware es geht hier um ein Software BUG!

 

[pakuzaz]

Zitat aus dem Ticket:

Aber in dem Fall bitte vom Backup restoren, das noch funktioniert oder den MBR reparieren über entsprechendes Tooling. Wenn man den anderen Leuten glauben darf, wird in dem Fall wirklich nur der MBR überschrieben, keine anderen Daten.



Es tut mir leid, dass Sie ebenfalls von diesem Problem betroffen sind.

Falls Sie noch mehr Informationen haben in welchen Konstellationen es bei Ihnen bisher aufgetreten ist, würden wir uns sehr freuen. Jedes bisschen mehr an Informationen hilft beim Eingrenzen des Problems und dem Finden der eigentlichen Ursache.

 

[Falk R.]

Ich habe mir mal den langen Bugreport angetan. Mir fällt auf, das häufiger IDE und SATA Disks betroffen sind und in der Regel kein qemu-guest-agent drauf.

Eventuell kenne ich das Problem nicht, da ich immer Virtio-Controller und Guest-Tools nutze.

Wie ist denn eure VM konfiguriert?

 

[pakuzaz]

Danke das du dir diesen langen Bugreport mal angetan hast. Ja das Stimmt Sata und IDE.

Ja und wir hatten SATA in benutzung weil das System nur damit lief, mit der neuen Version konnten wir auch Virtio nutzen und hoffen das es nicht nochmal passiert.

 

[Falk R.]

Mit der IDE/SATA Emulation gab es ja schon mal Probleme. Habt ihr den qemu-guest-Agent auf der VM?

 

[pakuzaz]

FMC Cisco ist eine Linux kiste in der man keinen Agenten Installieren kann.

Aber egal es geht hier nicht um Debuggen des Problems. Das ist nun auch schon behoben.

 

[mow]

Ich habe mir mal den langen Bugreport angetan. Mir fällt auf, das häufiger IDE und SATA Disks betroffen sind

... besser gesagt IDE/SATA-Emulation der virtuellen Disks. Und wenn ich das richtig gelesen habe, eigentlich nur, wenn die auf einem zfs liegen, oder?

Hast du dich mal mit der Physik einer Disk beschäftigt? Ich habe schon sehr viele korrupte Daten gesehen wenn fehlerhafte Sektoren auf Disks vorhanden sind, die tauchen dann auch in virtuellen Disks auf.
Bei SSDs habe ich auch schon gekippte Bits erlebt wenn die Daten schon länger nicht gelesen wurden.

Fehler auf den physischen Disks würden allerdings auch auf dem Host gemeldet werden, denn wichtige Daten liegen ja auf einem RAID, oder?