Cloud-Init Routes konfigurieren (Point-to-Point)

[Vengance]

Hi,

Ich setze aktuell ein Routed Netzwerk Setup zur Virtualisierung ein.
Hierfür route ich beispielsweise ein /27 statisch auf meinen Server und konfiguriere die erste nutzbare IP auf der vmbr0 bridge.

Die konfigurierte IP nutze ich dann in den VMs als Gateway, was auch problemlos funktioniert.


Zwecks der besseren Netzplanung möchte ich gerne künftig die Adressen als /32 konfigurieren und ein Point-to-Point Setup nutzen um das Gateway über eine interne IP zu erreichen.
Das offizielle Debian Cloud Image macht das auch problemlos mit und es scheint soweit einwandfrei zu funktionieren.

Ubuntu hingegen bekommt beim Start keine Netzwerkverbindung, da das Gateway außerhalb des konfigurierten /32 liegt und Ubuntu wohl nicht selbständig die erforderliche Route anlegt.

Gibt es hier die Möglichkeit die Cloud-Init routes über Proxmox zu konfigurieren?
Es scheint wohl mit custom snippets möglich zu sein, das würde den aktuellen Aufbau allerdings deutlich komplizierter gestalten.
Ich würde hier vorschlagen, dass Proxmox automatisch die cloud-init route Konfiguration generiert, insofern der Gateway außerhalb des konfigurierten Netztes liegt.
Oder alternativ einen extra Parameter für zusätzliche Routes.

Was meint Ihr dazu?

Danke!

 

[mira]

Da es sich um Ubuntu handelt, gibt es tatsächlich eine Möglichkeit.
Auf Ubuntu wird die cloud-init network config v2 1:1 an Netplan durchgereicht. Die cloud-init Config ist quasi ein Subset von Netplan.

Das heißt man kann ein eigenes Script [0] schreiben auf Basis von der v2 network config [1] und da entsprechend die zusätzlichen Optionen angeben.
Ich selbst habe es mit `onlink` schon geschafft, dass so eine Route erstellt wurde.



[0] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#qm_cloud_init (10.8.3)
[1] https://cloudinit.readthedocs.io/en/latest/topics/network-config-format-v2.html

 

[Vengance]

Vielen Dank!
Lässt sich das auch über die API abbilden?

Und gibt es Pläne das auch ins UI zu implementieren? Bei einer Handvoll VMs wären custom snippets noch ein Option, aber gerade bei vielen verschiedenen mit statischer Netzwerkkonfiguration wäre es etwas umständlich das über die custom snippets in der aktuellen Form darzustellen.

 

[mira]

Nein, dies wird rein über Snippets bleiben.
Die sonstige Cloud-Init Config ist teil der VM Config und somit Teil des Cluster Filesystems. Wenn man hier beliebig lange Custom Configs reinpacken würde, müssten diese auch immer repliziert werden und geladen werden. Das würde auch die maximale Anzahl an VMs ziemlich stark einschränken dann.

Ich würde auch allgemein eher zu Ansible und ähnlichen Tools raten um VMs aufzusetzen. Cloud-Init verhält sich oftmals komisch, muss ebenfalls im vorhinein konfiguriert werden und die Cloud Images sind teilweise broken und verhalten sich auch sehr unterschiedlich je nach Distribution und Cloud-Init Version.

 

[Vengance]

Ich verstehe, macht Sinn. Wäre es aber eventuell eine Option, zumindest die Default Route seitens Proxmox automatisch zu generieren, insofern der konfigurierte Gateway außerhalb des Netzes der definierten IP liegt?
Das ist denke ich ein Fall von dem einige Nutzer profitieren würden, da auch bei einigen Hosting Providern der Gateway außerhalb des Netzes liegt.

Ansible wäre in dem Fall keine Option da bspw Ubuntu oder Alma keine Internetkonnektivität ohne die Angabe der Route haben.

Die Problematik mit den Cloud Images ist mir auch schon aufgefallen, ich hatte hier eigentlich erwartet, dass die Offiziellen Images besser getestet und dokumentiert sind.
Was ich schon an Zeit verschwendet habe irgendwelche Edgecases mit Cloud-Init zu Debuggen...