Als Red Hat Premium Partner sowie Nutanix Reseller Champion Partner begrüßt SVA die am 29. Juli 2021 geschlossene Partnerschaft unserer Fokuspartner. Die dafür erstellte Pressemitteilung nahmen wir zum Anlass, uns mit der automatisierten Installation von OpenShift auf Nutanix zu befassen. (English version below)
Quelle: Nutanix Blog
Ausgangslage
Viele SVA Kunden1 setzen in ihren DataCentern bereits auf die hyperkonvergente Nutanix Webscale Architektur, oftmals mit dem kostenneutralen Nutanix Acropolis Hypervisor AHV. Als größter Nutanix Reseller Champion Partner in EMEA betreut SVA alle Kundegruppen gleichermaßen: Von Klein- bis Mittelstandskunden oder natürlich auch Enterprise-Kunden mit mehr als 500 Nodes – wir haben alles im Programm!
Gerade bei den Enterprise-Kunden trifft man früher oder später auf große RedHat Installationen, diese Kundengruppe legt besonderen Wert auf eine stabile und supportete Linux Distribution → immer mit Enterprise Support.
Wenn dann Container ins Spiel kommen, setzen viele unserer Kunden auf die Red Hat OpenShift Container Plattform (OCP), faktisch der Enterprise Standard in diesem Segment.
Da schmerzte es über die letzten Jahre besonders das Red Hat den Nutanix Acropolis Hypervisor AHV nicht als offiziell zertifizierten Hypervisor unterstützte, obwohl Acropolis ja wie RedHat Virtualization (RHV) als Unterbau ebenfalls auf KVM (Kernel Virtual Maschine) setzt. Aus technischer Sicht gab es also kein echtes Problem, Red Hat Enterprise Linux RHEL als auch die Red Hat Openshift Container Plattform OCP liefen ohne Probleme aber eben nicht offiziell von Red Hat unterstützt.
Beide Player haben ihre Kunden nun erhört – mit der am 29. Juli 2021 verkündeten Partnerschaft von Nutanix und RedHat gibt es keinerlei Support-Einschränkungen mehr \o/.
Das haben sich unsere Expert:innen zum Anlass genommen, die Setup-Möglichkeiten von Openshift auf Nutanix Acropolis Hypervisor AHV genauer unter die Lupe zu nehmen. Schnell stellte sich heraus das die „manuelle“ Installation nicht die Erwartungen unserer Kunden erfüllt, im Lastenheft steht ein automatisiertes und wiederholbares Setup ohne zusätzliche 3rd-Party Tools → Genau hier kommt dann die SVA mit ihrer jahrelangen Expertise in Enterprise-Umfeld ins Spiel
Den Überblick verschaffen
Wer schnell mit OpenShift starten möchte, greift üblicherweise auf die IPI (installer-provisioned infrastructure) Installationsvariante zurück. Schnell ist der Punkt erreicht, an welchem Anpassungen wie beispielsweise das Ändern von Hostnamen am Cluster benötigt oder gewünscht werden.
Ein weiterer wichtiger Punkt bei der Auswahl der Installationsvariante ist die vorhandene Infastruktur. Faktoren wie DHCP, DNS sowie der Zugriff auf das Internet spielen eine wichtige Rolle bei der Auswahl der Installationsvariante und der dafür eingesetzten Installationsmedien. Nicht selten raten wir unseren Kunden im On-Prem Umfeld dazu, von Beginn an auf die UPI (user-provisioned infrastructure) Installationsvariante zu setzen und diese entsprechend den Gegebenheiten im Rechenzentrum entsprechend anzupassen.
Es wird hierbei geraten, die Installation von Beginn an auf die UPI (user-provisioned infrastructure) Installationsvariante zu setzen.
Anforderungen
Bevor es mit der Installation losgehen kann, benötigt es einer Vorarbeit. Bei allen OpenShift Installationsvarianten, ungeachtet der Plattform, müssen die DNS-Einträge im Vorfeld gesetzt werden.
Zur Installation von OpenShift verwenden wir ein Linux System, den sogenannten Helpernode. Auf diesem System wird die für die CoreOS ISO Datei neu erstellt. Diese wiederum wird zur Erstellung der virtuellen Maschinen am Nutanix AHV verwendet. Zur Bereitstellung der sogenannten Ignition Files wurde auf dem Helpernode ein NGINX Websever in einem Container gestartet. Für unser Labor Setup wurde ein Loadbalancer, ebenfalls in Form eines Containers, auf dem System bereitgestellt. Die für eine erfolgreiche Clusterinstallation nötigen Anforderungen, die Bereitstellung der VMs sowie die eigentliche OpenShift Installation haben wir ein einem einzigen Script verpackt, welches auf dem Helpernode ausgeführt wird.
Die Nutanix Plattform an sich kann über verschiedenste Wege genutzt und angesprochen werden. Neben der Restfull API, dem Powershell Modul und der nCLI ist es ebenfalls möglich, direkt via SSH-Verbindung mit der Acropolis CLI aCLI zu arbeiten.
Es wurde sich für die zweite Variante entschieden, da unsere Automatisierung komplett via bash gescriptet ist. Außerdem sollen -wenn möglich- keine (kostenpflichtigen) 3rd-Party-Tools oder properitären Tools genutzt werden.
OpenShift Installationsverlauf
Unabhängig der gewählten Installationsvariante (IPI oder UPI) ist der Installationsverlauf identisch. Die für die Installation benötigten Werte werden in der install-config.yaml Datei abgelegt und im weiteren Installationsverlauf verwendet.
Basierend auf der erstellten install-config.yaml Datei startet der Installationsprozess von OpenShift. Der Bootstrap Node wird während der Erstinstallation benötigt, um die OpenShift Control Plane zu installieren. Ist die Control Plane einsatzbereit, werden die Compute Nodes installiert, welche später die eigentliche Workload verarbeiten. Nach erfolgreicher Clusterinstallation wird der Bootstrap Node nicht weiter benötigt.
Automatisierte Installation
Um die OpenShift Installation in unserem Labor automatisiert durchzuführen, wurden folgende Schritte automatisiert:
- Cluster Tools installieren
- Image Server installieren
- Ignition Server installieren
- LoadBalancer installieren
- CoreOS ISO Image bauen
- Nutanix: Customized CoreOS Image bereitstellen
- OCP SSH Key erstellen
- install-config.yaml erstellen
- Manifests erzeugen
- Ignition Files erstellen
- Nutanix: OCP Nodes erstellen
- Nutanix: CSI Treiber Installieren
Setup Demo-Video
Video 1: OpenShift @AHV – SVA
Fazit
Nachdem die Nutanix spezifischen Hürden, wie beispielsweise die Änderung der Bootorder, gemeistert wurden, lief die Installation von OpenShift auf AHV flüssig nach bekannter Manier durch. Ein kleiner Rückschritt wurde allerdings bei der Bereitstellung des LoadBalancers gemacht. Der in OpenShift integrierte hochverfügbare HA-Proxy musste durch eine manuelle Installation, wie man von OpenShift < 4.5 kennen, realisiert werden.
Mangels fehlender Nutanix Integration in OpenShift ist es bisher noch nicht möglich, weitere Compute Nodes automatisch zu skalieren. Wie bereits von Nutanix angekündigt, wird an der Integration bereits gearbeitet. Wir freuen uns auf die kommenden Releases und werden das Thema OpenShift auf Nutanix AHV weiter mit Spannung verfolgen.
Bis dahin haben wir als SVA für unsere Kunden bereits eine Lösung am Start welche wir voll supporten können, dazu nutzen wir die in den Produkten vorgesehenen Mechanismen und müssen keine Änderung an den Produkten OpenShift oder Nutanix AHV durchführen. Somit ist der Hersteller-Support zu 100% gewährleistet und wir sind in jedem Fall Upgrade fähig.
https://cloud.redhat.com/blog/deployment-guide-for-openshift-on-nutanix-aos-ahv
https://www.nutanix.com/de/press-releases/2021/strategische-partnerschaft-red-hat
Quelle: Abb 1+2: https://docs.openshift.com/container-platform/4.8/architecture/architecture-installation.html
1Mit ”Kunde” sind in diesem Beitrag keine privaten Personen, sondern rechtliche Personen bzw. Unternehmen gemeint.
As a Red Hat Premium Partner as well as Nutanix Reseller Champion Partner, SVA welcomes the partnership of our focus partners concluded on July 29, 2021. We took the press release created for this as an opportunity to look at the automated installation of OpenShift on Nutanix.
Source: Nutanix Blog
Starting point
Many SVA customers1 already rely on the hyperconverged Nutanix Webscale architecture in their data centers, often with the cost-neutral Nutanix Acropolis Hypervisor AHV. As the largest Nutanix Reseller Champion Partner in EMEA, SVA serves all customer groups equally: From small to medium-sized customers or of course enterprise customers with more than 500 nodes – we have it all!
Especially with enterprise customers, you will sooner or later encounter large RedHat installations; this customer group places particular value on a stable and supported Linux distribution → always with enterprise support.
When containers come into play, many of our customers rely on the Red Hat OpenShift Container Platform (OCP), effectively the enterprise standard in this segment.
Over the last few years, it was particularly painful that Red Hat did not support the Nutanix Acropolis Hypervisor AHV as an officially certified hypervisor, even though Acropolis, like Red Hat Virtualization (RHV), also relies on KVM (Kernel Virtual Machine) as its foundation. So from a technical point of view there was no real problem, Red Hat Enterprise Linux RHEL as well as the Red Hat OpenShift Container Platform OCP ran without problems but just not officially supported by Red Hat.
Both players have now listened to their customers – with the partnership between Nutanix and Red Hat announced on July 29, 2021, there are no more support restrictions \o/.
Our experts took this as an opportunity to take a closer look at the setup options of OpenShift on Nutanix Acropolis Hypervisor AHV. It quickly became clear that the „manual“ installation did not meet the expectations of our customers; the specifications called for an automated and repeatable setup without additional 3rd party tools → This is exactly where SVA comes into play with its years of expertise in the enterprise environment.
Overview
If you want to get started with OpenShift quickly, you usually fall back on the IPI (installer-provisioned infrastructure) installation variant. The point is quickly reached where customizations such as changing hostnames on the cluster are needed or desired.
Another important point when selecting the installation variant is the existing infrastructure. Factors such as DHCP, DNS and access to the Internet play an important role in the selection of the installation variant and the installation media used for it. It is not uncommon for us to advise our customers in the on-prem environment to opt for the UPI (user-provisioned infrastructure) installation variant right from the start and to adapt this accordingly to the conditions in the data center.
It is recommended to use the UPI (user-provisioned infrastructure) installation variant from the beginning.
Requirements
Before the installation can start, some preliminary work is required. For all OpenShift installation variants, regardless of the platform, the DNS records must be set in advance.
To install OpenShift, we use a Linux system called a helpernode. On this system, the ISO file for the CoreOS is recreated. This in turn is used to create the virtual machines on the Nutanix AHV. To provide the so-called Ignition Files, a NGINX Websever was started in a container on the helpernode. For our lab setup, a load balancer, also in the form of a container, was deployed on the system. The requirements necessary for a successful cluster installation, the provisioning of the VMs as well as the actual OpenShift installation were packaged in a single script, which is executed on the helpernode.
The Nutanix platform itself can be used and accessed in a variety of ways. Besides the Restfull API, the Powershell module and the nCLI, it is also possible to work directly via SSH connection with the Acropolis CLI aCLI.
It was decided for the second variant, since our automation is completely scripted via bash. Also, if possible, no (paid) 3rd party tools or proprietary tools should be used.
OpenShift installation process
Regardless of the chosen installation variant (IPI or UPI), the installation process is identical. The values required for the installation are stored in the install-config.yaml file and used in the rest of the installation process.
Fig. 2: RedHat Openshift setup
Based on the created install-config.yaml file, the OpenShift installation process starts. The bootstrap node is required during the initial installation to install the OpenShift Control Plane. Once the control plane is operational, the compute nodes that will later process the actual workload are installed. After successful cluster installation, the bootstrap node is no longer needed.
Fig. 3: RedHat Openshift bootstrap workflow
Automated installation
To automate the OpenShift installation in our lab, the following steps were automated:
- Install Cluster Tools
- Install Image Server
- Install Ignition Server
- Install LoadBalancer
- Build CoreOS ISO Image
- Nutanix: Deploy Customized CoreOS Image
- Create OCP SSH Key
- Create install-config.yaml
- Create Manifests
- Create Ignition Files
- Nutanix: Create OCP Nodes
- Nutanix: Install CSI Driver
Conclusion
After overcoming the Nutanix specific hurdles, such as changing the boot order, the installation of OpenShift on AHV went through smoothly in a familiar manner. However, a small step backwards was taken in the deployment of the LoadBalancer. The high-availability HA proxy integrated in OpenShift had to be realized by a manual installation, as known from OpenShift < 4.5.
Due to the lack of Nutanix integration in OpenShift, it is not yet possible to automatically scale additional compute nodes. As already announced by Nutanix, integration is already being worked on. We are looking forward to the upcoming releases and will continue to follow the topic of OpenShift on Nutanix AHV with excitement.
Until then, we as SVA already have a solution at the start for our customers which we can fully support, for this we use the mechanisms provided in the products and do not have to make any changes to the products Openshift or Nutanix AHV. Thus, the manufacturer support is 100% guaranteed and we are in any case capable of upgrading.
https://cloud.redhat.com/blog/deployment-guide-for-openshift-on-nutanix-aos-ahv
https://www.nutanix.com/de/press-releases/2021/strategische-partnerschaft-red-hat
Source: Fig1+2: https://docs.openshift.com/container-platform/4.8/architecture/architecture-installation.html
1In this article, „customer“ does not refer to private individuals, but to legal entities or companies.