Dieser Beitrag richtet sich an Einsteiger, die Kubernetes auf dem Raspberry Pi oder einem anderen Debian-System installieren m\u00f6chten. Wir werden uns die wichtigsten Grundlagen ansehen, ohne zu sehr ins Detail zu gehen. Am Ende der Einrichtung folgt die Installation (Deployment) eines einfachen Webservers auf dem soeben erstellten Cluster. Der Fokus ist auf dem Raspberry Pi 4, l\u00e4sst sich aber auf jedem Debian-System fast identisch umsetzen.<\/p>\n
Kubernetes <\/strong>ist eine quelloffene Plattform zur Bereitstellung und Verwaltung von Containern. Wer nur wenige einzelne Container einsetzt, dem reichen oft Docker und Docker-Compose aus. Doch wenn das ganze w\u00e4chst, entstehen damit neue Probleme: Wie kann man z.B. das Deployment automatisieren, Ausf\u00e4lle\/Fehler erkennen und darauf reagieren, skalieren oder Hochverf\u00fcgbarkeit erreichen? Um so etwas effizient umsetzen zu k\u00f6nnen, braucht es eine Abstraktionsschicht um die Container „herum“.<\/p>\n Docker Swarm<\/strong> wurde daf\u00fcr von der wohl bekanntesten Container-Laufzeitumgebung Docker entwickelt. Wie bei einem Schwarm soll man mehrere Server kombinieren k\u00f6nnen, um darauf Container zu starten. Seit Jahren zeichnet sich jedoch ab, dass sich mit Kubernetes stattdessen eine quelloffene Alternative von Google durchsetzt. Mittlerweile geh\u00f6rt Swarm auch nicht mehr zu Docker, sondern wurde verkauft.<\/p>\n Man kann Kubernetes von Hand installieren. Daf\u00fcr wird aber ein tiefes Verst\u00e4ndnis der Kubernetes-Architektur ben\u00f6tigt. Durch die verschiedenen Komponenten ist es zudem aufw\u00e4ndig. Au\u00dfer zu Lernzwecken wird Kubernetes daher \u00fcblicherweise \u00fcber entsprechende Kubernetes-Distributionen installiert: Das automatisiert und vereinfacht die Einrichtung erheblich. Damit kein Chaos entsteht, gibt es die CNCF (Cloud Native Computing Fundation): Sie ist ein Projekt der Linux Foundation und zertifiziert Kubernetes-Distributionen, die sich an den „Standard“ (Upstream-Kubernetes) halten. So kann man zwischen den Distributionen wechseln, ohne dass die Programme die darauf laufen angepasst werden m\u00fcssen.<\/p>\n Auf dem Raspberry Pi OS w\u00fcrde ich K3s empfehlen: Rancher hat bei dieser leichtgewichtigen Distribution das originale Kubernetes aufger\u00e4umt und optimiert, sodass es in eine Binary mit knapp 100 MB passt. Zum Vergleich: Beim schwergewichtigeren Original sind es mehrere Gigabyte. K3s zielt damit auf schw\u00e4chere Ger\u00e4te wie u.a. den Raspberry Pi ab.<\/p>\n Man kann es aber auch als effizientere Kubernetes-Distribution auf normaler x86 Hardware installieren und profitiert von einer geringeren Ressourcenbelastung sowie reduzierter Angriffsfl\u00e4che. Mittlerweile ist K3s auch keine Insell\u00f6sung mehr, sondern seit August 2020 CNCF zertifiziert – also eine standardisierte Kubernetes-Implementierung.<\/p>\n K3s hat ein paar Anforderungen<\/a>, die je nach verwendetem Betriebssystem etwas variieren. Ich werde es am Raspberry Pi OS demonstrieren, man k\u00f6nnte aber auch Alpine oder CentOS nutzen.<\/p>\n Ich nutze im Folgenden einen Raspberry Pi 4 mit 4 GB Arbeitsspeicher. Kleinere Modelle sind eben so m\u00f6glich wie vorherigen Generationen. 512 MB Arbeitsspeicher sind jedoch das absolute Minimum. Da mit 512 MB kaum etwas f\u00fcr die Anwendungen selbst bleibt, die man auf Kubernetes betreiben m\u00f6chte, empfehle ich 1 GB aufw\u00e4rts – mehr ist tendenziell nat\u00fcrlich besser.<\/p>\n Fr\u00fcher war Docker eine Voraussetzung f\u00fcr Kubernetes. Mittlerweile ver<\/a>abschiedet sich Kubernetes mit Version 1.23 von Docker<\/a> – allerdings nur auf technischer Ebene. Auch hier gibt es Standards: Die Open Container Initiative (OCI) <\/strong>legt den Standard f\u00fcr Container und Images fest, den ihr vielleicht von Docker schon kennt. CRI (Container Runtime Interface)<\/strong> hei\u00dft die Schnittstelle zwischen Kubernetes und der Container-Laufzeitumgebung. Die wird von Docker nicht unterst\u00fctzt, daher gibt es mit Dockershim eine \u00dcbersetzungsschicht.<\/p>\n Es gibt aber alternative Laufzeitumgebungen, die diese Standards ohne Zwischenschicht erf\u00fcllen. Beispielsweise Podman <\/strong>oder Containerd<\/strong>. K3s nutzt daher mittlerweile standardm\u00e4\u00dfig Containerd statt wie fr\u00fcher Docker. Wer m\u00f6chte, kann auf Wunsch zur\u00fcck Docker wechseln<\/a>. W\u00fcrde ich ohne guten Grund jedoch nicht empfehlen, da Docker wie gesagt ab Kubernetes 1.23 ohnehin nicht mehr unterst\u00fctzt wird.<\/p>\n Das Raspberry Pi OS hat seine Standard-Firewall von iptable <\/strong>auf dessen Nachfolger nftables <\/strong>umgestellt:<\/p>\n Wenn iptables <\/strong>wie hier auf \/usr\/sbin\/iptables-nft<\/strong> zeigt, m\u00fcssen wir dies umstellen. Derzeit ist K3s nur mit iptables kompatibel. Anschlie\u00dfend sollte das System neu gestartet werden:<\/p>\n Kubernetes ben\u00f6tigt „Control Groups“, kurz cgroups<\/strong>. Diese Kontrollgruppen sind eine Kernelfunktionalit\u00e4t, um Ressourcen von Prozessen zu beschr\u00e4nken – etwa Prozessorauslastung oder Arbeitsspeicher. Da cgroups auf dem Raspberry Pi OS standardm\u00e4\u00dfig nicht aktiv sind, m\u00fcssen wir cgroup_memory=1 cgroup_enable=memory<\/strong> ans Ende der Datei \/boot\/cmdline.txt <\/strong>einf\u00fcgen:<\/p>\n Damit unsere beiden \u00c4nderungen wirksam werden, erfolgt mit sudo reboot<\/strong> ein Neustart.<\/p>\n Mittlerweile bietet K3s ein Installationsskript, womit die Installation stark vereinfacht wird. Wie immer empfehle ich, dies zun\u00e4chst herunterzuladen und einen Blick darauf zu werfen:<\/p>\n Das Skript unterst\u00fctzt mehrere Umgebungsvariablen zur Anpassung<\/a>. F\u00fcr den Einstieg sind die voreingestellten Standardwerte in den meisten F\u00e4llen ausreichend, sodass man es ohne weitere Konfiguration starten kann:<\/p>\n Auf dem Raspberry Pi 4 dauert es keine Minute, bis die Installation abgeschlossen ist. Durch das Skript kann man k3s systemweit nutzen, k3s kubectl bietet Zugriff auf kubectl – das Standardwerkzeug, um Kubernetes-Cluster zu verwalten:<\/p>\n Hier sehen wir unseren Pi mit beiden Rollen (Control Plane zur Verwaltung, Master f\u00fcr die Anwendungen) auf Kubernetes 1.22. <\/p>\n F\u00fcr einen einfachen Cluster mit nur einem Node, der lokal genutzt wird, m\u00fcsst ihr daher nicht zwingend kubectl installieren. Ihr k\u00f6nnt es aber z.B. auf eurer Workstation installieren und direkt von dort auf euren K8s „Cluster“ zugreifen. Dazu muss nur die Konfigurationsdatei \/etc\/rancher\/k3s\/k3s.yaml<\/strong> vom Pi in ~\/.kube\/config<\/strong> kopiert werden, damit sich der Client verbinden kann.<\/p>\n Eine Liste aller derzeit unterst\u00fctzten Versionen mit End of Life Datum finden sich in der Kubernetes-Dokumentation<\/a>. Wenn ihr eine bestimmte Kubernetes-Version m\u00f6chtet, m\u00fcsst ihr die k3s Version wechseln und k\u00f6nnt diese mit der Umgebungsvariable INSTALL_K3S_VERSION <\/strong>angeben. K3s benennt seine Versionen gleich wie Kubernetes, d.H. mit K3s v1.21.9+k3s1<\/strong> erhaltet ihr den Vorg\u00e4nger 1.21 statt 1.22. Eine \u00dcbersicht aller Versionen: K3s Releases<\/a>.<\/p>\n F\u00fcr einen Versionswechsel m\u00fcsst ihr zun\u00e4chst eine bestehende Installation von K3s deinstallieren (dauert keine 10 Sekunden). ACHTUNG: Alles was in eurem Cluster liegt, geht dadurch verloren<\/strong>! Unbedingt vorher sichern falls notwendig oder am besten zum Experimentieren ein eigenes Testger\u00e4t benutzen.<\/strong><\/p>\n Nun mit INSTALL_K3S_VERSION <\/strong>und der gew\u00fcnschten Version (neu) installieren:<\/p>\n Und schon hat man in unter 3 Minuten einen neuen Kubernetes-Cluster auf dem Raspberry Pi 4, diesmal mit Version 1.21 statt 1.22:<\/p>\n In unseren ersten Tests haben wir k3s<\/strong> mit sudo<\/strong> als root aufgerufen. Das l\u00e4sst sich vermeiden, in dem wir den Eigent\u00fcmer der Cluster-Konfiguration auf unseren Benutzer (im Standard pi) korrigieren:<\/p>\n Du besitzt nun einen Kubernetes-Cluster. Zwar nur mit einem einzigen Node und daher streng genommen kein Cluster – aber v.a. f\u00fcr den Anfang reicht das v\u00f6llig aus, um die Grundlagen von Kubernetes zu erlernen oder Testumgebungen aufzubauen. <\/p>\n Schauen wir uns f\u00fcr eine Demo das kleinste m\u00f6gliche Objekt an: Ein Pod. Er b\u00fcndelt einen oder mehrere Container, die gemeinsame Ressourcen (z.B. Speicher) nutzen k\u00f6nnen. Er ist daher die einfachste (aber nicht Einzige) M\u00f6glichkeit, einen Container auf Basis eines Images zu erzeugen. <\/p>\n Dazu legt man eine Yaml-Textdatei (z.B. nginx.yml<\/strong>) an. Dieses Yaml erzeugt einen Pod namens webserver<\/strong>, der einen Container startet: „nginx“ mit dem „nginx:1.20“ Image. Mit kubectl <\/strong>k\u00f6nnen wir das Objekt erstellen lassen. Falls ihr direkt auf dem Pi arbeitet, „k3s“ davor setzen:<\/p>\n Wie ihr seht, folgt auf kubectl <\/strong>immer ein Befehl, in diesem Beispiel apply<\/strong>. Der Status aller Pods l\u00e4sst sich mit get pods einsehen:<\/strong><\/p>\n Beim erstmaligen Deployen dauert das Erstellen (je nach Internetgeschwindigkeit) eine Zeit, da zun\u00e4chst das Image heruntergeladen werden muss. Anschlie\u00dfend sollten der Container auf „Running“ stehen:<\/p>\n Kubernetes erzeugt ein virtuelles Netzwerk und weist dem Pod eine IP-Adresse zu. Mit dem Befehl describe pod<\/strong> werden alle Informationen zu der Ressource (hier dem Pod) angezeigt.<\/p>\n Die Restliche Ausgabe habe ich zur \u00dcbersicht abgeschnitten. Ich empfehle dir, zumindest sp\u00e4ter dennoch einen Blick darauf zu werfen – vor allem der untere „Events“ Bereich kann zur Fehlersuche hilfreich sein. Aber bleiben wir bei der IP: 10.42.0.10<\/strong> hat Kubernetes dem Webserver-Pod zugewiesen. \u00dcber curl k\u00f6nnen wir auf dem Pi dar\u00fcber unseren Nginx erreichen:<\/p>\n Der Zugriff erscheint im AccessLog des Nginx. Dieser wird in Containern standardm\u00e4\u00dfig auf die Standardausgabe (stdout) geschrieben. Mit dem kubectl Befehl „logs“ k\u00f6nnen wir die Ausgabe einsehen:<\/p>\n Die letzte Zeile stammt von unserem curl <\/em>Testaufruf.<\/p>\n Der curl <\/em>Aufruf funktioniert nur auf dem Kubernetes-Node selbst – nicht au\u00dferhalb, etwa vom eigenen PC. Dies l\u00e4sst sich mithilfe eines Ingress \u00e4ndern. Um den Webserver mit eigenen Inhalten zu f\u00fcllen, kann man Volumes oder Init-Container einsetzen. Das sind nur Beispiele, wie man sich an kleinen, praktischen F\u00e4llen in die restlichen Kubernetes-Objekte einarbeiten kann. Sich damit zu besch\u00e4ftigen w\u00e4re f\u00fcr Anf\u00e4nger der n\u00e4chste Schritt.<\/p>\n Anschlie\u00dfend macht es Sinn, den Einstieg in „echte“ Cluster zu starten. Das hei\u00dft: Mehrere Nodes (z.B. Raspberry Pis, oder aber x86 VMs bzw. Server) und die damit entstehenden neuen Szenarien, wie beispielsweise Lastverteilung oder Hochverf\u00fcgbarkeit.<\/p>\n Beides w\u00fcrde an dieser Stelle aber den Rahmen sprengen. Kubernetes hat im Vergleich zu Docker eine h\u00f6here Komplexit\u00e4t, an die ich mich langsam heran tasten w\u00fcrde – sonst wird man schnell \u00fcberfahren und frustriert. Falls ihr euch f\u00fcr weitere Beitr\u00e4ge rund um Kubernetes interessiert, schreibt es gerne ins Forum.<\/p>\n","protected":false},"excerpt":{"rendered":" Dieser Beitrag richtet sich an Einsteiger, die Kubernetes auf dem Raspberry Pi oder einem anderen Debian-System installieren m\u00f6chten. Wir werden uns die wichtigsten Grundlagen ansehen, ohne zu sehr ins Detail zu gehen. Am Ende der Einrichtung folgt die Installation (Deployment) eines einfachen Webservers auf dem soeben erstellten Cluster. Der Fokus ist auf dem Raspberry Pi …<\/p>\n","protected":false},"author":5,"featured_media":8490,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[671],"tags":[1022,719],"class_list":["post-8439","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-raspberry-pi","tag-k3s","tag-kubernetes"],"_links":{"self":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts\/8439","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/comments?post=8439"}],"version-history":[{"count":10,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts\/8439\/revisions"}],"predecessor-version":[{"id":9779,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts\/8439\/revisions\/9779"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/media\/8490"}],"wp:attachment":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/media?parent=8439"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/categories?post=8439"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/tags?post=8439"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Was hat es mit K3s auf sich?<\/h2>\n
Voraussetzungen f\u00fcr Kubernetes mit K3s<\/h2>\n
Hardware<\/h3>\n
Was ist mit Docker?<\/h3>\n
Iptables statt nftables<\/h3>\n
$ update-alternatives --get-selections | grep iptables\niptables auto \/usr\/sbin\/iptables-nft<\/code><\/pre>\nsudo iptables -F\nsudo update-alternatives --set iptables \/usr\/sbin\/iptables-legacy\n# Falls Ipv6 verwendet wird\nsudo update-alternatives --set ip6tables \/usr\/sbin\/ip6tables-legacy\n<\/code><\/pre>\n„Control Groups“ aktivieren<\/h3>\n
$ cat \/boot\/cmdline.txt\nconsole=serial0,115200 console=tty1 root=PARTUUID=67be036d-02 rootfstype=ext4 fsck.repair=yes rootwait cgroup_memory=1 cgroup_enable=memory<\/code><\/pre>\nKubernetes mit K3s installieren<\/h2>\n
curl -sfL https:\/\/get.k3s.io -o k3s-install.sh<\/code><\/pre>\nbash k3s-install.sh<\/code><\/pre>\n$ sudo k3s kubectl get nodes\nNAME STATUS ROLES AGE VERSION\npi Ready control-plane,master 88m v1.22.6+k3s1<\/code><\/pre>\nVersion wechseln\/bestimmte Version installieren<\/h2>\n
sudo \/usr\/local\/bin\/k3s-uninstall.sh<\/code><\/pre>\nINSTALL_K3S_VERSION=v1.21.9+k3s1 bash k3s-install.sh<\/code><\/pre>\n$ sudo k3s kubectl get nodes\nNAME STATUS ROLES AGE VERSION\npi Ready control-plane,master 27s v1.21.9+k3s1<\/code><\/pre>\nBerechtigungen korrigieren: K3s ohne root ausf\u00fchren<\/h2>\n
$ sudo chown pi:pi \/etc\/rancher\/k3s\/k3s.yaml\n$ k3s kubectl get no\nNAME STATUS ROLES AGE VERSION\npi Ready control-plane,master 4m48s v1.21.9+k3s1<\/code><\/pre>\n„Hallo Welt“: Erste Kubernetes-Objekte erstellen<\/h2>\n
apiVersion: v1\nkind: Pod\nmetadata:\n name: webserver\nspec:\n containers:\n - name: nginx\n image: nginx:1.20\n ports:\n - containerPort: 80<\/code><\/pre>\n$ k3s kubectl apply -f nginx.yml\npod\/webserver created<\/code><\/pre>\n$ k3s kubectl get pod\nNAME READY STATUS RESTARTS AGE\nwebserver 0\/1 ContainerCreating 0 4s<\/code><\/pre>\n$ k3s kubectl get pod\nNAME READY STATUS RESTARTS AGE\nwebserver 1\/1 Running 0 31s<\/code><\/pre>\n$ k3s kubectl describe pod webserver\nName: webserver\nNamespace: default\nPriority: 0\nNode: pi\/192.168.0.120\nStart Time: Mon, 07 Feb 2022 19:42:47 +0100\nLabels: <none>\nAnnotations: <none>\nStatus: Running\nIP: 10.42.0.10\nIPs:\n IP: 10.42.0.10\n...<\/code><\/pre>\n$ curl http:\/\/10.42.0.10\n<!DOCTYPE html>\n<html>\n<head>\n<title>Welcome to nginx!<\/title>\n<style>\n body {\n width: 35em;\n margin: 0 auto;\n font-family: Tahoma, Verdana, Arial, sans-serif;\n }\n<\/style>\n<\/head>\n<body>\n<h1>Welcome to nginx!<\/h1>\n<p>If you see this page, the nginx web server is successfully installed and\nworking. Further configuration is required.<\/p>\n\n<p>For online documentation and support please refer to\n<a href="http:\/\/nginx.org\/">nginx.org<\/a>.<br\/>\nCommercial support is available at\n<a href="http:\/\/nginx.com\/">nginx.com<\/a>.<\/p>\n\n<p><em>Thank you for using nginx.<\/em><\/p>\n<\/body>\n<\/html><\/code><\/pre>\n$ k3s kubectl logs webserver\n\/docker-entrypoint.sh: \/docker-entrypoint.d\/ is not empty, will attempt to perform configuration\n\/docker-entrypoint.sh: Looking for shell scripts in \/docker-entrypoint.d\/\n\/docker-entrypoint.sh: Launching \/docker-entrypoint.d\/10-listen-on-ipv6-by-default.sh\n10-listen-on-ipv6-by-default.sh: info: Getting the checksum of \/etc\/nginx\/conf.d\/default.conf\n10-listen-on-ipv6-by-default.sh: info: Enabled listen on IPv6 in \/etc\/nginx\/conf.d\/default.conf\n\/docker-entrypoint.sh: Launching \/docker-entrypoint.d\/20-envsubst-on-templates.sh\n\/docker-entrypoint.sh: Launching \/docker-entrypoint.d\/30-tune-worker-processes.sh\n\/docker-entrypoint.sh: Configuration complete; ready for start up\n2022\/02\/07 19:43:14 [notice] 1#1: using the "epoll" event method\n2022\/02\/07 19:43:14 [notice] 1#1: nginx\/1.20.2\n2022\/02\/07 19:43:14 [notice] 1#1: built by gcc 10.2.1 20210110 (Debian 10.2.1-6)\n2022\/02\/07 19:43:14 [notice] 1#1: OS: Linux 5.10.92-v8+\n2022\/02\/07 19:43:14 [notice] 1#1: getrlimit(RLIMIT_NOFILE): 1048576:1048576\n2022\/02\/07 19:43:14 [notice] 1#1: start worker processes\n2022\/02\/07 19:43:14 [notice] 1#1: start worker process 31\n2022\/02\/07 19:43:14 [notice] 1#1: start worker process 32\n2022\/02\/07 19:43:14 [notice] 1#1: start worker process 33\n2022\/02\/07 19:43:14 [notice] 1#1: start worker process 34\n10.42.0.1 - - [07\/Feb\/2022:19:56:41 +0000] "GET \/ HTTP\/1.1" 200 612 "-" "curl\/7.74.0" "-"<\/code><\/pre>\nWie geht es weiter?<\/h2>\n