{"id":13420,"date":"2024-06-27T22:31:46","date_gmt":"2024-06-27T20:31:46","guid":{"rendered":"https:\/\/u-labs.de\/portal\/?p=13420"},"modified":"2024-06-27T22:33:18","modified_gmt":"2024-06-27T20:33:18","slug":"ai-kit-raspberry-pi-5-wird-zum-ki-pc","status":"publish","type":"post","link":"https:\/\/u-labs.de\/portal\/ai-kit-raspberry-pi-5-wird-zum-ki-pc\/","title":{"rendered":"„AI Kit“: Der Raspberry Pi 5 wird zum KI-PC"},"content":{"rendered":"

Auch vor den Einplatinencomputern macht der „KI“-Hype nicht halt. Nach dem Radxa Rock 5B<\/a> erh\u00e4lt der Raspberry Pi ebenfalls eine M\u00f6glichkeit, um sich speziell auf „K\u00fcnstliche Intelligenz“ zu optimieren. Was kann das erste offizielle „KI“ Zubeh\u00f6r und welche m\u00f6glichen Anwendungsf\u00e4lle lassen sich abdecken? Dieser Beitrag wirft einen Blick darauf.<\/p>\n

Zu CPU und GPU gesellt sich die („KI“) NPU: Warum so viele Prozessoren?<\/h2>\n

Computer bestehen aus mehreren Prozessoren. Am bekanntesten d\u00fcrfte die CPU<\/strong> (central processing unit<\/em>) sein. Dabei handelt es sich um die zentrale Recheneinheit: Sie l\u00e4dt Daten aus dem Speicher, f\u00fchrt damit Operationen durch und schreibt sie wieder in einen (anderen) Speicher. Dadurch betreibt die CPU prim\u00e4r das Betriebssystem mit allen Anwendungsprogrammen – beispielsweise GNU\/Linux oder MS Windows mit einem Browser. Unter allen Prozessoren sind CPUs die wichtigsten und k\u00f6nnen verschiedenste Aufgaben erledigen.<\/p>\n

Das bietet zwar Flexibilit\u00e4t. Wie so oft lassen sich universelle Werkzeuge jedoch nur begrenzt f\u00fcr spezielle Anwendungsf\u00e4lle optimieren. Daher gibt es bereits seit langem GPU<\/strong>s, die sich auf grafische Berechnungen fokussieren (graphics processing unit<\/em>). Sie k\u00f6nnen stark parallelisierte Aufgaben deutlich effizienter ausf\u00fchren und sind CPUs hierbei deutlich \u00fcberlegen. F\u00fcr maschinelles Lernen („KI“) werden sie daher von Anfang an bevorzugt eingesetzt. Allerdings wurden sie nicht gezielt daf\u00fcr entwickelt und haben Schw\u00e4chen. Sie eignen sich von den beiden vorhandenen Prozessoren lediglich am besten.<\/p>\n

Eine NPU<\/strong> (Neural Processing Unit) hat sich dagegen auf die Anforderungen von maschinellem Lernen spezialisiert. Das sind Berechnungen, die beispielsweise f\u00fcr Inferenzaufgaben eingesetzt werden. Dabei soll die „KI“ ihr „gelerntes“ Wissen auf neue Daten \u00fcbertragen. Einer meiner Lehrer hat das Transferwissen<\/em> genannt und in Klausuren gro\u00dfz\u00fcgig ausgelegt. Durch Optimierungen auf solche Anwendungsf\u00e4lle k\u00f6nnen derartige „KI“ Aufgaben schneller sowie effizienter ausgef\u00fchrt werden. Au\u00dferdem entlasten sie die anderen Prozessoren – \u00e4hnlich wie beispielsweise die Hardwarebeschleunigung beim Streams von Videos die Last von CPU auf GPU verlagert. Zum einen funktioniert dies meist besser. Zum anderen ist die CPU daf\u00fcr f\u00fcr andere Aufgaben verf\u00fcgbar, etwa Hintergrundprogramme. Das ist besonders wichtig, wenn es auf Effizienz ankommt.<\/p>\n

NPUs gibt es nicht erst seit ChatGPT<\/h2>\n

W\u00e4hrend ChatGPT sicherlich ein sichtbarer Meilenstein war und dadurch die breite Masse auf „KI“ aufmerksam gemacht hat, ist das Thema an sich alles andere als neu. PyTorch, eine der verbreitetsten Bibliotheken f\u00fcr maschinelles Lernen, erschien bereits 2016. Der Gedanke von KI zusammen mit kleineren Fortschritten ist noch viel \u00e4lter. Man k\u00f6nnte meinen, dass NPUs vor ein paar Monaten erfunden wurden – als Reaktion auf ChatGPT. Auch das ist jedoch falsch: 2017 brachte Huawei das erste Smartphone mit im SoC integriertem NPU auf den Markt. Apple folgte im gleichen Jahr mit dem iPhone 8 und iPhone X.1<\/a><\/sup> Qualcom stellte 2018 mit dem Snapdragon 855 einen vergleichbaren SoC vor.2<\/a><\/sup> Bereits seit Jahren hat die gro\u00dfe Mehrheit von euch ein „KI Smartphone“ in der Hosentasche – wahrscheinlich oft, ohne sich dem bewusst zu sein.<\/p>\n

Neu ist lediglich, dass seit ChatGPT ein gro\u00dfer Hype daraus geworden ist. Und NPUs langsam aber sicher auch ihren Weg in PCs\/Notebooks finden. Zur Verwirrung tragen die PR-Abteilungen der Konzerne bei: Um ausgefallener zu klingen, versehen sie ihre NPUs mit eigenen Bezeichnungen. Apple nennt sie „Neural Engine“. Google hat ihre NPUs noch spezifischer f\u00fcr TensorFlow entwickelt und vermarktet sie daher als Tensor TPU (Processing Unit).3<\/a><\/sup>Neu ist lediglich, dass seit ChatGPT ein gro\u00dfer Hype daraus geworden ist. Und NPUs langsam aber sicher auch ihren Weg in PCs\/Notebooks finden. Zur Verwirrung tragen die PR-Abteilungen der Konzerne bei: Um ausgefallener zu klingen, versehen sie ihre NPUs mit eigenen Bezeichnungen. Apple nennt sie „Neural Engine“. Google hat ihre NPUs noch spezifischer f\u00fcr TensorFlow entwickelt und vermarktet sie daher als Tensor TPU (Processing Unit).<\/p>\n

Was kann man damit in der Praxis anfangen?<\/h2>\n

Das Verbessern oder Ver\u00e4ndern von Bildern bzw. Videos ist ein recht allt\u00e4gliches Szenario. Hierbei kann es sich um die Kamera-App des Handys handeln, die das Bild in Echtzeit versucht zu verbessern. Oder die Entfernung\/Ersetzung des Hintergrundes.4<\/a><\/sup> In einer Videokonferenz entsteht dabei besonders viel Last, da das Video dauerhaft und in Echtzeit analysiert sowie ver\u00e4ndert wird. Ist die Hardware daf\u00fcr zu langsam, w\u00fcrde es zu st\u00f6renden Rucklern kommen. Au\u00dferdem m\u00f6chte nat\u00fcrlich niemand, dass sich der Akku des Handys oder Notebooks bei so einer Videokonferenz in Rekordzeit leert.<\/p>\n

Einplatinencomputer wie der Raspberry Pi k\u00f6nnen davon profitieren, wenn sie f\u00fcr solche Aufgaben als Desktop-PC zum Einsatz kommen. Denkbar sind zudem Projekte, bei denen etwa Kameras in Echtzeit analysiert werden sollen: Bewegt sich im Garten nur die zu Besuch gekommene Katze des Nachbars? Oder ein Mensch, der m\u00f6glicherweise etwas im Schilde f\u00fchrt? In letzterem Falle k\u00f6nnte der Bewohner benachrichtigt werden – ohne seine Zeit durch Fehlalarme von Tieren zu verschwenden.<\/p>\n

Das neue „AI Kit“ f\u00fcr den Raspberry Pi 5<\/h2>\n
\n
\"\"<\/a>
Bildquelle: Raspberry Pi<\/figcaption><\/figure>\n<\/div>\n

Der Raspberry Pi setzt seit jeher auf \u00e4ltere Smartphone-Prozessoren. Es war daher abzusehen, dass NPUs irgendwann ihren Weg hier hin finden werden. Dank der schnellen PCIe-Schnittstelle des Raspberry Pi 5 muss daf\u00fcr allerdings nicht auf das Nachfolgemodell gewartet werden: Zusammen mit Halio wurde das „AI Kit“ ver\u00f6ffentlicht. Damit kann eine NPU per HAT nachger\u00fcstet werden. Sie ist nicht in den HAT integriert, sondern der HAT liefert daf\u00fcr nur den n\u00f6tigen Anschluss sowie Montagem\u00f6glichkeit. Das Hailo-8L AI wird dort rein gesteckt, es entspricht dem M.2 2242 Formatfaktor.<\/p>\n

Er soll eine Leistung von 13 TOPS (Tera-Operationen pro Sekunde) liefern, bei einer maximalen Leistungsaufnahme von 2,3 Watt. Deutlich weniger, als etwa Coral von Google – dort werden nur 8 TOPS bei einer Leistungsaufnahme von 4 Watt geboten.5<\/a><\/sup> Das offizielle „AI Kit“ ist etwas schneller, als die aktuelle NPU von Intel und Apple (beide 11 TOPS).6<\/a><\/sup> Ein alleiniger Vergleich der NPUs ist allerdings schwierig, weil beide zus\u00e4tzlich eine st\u00e4rkere CPU & GPU besitzen. Darauf kann Alternativ zur\u00fcckgegriffen werden – insbesondere, nachdem der Vorsprung mit 2 TOPS relativ \u00fcberschaubar ist. Es liefert allerdings den Eindruck, dass sich dieses Modul auf dem Stand der Technik befindet. Das ist erw\u00e4hnenswert, weil zumindest der Raspberry Pi selbst aus Kostengr\u00fcnden auf SoCs zur\u00fcck greift, die bereits mehrere Jahre auf dem Markt und dementsprechend relativ langsam sind.<\/p>\n

Praktisch m\u00f6glich ist damit etwa die Erkennung von Gesichtern, wie folgendes Beispiel aus der Dokumentation7<\/a><\/sup> zeigt:<\/p>\n

\n
\"\"<\/a>
Bildquelle: Raspberry Pi<\/figcaption><\/figure>\n<\/div>\n

Eben so kann mithilfe von maschinellem Lernen in Echtzeit analysiert werden, welche Objekte auf dem Bild der Kamera zu sehen sind. In einem kurzen Video wird das anhand von fahrenden Autos auf einer Autobahn demonstriert.8<\/a><\/sup> Weitere Beispiele liefert die Dokumentation.9<\/a><\/sup><\/p>\n

\n
\"\"<\/a>
Bildquelle: Raspberry Pi<\/figcaption><\/figure>\n<\/div>\n

Betont wird, dass dies nur m\u00f6gliche Beispiele sind. Man kann damit auch andere ML-Aufgaben ausf\u00fchren – etwa die Analyse von bereits vorhandenem Videomaterial.<\/p>\n

Die St\u00e4rken des Raspberry Pi \u00d6kosystems<\/h2>\n

Auch hier d\u00fcrfte der gr\u00f6\u00dfte Vorteil an der Software sowie dem zuverl\u00e4ssigen \u00d6kosystem des Raspberry Pi liegen. Die Dokumentation ist bereits verf\u00fcgbar und beschreibt diverse Anwendungsf\u00e4lle mit Beispielen.10<\/a><\/sup> Die Schritt-f\u00fcr-Schritt-Anleitung ist zwar in Englisch gehalten. Sie hat das Potenzial, insbesondere Einsteiger den Weg in die Welt von ML zu ebnen, denen der h\u00e4ndische Weg zu komplex ist. S\u00e4mtliche Software befindet sich in einem einzigen Paket, welches zudem in den offiziellen Raspberry Pi OS Paketquellen enthalten ist.11<\/a><\/sup><\/p>\n

Auch hier d\u00fcrfte der gr\u00f6\u00dfte Vorteil an der Software sowie dem zuverl\u00e4ssigen \u00d6kosystem des Raspberry Pi liegen. Die Dokumentation ist bereits verf\u00fcgbar und beschreibt diverse Anwendungsf\u00e4lle mit Beispielen.10<\/a><\/sup> Die Schritt-f\u00fcr-Schritt-Anleitung ist zwar in Englisch gehalten. Sie hat das Potenzial, insbesondere Einsteiger den Weg in die Welt von ML zu ebnen, denen der h\u00e4ndische Weg zu komplex ist. S\u00e4mtliche Software befindet sich in einem einzigen Paket, welches zudem in den offiziellen Raspberry Pi OS Paketquellen enthalten ist. Bereits seit l\u00e4ngerem besitzt der Raspberry Pi ein offizielles Kamera-Modul, das unterst\u00fctzt wird. Auch dazu existiert eine umfangreiche Dokumentation.13<\/a><\/sup><\/p>\n

Man kann sich also komplett aus einer Hand eindecken, ohne sich Gedanken \u00fcber die Kompatibilit\u00e4t zu machen. Selbst die Modelle muss man sich nicht zwingend selbst suchen: Im „Model Zoo“ stellt Halio einige Vortrainierte bereit, beispielsweise zur Klassifizierung oder Objekterkennung.14<\/a><\/sup> Interessierte k\u00f6nnen das „AI Kit“ f\u00fcr 70 US Dollar erwerben.15<\/a><\/sup> Dies entspricht etwa 80 Euro.16<\/a><\/sup><\/p>\n

Fazit: „KI“ ist beim Raspberry Pi angekommen<\/h2>\n

Bisher hat sich der Raspberry Pi aus dem aktuellen Hype-Thema offiziell weitgehendst heraus gehalten. Das \u00e4ndert sich nun: Das erste Zubeh\u00f6r r\u00fcstet in Kooperation mit Halio eine NPU nach, sodass hierf\u00fcr nicht auf den Raspberry Pi 6 gewartet werden muss. Und das scheint erst der Anfang zu sein. Noch 2024 soll eine neue Kamera mit integriertem KI-Beschleuniger erscheinen.17<\/a><\/sup> Dadurch lie\u00dfe sich mindestens ein Teil der Rechenarbeit darauf verlagern.<\/p>\n

Quellen<\/h2>\n
    \n
  1. https:\/\/www.mediamarkt.de\/de\/content\/it-informatik\/ki\/npu-ratgeber \u21a9\ufe0e<\/a><\/li>\n
  2. https:\/\/www.computerbase.de\/2018-12\/qualcomm-snapdragon-855-features\/2\/ \u21a9\ufe0e<\/a><\/li>\n
  3. https:\/\/coral.ai\/products\/m2-accelerator-dual-edgetpu\/ \u21a9\ufe0e<\/a><\/li>\n
  4. https:\/\/support.microsoft.com\/de-de\/office\/%C3%A4ndern-ihres-hintergrunds-in-microsoft-teams-besprechungen-f77a2381-443a-499d-825e-509a140f4780 \u21a9\ufe0e<\/a><\/li>\n
  5. https:\/\/www.golem.de\/news\/raspberry-pi-ai-kit-raspberry-pi-5-bekommt-offizielle-ki-erweiterung-2406-185737.html \u21a9\ufe0e<\/a><\/li>\n
  6. https:\/\/www.heise.de\/news\/Raspberry-Pi-5-als-KI-Computer-fuer-Videobildanalyse-und-mehr-9748577.html?view= \u21a9\ufe0e<\/a><\/li>\n
  7. https:\/\/www.raspberrypi.com\/documentation\/computers\/camera_software.html#face_detect_cv-stage \u21a9\ufe0e<\/a><\/li>\n
  8. https:\/\/www.youtube.com\/watch?v=-huMW13Fp7U \u21a9\ufe0e<\/a><\/li>\n
  9. https:\/\/github.com\/hailo-ai\/hailo-rpi5-examples\/blob\/main\/README.md#configure-environment \u21a9\ufe0e<\/a><\/li>\n
  10. https:\/\/www.raspberrypi.com\/documentation\/accessories\/ai-kit.html \u21a9\ufe0e<\/a><\/li>\n
  11. https:\/\/github.com\/hailo-ai\/hailo-rpi5-examples\/blob\/main\/doc\/install-raspberry-pi5.md \u21a9\ufe0e<\/a><\/li>\n
  12. https:\/\/www.raspberrypi.com\/documentation\/accessories\/ai-kit.html \u21a9\ufe0e<\/a><\/li>\n
  13. https:\/\/www.raspberrypi.com\/documentation\/computers\/camera_software.html \u21a9\ufe0e<\/a><\/li>\n
  14. https:\/\/github.com\/hailo-ai\/hailo_model_zoo \u21a9\ufe0e<\/a><\/li>\n
  15. https:\/\/www.raspberrypi.com\/news\/raspberry-pi-ai-kit-available-now-at-70\/ \u21a9\ufe0e<\/a><\/li>\n
  16. https:\/\/www.heise.de\/news\/Raspberry-Pi-5-als-KI-Computer-fuer-Videobildanalyse-und-mehr-9748577.html \u21a9\ufe0e<\/a><\/li>\n
  17. https:\/\/www.heise.de\/news\/Raspberry-Pi-15-6-Zoll-Display-und-KI-Kamera-geplant-9680097.html \u21a9\ufe0e<\/a><\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"

    Auch vor den Einplatinencomputern macht der „KI“-Hype nicht halt. Nach dem Radxa Rock 5B erh\u00e4lt der Raspberry Pi ebenfalls eine M\u00f6glichkeit, um sich speziell auf „K\u00fcnstliche Intelligenz“ zu optimieren. Was kann das erste offizielle „KI“ Zubeh\u00f6r und welche m\u00f6glichen Anwendungsf\u00e4lle lassen sich abdecken? Dieser Beitrag wirft einen Blick darauf. Zu CPU und GPU gesellt sich …<\/p>\n","protected":false},"author":5,"featured_media":13436,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"[{\"content\":\"https:\/\/www.mediamarkt.de\/de\/content\/it-informatik\/ki\/npu-ratgeber\",\"id\":\"1c706cb4-1a5c-45a4-b498-ad3105298351\"},{\"content\":\"https:\/\/www.computerbase.de\/2018-12\/qualcomm-snapdragon-855-features\/2\/\",\"id\":\"b9e1ad2b-fae8-4860-88b3-e4098908aac4\"},{\"content\":\"https:\/\/coral.ai\/products\/m2-accelerator-dual-edgetpu\/\",\"id\":\"e8b30d31-7692-4bfd-9d0a-00138075a7bc\"},{\"content\":\"https:\/\/support.microsoft.com\/de-de\/office\/%C3%A4ndern-ihres-hintergrunds-in-microsoft-teams-besprechungen-f77a2381-443a-499d-825e-509a140f4780\",\"id\":\"bab165c6-8701-45a4-b973-af1c7ffcea9e\"},{\"content\":\"https:\/\/www.golem.de\/news\/raspberry-pi-ai-kit-raspberry-pi-5-bekommt-offizielle-ki-erweiterung-2406-185737.html\",\"id\":\"e779882d-5e6b-467b-ac4e-8f87e3d2762a\"},{\"content\":\"https:\/\/www.heise.de\/news\/Raspberry-Pi-5-als-KI-Computer-fuer-Videobildanalyse-und-mehr-9748577.html?view=\",\"id\":\"7c74ee19-d3c3-4387-8094-e9a1a295a508\"},{\"content\":\"https:\/\/www.raspberrypi.com\/documentation\/computers\/camera_software.html#face_detect_cv-stage\",\"id\":\"c813b99d-cb0d-4ff5-97fe-6c9d2d5bcb9a\"},{\"content\":\"https:\/\/www.youtube.com\/watch?v=-huMW13Fp7U\",\"id\":\"76417b18-f75a-4cae-8716-dd1375413566\"},{\"content\":\"https:\/\/github.com\/hailo-ai\/hailo-rpi5-examples\/blob\/main\/README.md#configure-environment\",\"id\":\"7f56704d-8aec-4b73-a41d-0cde7d270bef\"},{\"content\":\"https:\/\/www.raspberrypi.com\/documentation\/accessories\/ai-kit.html\",\"id\":\"5ec644de-897f-4e4f-a594-987c23cc4531\"},{\"content\":\"https:\/\/github.com\/hailo-ai\/hailo-rpi5-examples\/blob\/main\/doc\/install-raspberry-pi5.md\",\"id\":\"d2d38c4b-006b-4f6b-958d-4fefcc782182\"},{\"content\":\"https:\/\/www.raspberrypi.com\/documentation\/accessories\/ai-kit.html\",\"id\":\"5ec644de-897f-4e4f-a594-987c23cc4531\"},{\"content\":\"https:\/\/www.raspberrypi.com\/documentation\/computers\/camera_software.html\",\"id\":\"35953ea7-58d6-43cd-a527-335d8413f064\"},{\"content\":\"https:\/\/github.com\/hailo-ai\/hailo_model_zoo\",\"id\":\"38ca5f25-b7d8-4202-bc49-040e3ead7b6f\"},{\"content\":\"https:\/\/www.raspberrypi.com\/news\/raspberry-pi-ai-kit-available-now-at-70\/\",\"id\":\"bcd9eb9b-bd63-47de-9fcc-daa224456fe9\"},{\"content\":\"https:\/\/www.heise.de\/news\/Raspberry-Pi-5-als-KI-Computer-fuer-Videobildanalyse-und-mehr-9748577.html\",\"id\":\"020134cd-1c01-40a3-ad39-465368d0f828\"},{\"content\":\"https:\/\/www.heise.de\/news\/Raspberry-Pi-15-6-Zoll-Display-und-KI-Kamera-geplant-9680097.html\",\"id\":\"34bd3bc2-5181-4d45-aecf-cf9b838a5ac5\"}]"},"categories":[1098],"tags":[910,1079,1095],"class_list":["post-13420","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-raspberry-pi-5","tag-ki","tag-kuenstliche-intelligenz-2","tag-raspberry-pi-5-2"],"_links":{"self":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts\/13420","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/comments?post=13420"}],"version-history":[{"count":7,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts\/13420\/revisions"}],"predecessor-version":[{"id":13439,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/posts\/13420\/revisions\/13439"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/media\/13436"}],"wp:attachment":[{"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/media?parent=13420"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/categories?post=13420"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/u-labs.de\/portal\/wp-json\/wp\/v2\/tags?post=13420"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}