"Künstliche Intelligenz": Mit diesem Modul wird der Raspberry Pi 5 zum "KI" Computer

[DMW007]

Die sogenannte "Künstliche Intelligenz" hat längst Blockchain, Cloud und andere Hype-Themen abgelöst: Was keine "KI" beinhaltet, gilt als uninteressant - ob es sinnvoll ist oder nicht, sei dahingestellt. Daher springen immer mehr auf den Zug auf - darunter mittlerweile auch der Raspberry Pi: Das "AI Kit" ist bereits auf dem Markt. Statt einer Eigenentwicklung hat man mit Halio zusammengearbeitet, dabei ist dennoch ein offizielles Zubehör entstanden. Im Kern rüstet es eine NPU nach - ein Prozessor, der auf Berechnungen für maschinelles Lernen optimiert ist. Die Technik dahinter ist gar nicht so brandneu, wie der Medienwirbel um ChatGPT es suggeriert: Bereits 2018 sind die ersten ARM SoC erschienen, die neben CPU und GPU auch eine NPU enthalten. Der erste stammte von Huawei, kurz darauf zog Apple nach. Sie sind also seit ca. 6 Jahren auf dem Markt, viele Smartphones besitzen bereits einen.

Dennoch sind sie für viele neu, weil außerhalb der Technik-Szene kein großer Tumult gemacht wurde. Darüber hinaus haben es die Hersteller von X86-Prozessoren bislang nicht für nötig gehalten, ebenfalls NPUs einzubauen. Das hat sich erst vor wenigen Monaten geändert, was den "Das ist neu" Eindruck verstärkt. Dieser Beitrag fasst das Konzept von NPUs zusammen und stellt das Raspberry Pi "AI Kit" mit seinen Möglichkeiten vor: Zum kompletten Beitrag im U-Labs Portal

[U-Labs YouTube]

Antwort von @Volker-Dirr:
Für alle, die das mit einer Kamera oder Videos benutzen wollen finde ich es sehr gut.
Ich würde viel lieber wissen, wie ich das Ding selbst programmieren kann um es für eigene Projekte zu nutzen, die nicht unbedingt etwas mit Bildern zu tun haben. Dafür fehlt mir im Moment noch leider ein guter Einstiegspunkt. Der wird aber hoffentlich früher oder später noch kommen.

[U-Labs YouTube]

Antwort von @cybercrazy1059:
Das Problem ist halt dass es oft riesige Rechenkapazitäten und Trainingsdaten benötigt, wenn ein brauchbares KI-Modell rauskommen soll. Ich habe selber mal mit YOLO eigene Bilddaten trainieren lassen, da sieht man wie lange es dauert und viel Strom benötigt und dann ist das KI-Modell immer noch ineffizient weil nicht genügend Trainingsdaten vorhanden war. Programmiertechnisch ist das nicht so schwierig. Ich bin aber trotzdem der Meinung dass wir deutsche Anleitungen brauchen, weil natürlich die KI-Beschleunigerkarten billiger und effizienter werden.

[U-Labs YouTube]

Antwort von @mampfi:
Die Software welche man benötigt um eigene Modelle mit dem ai kit zu entwickeln wurde noch nicht veröffentlicht, zuzeit kann man nur die Beispiele des Herstellers laufen lassen.

Ein guter Einstiegspunkt wäre wenn man sich high level Bibliotheken wie Keras mit google colab anguckt (und sich stark an Beispielen orientiert). Erst wenn man etwas Erfahrung hat sollte man sich andere tools wie Tensorflow oder Pytorch anzugucken. Allein schon deren software zu installiern ist oft extrem aufwendig. Ah man braucht etwas Geduld, dass ist das wichtigste

[DMW007]

"Selbst programmieren" ist breit gefächert. Die einfachste Form ist, fertige Sprachmodelle irgendwo einzubauen. Das kann z.B. ein Chatbot oder Bildgenerator sein, dem man einen "Auftrag" gibt bzw. die eingegebenen Promts mit zusätzlichen Anforderungen fest erweitert. Technisch wäre es möglich, dass diese bereits existierende Technologie von der NPU-Beschleunigung profitiert. Im Kern wäre der Mehrwert bei diesem KI-Modul vereinfacht dargestellt eine Verlagerung von z.B. der Bildgenerierung bei Stable Diffusion von der bisherigen NVidia GPU (X86) auf die NPU vom RPI (ARM). Stable Diffusion wurde auf den RPI portiert, siehe dazu mein Beitrag zur Generierung von "KI" Bildern mit OnnxStream/Stable Diffusion. Dies nutzt bisher die relativ schwache CPU und ist daher langsam, selbst Bilder mit geringer Auflösung benötigen mehrere Minuten. Das könnte - entsprechende Portierung vorausgesetzt - auf der NPU übertragen werden und dürfte dort voraussichtlich schneller laufen, womit der RPI für solche Anwendungsfälle grundsätzlich interessanter wird.

Eine Schnittstelle für Stable Diffusion oder auch generative ML-Modelle in eigene Projekte einzubauen ist technisch relativ einfach, ermöglicht allerdings nur begrenzten Einfluss. Wenn ich z.B. einen U-Labs Chatbot bauen wollte, der alle Inhalte von Portal bis Forum kennt und darauf aufbauend Fragen beantworten, Quellen nennen kann usw, würde das nicht reichen. Hierfür müsste ein Sprachmodell mit diesen Daten trainiert werden.

Das große Problem dabei wurde bereits genannt: Ressourcen. Eine Elasticsearch mit diesen Daten zu füllen und durchsuchbar zu machen, schafft jeder RPI. Sprachmodelle trainieren erfordert deutlich mehr Rechenkapazität und auch Zeit zur Prüfung. Selbst wenn man sich entsprechende Hardware (mindestens 5-Stellig) kauft, kommt da noch mal ein immenser Stromverbrauch dazu. Oder eben eine dicke Rechnung vom Anbieter, wenn man sich die Ressourcen mietet. In beiden Fällen ist das weit außerhalb eines Budgets, was privat leistbar ist. Die Ausführung eines trainierten Sprachmodells kostet zwar immer noch mehr Energie, als klassische Datenbankzugriffe - ein Grund, warum Google sich damit bei ihrer Suche wohl zurück gehalten hat. Dennoch ist das im Verhältnis zum Training deutlich geringer. Beispielsweise wird mit Tricks wie Quantisieren gearbeitet. Daher kann ein RPI5 Modelle ausführen, für deren Training er völlig unterdimensioniert ist.

Ich gehe auch davon aus, dass sich das mit der Zeit legen wird. Die ersten Computer, Handys, Smartphones, Fernseher und zig andere Technologien waren anfangs sündhaft teuer. Heute ist das Massenware für wenige hundert Euro. Dazu passiert im Bereich ML nach wie vor viel. Es sieht auch so aus, als ob wir beispielsweise bei der Parameteranzahl an Grenzen stoßen. Nicht nur an physische, weil die Modelle teils stärker wachsen, als die Leistung der Hardware mithalten kann. Dazu führen mehr Parameter nicht zwingend zu besseren Ergebnissen (was allerdings schwierig zu messen ist).

Bleibt abzuwarten, wie sich das entwickelt. Generell und im Bezug auf das "AI" Kit. Das muss sich erst mal durchsetzen, weil die Themen noch relativ hardwarenah sind. Es könnte seine Nische bei Themen finden, wo es z.B. auf kompakte Maße oder geringen Energieverbrauch ankommt. Der ganze IoT-Bereich wäre denkbar. Zwar versuchen die Hersteller, den Kunde an die eigene Cloud zu binden. Bei den Ressourcen, die das kostet, könnte was in Richtung hybrid lukrativ sein.

[U-Labs YouTube]

Antwort von @hannespeters4105:
Was ist der Unterschied zu einer TPU z. B. Google coral ? Die ist bei mir seit neusten im Einsatz für diese Bild Erkennung.

[U-Labs YouTube]

Antwort von @mampfi:
Die Leistung des Hailo-8L ist mit 13 TOPS (bei int8) deutlich höher als die des Corals mit 4 TOPS (auch bei int8). Zudem ist das Hailo-8L mit 8,6 TOPS/Watt im Vergleich zu den 2TOPS/Watt des Corals etwa vier mal effizienter. Interessant ist auch das das Hailo-8L über ISP(Image Signal Processing, kann mittels hardware Bildverarbeitung durchführen), MIPI CSI(Interface zur direkten Anbindung einer Kamera), USB und sogar Microcontroller und Ethernetcontroller verfügt. Leider ist bisher nur das Datenblatt öffentlich und man kann derzeit nur die Beispiele von Hailo ausführen, da der Compiler für das Modul noch nicht veröffentlicht wurde.

[DMW007]

Richtig, es geht im Kern um Leistung und Effizienz. War im Beitrag auch drin.

[Garrix]

War wohl eine Frage der Zeit, bis man beim Raspi auf den Zug aufspringt. Ich weiß im Moment noch nicht, was ich davon halten soll.
Finde den KI Hype übertrieben. Aber es gibt schon ein paar Sachen, wo die Technik ihr Potenzial haben könnte. Zum Bilder generieren habe ich es auch schon in einer Präsentation verwendet und lieferte ein gutes Ergebnis.

[U-Labs YouTube]

Antwort von @TT-M:
Okay, du hast mich bisschen neugierig gemacht, daher hätte ich einen Vorschlag:
Könntest du dir den Banana Pi BPI-M7 mit dem im Rockchip RK3588 intrigierten NPU mal im Detail ansehen, um so auch mal eine zweite Perspektive aufzuzeigen?