"Künstliche Intelligenz": Mit diesem Modul wird der Raspberry Pi 5 zum "KI" Computer

[DMW007]

Ich schaue mal, wie groß das Interesse an dem Thema generell ist. Bei den anderen KI-Themen war es bisher eher mau. Grundsätzlich könnte ich das machen, zumindest mit einem Blick von Außen. Praktisch zumindest erst mal mangels Hardware nicht.

[U-Labs YouTube]

Antwort von @OfficialChiller:
Ich hätte mir ein Vergleich zwischen dem und dem Coral TPU gewünscht.

[DMW007]

Ist im Beitrag drin. Nicht im Detail, ist hier ja auch eher nebensächlich für etwas Kontext, statt als Hauptthema. Aber zusammengefasst mit der Leistung und dem Energiebedarf dazu.

[U-Labs YouTube]

Antwort von @TT-M:
@ULabs danke für die Rückmeldung.
Vielleicht fehlen den Leuten die Praktisch Anwendung für KI Beschleuniger, um damit warm zu werden.

[U-Labs YouTube]

Antwort von @mampfi:
Noch eine Anmerkung zu den TOPS. Das T bedeutet Tera (Präfix für Billion wie bei z.B. bei Angaben von Speicherkapazität) und OPS einfach nur Operationen pro Sekunde. Während Megahertz etc nur den Takt angeben handelt es sich bei TOPS also um tatsächlich geleisteten Operationen pro Sekunde. Beispielsweise kann das im Video gezeigte HAILO-8L 13 Billionen Operationen(bei int8 Präzision) in einer Sekunde verrichten. Dabei ist natürlich sehr wichtig von welchen Operationen man spricht und wie präzise diese ausgeführt werden, dies wird auch wieder brutal vom Marketing ausgenutzt.

[U-Labs YouTube]

Antwort von @joergfoerster8043:
Open-Source KI-Modelle, die auf dem Desktop-PC laufen, brauchen ordentlich Speicher (ab 16 GB). Kann man so großen Speicher zusammen mit der NPU auf dem Paspberry PI installieren? Braucht man noch eine Speichererweiterung zusätzlich zur NPU?

[DMW007]

Vor dem Speicher gibt es noch ein ganz anderes Problem: Die Software. Man kann ja nicht einfach den Code für eine andere Architektur kompilieren, wie das bei CPU-Anwendungen der Fall ist. Das muss portiert werden und dabei optimiert man es auf die zur Verfügung stehenden Ressourcen. Ich habe einen Beitrag zur Portierung von Stable Diffusion auf ARM/RPI gemacht. Die X86 Version benötigt am PC üppig Grafikspeicher (wobei es auch dort ein Flag für GPUs mit wenig VRAM gibt). Die Raspberry Pi Portierung kann sogar auf einem Zero W (512 MB RAM) laufen, dafür dauert die Generierung dort auch ewig.

Mit der NPU dürfte es tendenziell nicht so extrem werden. Dennoch würde ich damit rechnen, dass es auf etwas Abstriche hinaus laufen kann. Das lässt sich pauschal schwer sagen und kommt im Einzelfall auf diverse Faktoren an. Zumal das ganze - verglichen mit CPUs - sehr neu ist. Kann gut sein, in einigen Monaten sieht die Sache schon anders aus.

[U-Labs YouTube]

Antwort von @Hofmusic:
Man müsste das halt noch kaufen können. Ist leider nirgends verfügbar

[DMW007]

Er war eine Zeit lang lieferbar, z.B. auf Funk24. Mittlerweile ist er nicht mehr auf Lager und es wird eine Versandzeit von 30 Tagen angegeben. Das dürfte eine Frage der Zeit sein, wie beim RPI5. Vermutlich hier nicht ganz so lange, da das Thema recht neu ist. Derzeit wird noch weit mehr der Anwendungszweck für das AI Kit fehlen, um das Geld auszugeben, als für einen RPI(5).

[U-Labs YouTube]

Antwort von @Volker-Dirr:
@ULabs Stimmt. Programmieren ist sehr weit gefächert. Ich meinte das in dem Sinn, dass ich keine "High-Level-API" für die Sonderfälle Sprach-KI oder Bild-KI nutzen möchte. Ich wollte prüfen inwieweit ich so eine NPU für meine NP-Algorithmen im Bereich Stundenplanung nutzen kann. Dafür bräuchte erst dann eher eine "low-Level-API". Ist das irgendwo beschrieben? Ich finde im Moment nur zu spezialisierte "High-Level-Programmierung".