Worin liegt der Unterschied zu kommerziellen Produkten von z.B. OpenAI?<\/h2>\n
Stability AI<\/em> hat es damit geschafft umzusetzen, was bei OpenAI das urspr\u00fcngliche Ziel war: Deep learning<\/em> (Maschinelles Lernen) Modelle frei der Allgemeinheit zur Verf\u00fcgung zu stellen. OpenAI ist damit gescheitert<\/a>, ein Mitgr\u00fcnder bezeichnet Anfang 2023 den offenen Ansatz sogar als Fehler – eine Kehrtwende um 180 Grad. Das Unternehmen h\u00e4lt sogar Informationen \u00fcber die Funktionsweise oder Trainingsdaten von GPT-4 zur\u00fcck. Wissenschaftler kritisieren dies, da die Eignung f\u00fcr ein Projekt sowie m\u00f6gliche Risiken nicht abgesch\u00e4tzt werden k\u00f6nnen. Fragw\u00fcrdig wirkt zudem der Umstand, dass OpenAIs pl\u00f6tzlicher Sinneswandel nur wenige Wochen nach Microsofts Investitionen in Milliardenh\u00f6he entstanden ist.<\/p>\n Auch der Abschluss eines Abonnements mit der damit einhergehenden Abh\u00e4ngigkeit entf\u00e4llt, wie sie die kommerziellen Projekte zunehmend verlangen – zumindest f\u00fcr Teile der Funktionalit\u00e4ten, etwa neuere Datenmodelle. Zensur findet ebenfalls nicht statt. Dieses Thema ist durchaus umstritten: Die Intention dahinter ist grunds\u00e4tzlich nachvollziehbar. Jedoch schl\u00e4gt sie in der Praxis gerne \u00fcber die Str\u00e4nge und ist nicht immer nachvollziehbar. Freie Software schr\u00e4nkt dies nicht ein. Es sollte jedoch auf der Hand liegen, dass die Generierung von eindeutig verbotenen Inhalten problematisch ist und besser unterlassen werden sollte. <\/p>\n Zwar ben\u00f6tigt Stable Diffusion keine spezielle Hardware f\u00fcr zehntausende Euro, wie es bei den propriet\u00e4ren Plattformen der Fall ist. Da die Generierung von Bildern viel Rechenleistung kostet, wird dies auf dem wesentlich leistungsf\u00e4higeren Grafikprozessor (GPU) statt dem Prozessor (CPU) ausgef\u00fchrt. Im Repository<\/a> werden daher mindestens 10 GB Grafikspeicher verlangt. Es gibt Projekte, die den Speicherverbrauch optimiert haben: Stable Diffusion web UI verlangt nur 4 GB, mit entsprechenden Parametern sollen sogar 2 GB ausreichen<\/a>. Dar\u00fcber hinaus bietet es neben einer Weboberfl\u00e4che weitere n\u00fctzliche Funktionen.<\/p>\n Dazu m\u00fcssen die propriet\u00e4ren Grafikkartentreiber geladen und installiert sein. Bei mir stammen diese von nVidia f\u00fcr eine \u00e4ltere GTX 970. Wie dies gepr\u00fcft und durchgef\u00fchrt werden kann, variiert je nach Distribution. Manjaro bietet etwa eine grafische Oberfl\u00e4che in den Einstellungen unter Manjaro-Einstellungen > Hardwarekonfiguration<\/strong>. Oben l\u00e4sst sich der geeignetste Treiber automatisch erkennen und installieren. Die gleiche Funktion stellt das Kommandozeilenwerkzeug mhwd<\/strong> bereit<\/a>.<\/p>\n Unter Ubuntu findet man in den Einstellungen der Software- und Updateverwaltung einen Reiter f\u00fcr zus\u00e4tzliche Treiber, in denen die verf\u00fcgbaren aufgelistet werden. Per CLI listet ubuntu-drivers devices erkannte Ger\u00e4te sowie verf\u00fcgbare Software auf.<\/p>\n Dar\u00fcber hinaus ben\u00f6tigt ihr Python3<\/strong> und Git<\/strong>. Viele Distributionen enthalten es bereits, ansonsten ist es in der Regel \u00fcber die gleichnamigen Pakete erh\u00e4ltlich. Das Python-Modul venv f\u00fcr virtuelle Umgebungen<\/a> muss fast \u00fcberall nachinstalliert werden.<\/p>\n Windows-Nutzer m\u00fcssen alle Pakete h\u00e4ndisch von den Webseiten der jeweiligen Anbieter herunterladen und manuell installieren. Zus\u00e4tzlich ist dort Microsoft Visual C++ Redistributable erforderlich.<\/p>\n Klont das Repository in einen Ordner euerer Wahl:<\/p>\n Das Skript webui.sh<\/strong> nimmt uns einen Teil der Einrichtung ab, etwa zur virtuellen Python-Umgebung. Anschlie\u00dfend startet es den Webserver. Zuvor m\u00fcssen wir hier noch Einstellungen vornehmen. Daf\u00fcr gibt es die Datei webui-user.sh<\/strong>. F\u00fcgt dort eine Umgebungsvariable TORCH_COMMAND<\/strong> ein:<\/p>\n Sie ist f\u00fcr PyTorch, eine Python-Bibliothek, um maschinelles Lernen auf die GPU (Grafikkarte) auszulagern. Die Pakete (und damit der Befehl) variieren je nach Umgebung. Auf der Webseite<\/a> findet ihr ein Hilfswerkzeug, womit sich der korrekte Befehl zusammen klicken l\u00e4sst:<\/p>\n Anpassen m\u00fcsst ihr ggf. Compute Platform<\/em>. Hier wird zwischen ROC<\/em> f\u00fcr AMD\/ATI-Grafikchips und CUDA<\/em> von nVidia unterschieden. Die CUDA-Version des Grafikkartentreibers kann \u00fcber das im propriet\u00e4ren Paket enthaltene Kommandozeilenwerkzeug nvidia-smi<\/strong> ermittelt werden:<\/p>\n Ist keine passende PyTorch-Version verf\u00fcgbar wie in diesem Fall, m\u00fcsst ihr selbst probieren. Ich habe es mit der aktuellsten CUDA 11.8 getestet und bin nach Problemen auf 11.7 gewechselt, damit l\u00e4uft es stabil.<\/p>\n Theoretisch seid ihr damit nun bereit und k\u00f6nnt das webui.sh<\/strong> Skript ausf\u00fchren. Der erste Start dauert einige Zeit, da mehrere Gigabyte an Daten f\u00fcr u.a. die Sprachmodelle heruntergeladen werden m\u00fcssen. Torch neu zu installieren ist nur notwendig, wenn der Grafikkartentreiber eine gr\u00f6\u00dfere Aktualisierung erhalten hat, oder die Karte gewechselt wurde. Zuk\u00fcnftige Starts laufen z\u00fcgiger ab, hier pr\u00fcft es lediglich auf Aktualisierungen. Sobald der Webserver l\u00e4uft, erscheint die lokale Adresse in der Ausgabe:<\/p>\n Die Web-Oberfl\u00e4che erreichen wir somit durch Eingabe von http:\/\/127.0.0.1:7860<\/strong> im Browser. Standardm\u00e4\u00dfig ist diese Adresse nur auf dem lokalen Computer erreichbar, auf dem das Skript gestartet wurde. Wer Stable Diffusion Web auch auf anderen Ger\u00e4ten im Heimnetzwerk nutzen m\u00f6chte, f\u00fcgt den Parameter –listen <\/strong>zur Variable COMMANDLINE_ARGS<\/strong> hinzu.<\/p>\n Die Web-Oberfl\u00e4che besitzt im oberen Bereich mehrere Reiter f\u00fcr die verschiedenen Funktionen: Ein Bild mittels Text zu generieren erm\u00f6glicht txt2img<\/strong>, wobei Stable Diffusion Web mehr kann – etwa das Verbessern oder Bearbeiten vorhandener Bilder. Bleiben wir beim generieren von Bildern mittels Text, wird der sogenannte Promt<\/strong> in das Textfeld 1<\/strong> eingegeben. Er beschreibt, was f\u00fcr ein Bild man erhalten m\u00f6chte. Optional kann er durch einen Negativen Promt<\/strong> im Feld 2 darunter erg\u00e4nzt werden: Dieser schlie\u00dft aus, was auf keinen Fall auf dem Bild zu sehen sein soll.<\/p>\n Bereich 3<\/strong> bietet Feineinstellungen, welche nicht f\u00fcr alle Bilder Relevanz besitzen. Au\u00dferdem kann dort die Gr\u00f6\u00dfe sowie Anzahl der zu generierenden Bilder angepasst werden. Die vergleichsweise geringe Standard-Aufl\u00f6sung von 512×512 Pixeln ist jedoch nicht zuf\u00e4llig generiert: Je h\u00f6her die Aufl\u00f6sung, um so mehr Ressourcen werden zur Generierung ben\u00f6tigt. Um sich Schlussendlich ein Bild erstellen zu lassen, klickt auf den Knopf 4 Generate<\/strong>.<\/p>\n Sollte die Generierung wegen zu wenig Speicher abbrechen (unter ~10 GB Grafikspeicher), lassen sich in der Variable COMMANDLINE_ARGS<\/strong> zus\u00e4tzliche Parameter setzen<\/a>. Mit Dar\u00fcber hinaus gibt es noch –medvram<\/strong> f\u00fcr Karten mit mittlerem Speicher<\/em>, also ungef\u00e4hr mehr wie 4 GB, aber weniger als 10 GB: Damit wird die Parallelisierung weniger stark eingeschr\u00e4nkt, daf\u00fcr ist der Speicherverbrauch h\u00f6her – auf meiner 4 GB Karte brach die Generierung teilweise wegen Speichermangels ab:<\/p>\n torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 640.00 MiB (GPU 0; 3.93 GiB total capacity; 1.32 GiB already allocated; 605.94 MiB free; 2.02 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF<\/p>\n Ist der Grafikspeicher nicht ausreichend, bricht Torch mit einem OutOfMemory-Fehler ab<\/cite><\/p><\/blockquote>\n Eine weitere Optimierungsm\u00f6glichkeit steht ausschlie\u00dflich f\u00fcr nVidia-Grafikkarten zur Verf\u00fcgung: Xformers<\/a> beschleunigt die Bilderstellung und reduziert den Speicherverbrauch, daf\u00fcr sind die Ergebnisse nicht deterministisch. In meinen Tests wurden die Bilder etwa 3-4 Sekunden schneller erstellt, sowie knapp 500 MB weniger Grafikspeicher belegt. Ohne Xformers wird die GTX 970 w\u00e4hrend der Generierung stark ausgelastet:<\/p>\nStable Diffusion (Web UI) auf dem eigenen PC: Das brauchst du<\/h2>\n
![\"\"](\"https:\/\/u-labs.de\/portal\/wp-content\/uploads\/2023\/05\/nvidia-treiber-1024x369.jpg\")
<\/a><\/figure>\n<\/div>\n# Ubuntu\/Debian\nsudo apt install python3-venv \n\n# Manjaro \npamac install python-virtualenv<\/code><\/pre>\nInstallation<\/h2>\n
git clone https:\/\/github.com\/automatic1111\/stable-diffusion-webui.git<\/code><\/pre>\nexport TORCH_COMMAND="pip install torch torchvision torchaudio"<\/code><\/pre>\n![\"\"](\"https:\/\/u-labs.de\/portal\/wp-content\/uploads\/2023\/05\/image-14.png\")
<\/a><\/figure>\n<\/div>\n$ nvidia-smi | grep CUDA\n| NVIDIA-SMI 530.41.03 Driver Version: 530.41.03 CUDA Version: 12.1 |<\/code><\/pre>\nVerwendung<\/h2>\n
[...]\nRunning on local URL: http:\/\/127.0.0.1:7860\n[...]<\/code><\/pre>\n![\"\"](\"https:\/\/u-labs.de\/portal\/wp-content\/uploads\/2023\/05\/2023-05-18_11-34-1024x574.jpg\")
<\/a><\/figure>\n<\/div>\nSpeichermangel? Drei Tipps, um Stable Diffusion Web auch auf Grafikkarten mit weniger Speicher nutzen zu k\u00f6nnen<\/h2>\n
--lowvram<\/code> wird das Modell in mehrere Module aufgeteilt, die es nacheinander abarbeitet. Die ben\u00f6tigte Zeit zur Generierung verlangsamt sich dadurch, aber durch den geringeren Speicherbedarf funktioniert es dadurch auch mit weniger Speicher.<\/p>\nexport COMMANDLINE_ARGS="--lowvram"<\/code><\/pre>\n\n
![\"\"](\"https:\/\/u-labs.de\/portal\/wp-content\/uploads\/2023\/05\/grafik-17.png\")
<\/a><\/figure>\n<\/div>\n