Der Foto/Video/Musik KI Thread

Der Foto/Video/Musik KI Thread - Druckversion

+- GridTalk.de (https://www.gridtalk.de)
+-- Forum: Werkstatt (https://www.gridtalk.de/forumdisplay.php?fid=4)
+--- Forum: Technik (https://www.gridtalk.de/forumdisplay.php?fid=25)
+--- Thema: Der Foto/Video/Musik KI Thread (/showthread.php?tid=4849)

Seiten: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

RE: Der Foto/Video/Musik KI Thread - Akira - 21.09.2024

Huhu Dorena und sonstige interessierte,

Hier eine kleine Anleitung wie man die FLUX GGUF Modelle auf dem Mac installiert. Zur Erklärung:

GGUF ist ein Dateiformat, das verwendet wird, um KI-Modelle effizienter zu speichern und auszuführen. Es wurde für LLaMA-basierte Modelle (Large Language Models) entwickelt, um Speicherplatz und Rechenleistung zu optimieren. GGUF steht für "Grok Guanaco Universal Format" und ist der Nachfolger von älteren Formaten wie GGML und GGJT. Das Ziel des GGUF-Formats ist es, die Leistung von großen Sprachmodellen auf ressourcenschwächeren Geräten, wie Laptops oder Smartphones, zu verbessern, indem die Modelle in komprimierter und spezialisierter Form gespeichert und verarbeitet werden.

Clevere Leute haben gemerkt, dass sich diese Methode sehr wohl auch dafür eignet Modelle zum generieren effizienter zu speichern. Das ist ziemlich cool, wenn man bedenkt dass FLUX Dev klickrige 24GB gross ist.

Also legen wir los. Ich gehe davon aus, dass ComfyUI installiert ist. Bei mir verwende ich Pinokio für eine einfache Installation. Pinokio findet man hier zum Download:

https://pinokio.computer/

Die Installation ist selbsterklärend.

Danach aus den verfügbaren Scripts ComfyUI auswählen.

Wichtig für Mac User, Xcode muss installiert sein und die AGB akzeptiert werden, sonst läuft die Installation nicht durch. Wenn alles abgeschlossen ist, präsentiert sich das UI etwa so ( ich habe selbst ein prompt eingegeben und es mal getestet ... das ergebnis ist nicht berauschend, aber wir wollen ja was ganz anderes )

[Bild: Clean-Shot-2024-09-21-at-21-30-47-2x.jpg]

Nun beginnen die fetten Downloads:

Zuerst die Modelle ( ich will das dev model ):
https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

Ich hab bei mir die Q4/Q5 und evtl Q6 Modelle runtergeladen ... diese Modelle landen im models/unet Folder der ComfyUI installation

Danach die Flux Standard Encoder:
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

Diese landen im models/clip Folder

Ein VAE model brauchen wir auch noch:
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

Hier nur das ae.safetensors file runterladen ... dieses landet im models/vae Folder.

Für meinen Workflow habe ich noch spezielle Encoder runtergeladen:
https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main

Hier auch die entsprechenden Q4/Q5 und Q6 modelle runterladen und im models/clip Folder abspeichern.

Und als letztes verwende ich in meinem Workflow noch einen Upscaler Der kann von hier runtergeladen werden:

https://civitai.com/models/116225/4x-ultrasharp

und muss im Folder models/esrgan landen

Hier ist ein kleines Bild welches ich generiert habe:

[Bild: 2024-09-21-233404-gguf-0.png]

Das Bild bitte als *.png abspeichern.

Per drag/drop kann das png File nun ins ComfyUI übertragen werden. Der Workflow wird nun ziemlich hässlich aussehen:

[Bild: Clean-Shot-2024-09-21-at-21-33-29-2x.jpg]

Keine Panik. Den Dialog mit den Fehlermeldungen schliessen und anschliessend im Manager die fehlenden Knoten nachinstallieren "Install missing Nodes". Es erscheint der folgende Dialog:

[Bild: Clean-Shot-2024-09-21-at-21-34-12-2x.jpg]

All diese Nodes bitte installieren und danach Restart und Refresh ( oder ComfyUI gleich neu starten)

Nun wünsche ich viel Spass beim Genereieren. Richtwerte bei mir:

Q4 model ca 2 min (512x512)
Q6 model ca 20 Minuten (1024x1024)

Q5 hab ich nich nicht ausprobiert. Der Mac säuft ja wenig Strom also kann man den ganz gut über nacht laufen lassen. Falls der Clip Text Encoder eine Fehlermeldung wirft ( macht er komischerweise auf meinem Intel/Nvida Gerät ab und zu, einfach fehlermeldung schliessen. Im Batch mode einfach ignorieren. Der Batch läuft weiter

Liebe Grüsse
Akira

RE: Der Foto/Video/Musik KI Thread - Akira - 22.09.2024

Huhu zusammen,

Kleiner Nachtrag der mich gerade völlig verwirrt.

Ich dachte mir, wenn das Q5 und Q6 Model schon 20 und mehr minuten benötigt, dann lass ich mal das Q8 Model über Nacht laufen. Ich startete meinen Prompt und:

Die Statistik meinete er hätte etwa 12 Minuten gebraucht 35 Sek / iteration (Q8) vs. 45 Sek / iteration

Muss ich gerade nicht verstehen ...

Und sowas kommt dann dabei raus:

Mein NVidia PC (8GB RAM) macht bei Q6 schluss ... kriegt aber das Bild in 2 Minuten hin
Der AMD PC (24GB RAM) braucht 7.5+ Minuten pro Bild aber mit dem vollständigen Flux Dev Model

Liebe Grüsse
Akira

RE: Der Foto/Video/Musik KI Thread - Dorena Verne - 22.09.2024

Ich bin grad dabei das erstmal auf mein ZBook zu installieren, auf dem Mac wird mir das erstmal doch etwas eng von wegen der Größe. Muss erstmal überlegen, was ich da herunterwerfe. Aber vielen Dank für deine Anleitung, Akira. Smile

RE: Der Foto/Video/Musik KI Thread - Dorena Verne - 23.09.2024

Habe mal das normale Flux1(dev) über Draw Things zum Laufen bekommen, dazu eine Lora mit den Namen Hyperflux1 (dev)8-step.
Für den ersten Test gar nicht, mal schlecht, prost. Cool