Der Foto/Video/Musik KI Thread

[Akira]

Huhu Dorena und sonstige interessierte,

Hier eine kleine Anleitung wie man die FLUX GGUF Modelle auf dem Mac installiert. Zur Erklärung:

GGUF ist ein Dateiformat, das verwendet wird, um KI-Modelle effizienter zu speichern und auszuführen. Es wurde für LLaMA-basierte Modelle (Large Language Models) entwickelt, um Speicherplatz und Rechenleistung zu optimieren. GGUF steht für "Grok Guanaco Universal Format" und ist der Nachfolger von älteren Formaten wie GGML und GGJT. Das Ziel des GGUF-Formats ist es, die Leistung von großen Sprachmodellen auf ressourcenschwächeren Geräten, wie Laptops oder Smartphones, zu verbessern, indem die Modelle in komprimierter und spezialisierter Form gespeichert und verarbeitet werden.

Clevere Leute haben gemerkt, dass sich diese Methode sehr wohl auch dafür eignet Modelle zum generieren effizienter zu speichern. Das ist ziemlich cool, wenn man bedenkt dass FLUX Dev klickrige 24GB gross ist.

Also legen wir los. Ich gehe davon aus, dass ComfyUI installiert ist. Bei mir verwende ich Pinokio für eine einfache Installation. Pinokio findet man hier zum Download:

https://pinokio.computer/

Die Installation ist selbsterklärend.

Danach aus den verfügbaren Scripts ComfyUI auswählen.

Wichtig für Mac User, Xcode muss installiert sein und die AGB akzeptiert werden, sonst läuft die Installation nicht durch. Wenn alles abgeschlossen ist, präsentiert sich das UI etwa so ( ich habe selbst ein prompt eingegeben und es mal getestet ... das ergebnis ist nicht berauschend, aber wir wollen ja was ganz anderes )



Nun beginnen die fetten Downloads:

Zuerst die Modelle ( ich will das dev model ):
https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main

Ich hab bei mir die Q4/Q5 und evtl Q6 Modelle runtergeladen ... diese Modelle landen im models/unet Folder der ComfyUI installation

Danach die Flux Standard Encoder:
https://huggingface.co/comfyanonymous/fl.../tree/main

Diese landen im models/clip Folder

Ein VAE model brauchen wir auch noch:
https://huggingface.co/black-forest-labs.../tree/main

Hier nur das ae.safetensors file runterladen ... dieses landet im models/vae Folder.

Für meinen Workflow habe ich noch spezielle Encoder runtergeladen:
https://huggingface.co/city96/t5-v1_1-xx.../tree/main

Hier auch die entsprechenden Q4/Q5 und Q6 modelle runterladen und im models/clip Folder abspeichern.

Und als letztes verwende ich in meinem Workflow noch einen Upscaler Der kann von hier runtergeladen werden:

https://civitai.com/models/116225/4x-ultrasharp

und muss im Folder models/esrgan landen

Hier ist ein kleines Bild welches ich generiert habe:



Das Bild bitte als *.png abspeichern.

Per drag/drop kann das png File nun ins ComfyUI übertragen werden. Der Workflow wird nun ziemlich hässlich aussehen:



Keine Panik. Den Dialog mit den Fehlermeldungen schliessen und anschliessend im Manager die fehlenden Knoten nachinstallieren "Install missing Nodes". Es erscheint der folgende Dialog:



All diese Nodes bitte installieren und danach Restart und Refresh ( oder ComfyUI gleich neu starten)

Nun wünsche ich viel Spass beim Genereieren. Richtwerte bei mir:

• Q4 model ca 2 min (512x512)
  
• Q6 model ca 20 Minuten (1024x1024)
  

Q5 hab ich nich nicht ausprobiert. Der Mac säuft ja wenig Strom also kann man den ganz gut über nacht laufen lassen. Falls der Clip Text Encoder eine Fehlermeldung wirft ( macht er komischerweise auf meinem Intel/Nvida Gerät ab und zu, einfach fehlermeldung schliessen. Im Batch mode einfach ignorieren. Der Batch läuft weiter

Liebe Grüsse
Akira