Was ist ein Diffusionsmodell?

Trainiert wird rückwärts

Der Name stammt aus der Physik: Diffusion beschreibt, wie sich ein Tropfen Tinte im Wasser verteilt, bis keine Struktur mehr zu erkennen ist. Beim Training passiert mit Bildern dasselbe. Das Modell bekommt echte Bilder, denen in vielen Stufen Rauschen zugesetzt wird, bis nur noch zufällige Pixel übrig sind. Dieser Vorwärtsprozess ist fest vorgegeben und muss nicht gelernt werden.

Gelernt wird die Umkehrung: Ein neuronales Netz soll für ein verrauschtes Bild vorhersagen, welcher Anteil davon Rauschen ist. Zieht man diesen geschätzten Anteil ab und wiederholt das viele Male, entsteht aus reinem Zufall ein Bild, das aussieht wie die Trainingsdaten. Die Idee wurde 2015 beschrieben, der Durchbruch für die Bildqualität kam 2020 mit den Denoising Diffusion Probabilistic Models (DDPM).

Den Bezug zum Text stellt ein zweites Modell her, der Text-Encoder. Er übersetzt den Prompt in Embeddings, die bei jedem Entrauschungsschritt mitgegeben werden. Deshalb wirken Prompts nicht wie Befehle, sondern wie eine Richtung, in die jeder Schritt gezogen wird. Das erklärt, warum Verneinungen im Prompt oft ins Leere laufen: „kein Hund“ enthält das Wort Hund und zieht das Bild eher dorthin. Dafür gibt es bei vielen Werkzeugen ein eigenes Feld für Ausschlüsse, den negativen Prompt.

Die Bausteine eines Bildmodells

Ein aktuelles Text-zu-Bild-System besteht aus mehreren Teilen, die zusammenarbeiten. Die meisten rechnen dabei nicht direkt auf den Pixeln, sondern in einem komprimierten, latenten Raum. Dieses Verfahren heißt Latent Diffusion und ist der Grund, warum Modelle wie Stable Diffusion auf einer gewöhnlichen Grafikkarte laufen:

• Text-Encoder

  Wandelt den Prompt in Zahlenvektoren um, häufig mit Modellen wie CLIP oder T5.

• Entrauschungsnetz

  Das eigentliche Diffusionsmodell. Ältere Modelle nutzen ein U-Net, neuere einen Transformer, den Diffusion Transformer (DiT).

• Autoencoder (VAE)

  Verkleinert Bilder beim Training in den latenten Raum und übersetzt das fertige latente Bild am Ende zurück in Pixel.

• Sampler

  Legt fest, wie aus der Rauschschätzung der nächste Zwischenstand berechnet wird. Unterschiedliche Sampler brauchen unterschiedlich viele Schritte für ein gutes Ergebnis.

So entsteht ein Bild Schritt für Schritt

Wenn du einen Prompt abschickst, läuft im Hintergrund immer dieselbe Kette ab:

1. 1

   Prompt übersetzen

   Der Text-Encoder macht aus deiner Beschreibung Embeddings.

2. 2

   Startrauschen erzeugen

   Aus dem Seed entsteht ein zufälliges latentes Bild, das noch kein Motiv enthält.

3. 3

   Rauschen schätzen

   Das Entrauschungsnetz sagt vorher, welcher Anteil Rauschen ist, einmal mit und einmal ohne Prompt.

4. 4

   Richtung verstärken

   Die Differenz beider Schätzungen wird mit der Guidance-Stärke verstärkt, damit sich das Bild stärker an den Prompt hält.

5. 5

   Schritt ausführen

   Der Sampler zieht das geschätzte Rauschen teilweise ab. Die Schritte 3 bis 5 wiederholen sich, bis die Schrittzahl erreicht ist.

6. 6

   Bild dekodieren

   Der Autoencoder übersetzt das fertige latente Bild in ein Pixelbild.

In den ersten Schritten entstehen grobe Formen und die Bildaufteilung, in den späten Schritten Details und Texturen. Deshalb verändert ein anderer Seed die ganze Komposition, während die letzten Schritte nur noch feinschleifen.

Die Stellschrauben

Je nach Werkzeug heißen die Regler etwas anders, gemeint sind aber fast immer dieselben Größen. Bei Diensten wie ChatGPT oder Midjourney sind viele davon versteckt oder fest eingestellt, in Werkzeugen wie ComfyUI oder bei der Arbeit über eine Schnittstelle stellst du sie selbst ein.

Für gezielte Änderungen an einem vorhandenen Bild gibt es zwei Wege. Bei Bild-zu-Bild wird die Vorlage nur teilweise verrauscht und dient als Startpunkt. Beim Inpainting maskierst du einen Bereich und lässt nur diesen neu berechnen, während der Rest unverändert bleibt.

Wo Diffusionsmodelle heute stecken

Seit 2022 sind Diffusionsmodelle das vorherrschende Verfahren für die Bildgenerierung. Stable Diffusion von Stability AI und FLUX von Black Forest Labs aus Freiburg gibt es auch mit offenen Gewichten, sodass sie sich lokal betreiben und mit eigenen Daten anpassen lassen. DALL-E 3 von OpenAI und Imagen von Google arbeiten ebenfalls nach diesem Prinzip. Anbieter wie Midjourney legen ihre Architektur nicht offen.

Dasselbe Verfahren erzeugt auch Videos, indem es Bild und Zeit gemeinsam entrauscht, OpenAI etwa beschreibt Sora als Diffusionsmodell. Dazu kommen Audio, Musik und Moleküle in der Forschung. Umgekehrt arbeitet nicht jeder Bildgenerator mit Diffusion: Die Bildfunktion von GPT-4o beschreibt OpenAI als autoregressives Modell, das Bilder ähnlich wie Text Stück für Stück erzeugt. Für dich als Anwender fühlt sich beides gleich an, die Stellschrauben unterscheiden sich aber.