Echtzeit am Filmset

Was ist Virtual Production?

virtuelle Produktion

Virtual Production bezeichnet Dreharbeiten, bei denen der Hintergrund nicht nachträglich eingesetzt, sondern in Echtzeit auf einer LED-Wand gerendert und passend zur Kamerabewegung mitgeführt wird.

Der Hintergrund steht beim Dreh schon hinter den Darstellern auf einer LED-Wand, statt Wochen später in der Nachbearbeitung eingesetzt zu werden.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Kern: LED-Wand plus Kameratracking in Echtzeit
Gerendert mit: Unreal Engine oder vergleichbarer Engine
Bringt mit: Passendes Licht und Spiegelungen direkt am Set
Verwechselt mit: Greenscreen mit späterem Compositing

Kameratracking hält die Illusion zusammen

Damit der Hintergrund stimmt, muss die Engine wissen, wo die Kamera steht, wohin sie schaut und welche Brennweite eingestellt ist. Diese Daten liefert ein Trackingsystem, entweder optisch über Marker im Studio oder mechanisch über Encoder an Stativ und Objektiv.

Aus den Daten berechnet die Engine den Bildausschnitt, den die Kamera tatsächlich sieht, und rendert ihn in hoher Qualität; dieser Ausschnitt heißt Inner Frustum. Der Rest der Wand, das Outer Frustum, läuft in geringerer Auflösung mit und dient vor allem als Lichtquelle. Für dieses Vorgehen hat sich der Begriff In-Camera VFX eingebürgert. Entscheidend ist die Verzögerung: Kommt die Bildänderung erst ein paar Frames nach der Kamerabewegung an, schwimmt der Hintergrund sichtbar gegen den Vordergrund.

Was sich am Set ändert

Das Licht kommt aus der Umgebung selbst. Reflexionen auf Lack, Glas und Metall passen zur Szene, ohne dass jemand sie nachträglich baut, und Darstellerinnen und Darsteller spielen vor einem sichtbaren Bild statt vor grünem Tuch. Was die Kamera aufzeichnet, ist in weiten Teilen bereits das fertige Bild.

Der Preis dafür ist eine Verschiebung im Ablauf. Umgebungen, Assets und ihre Optimierung müssen vor dem Drehtag fertig und freigegeben sein, denn am Set lässt sich nur noch justieren, nicht mehr aufbauen. Entscheidungen, die früher in der Nachbearbeitung fielen, fallen jetzt in der Vorbereitung.

Womit Teams zuerst scheitern

Der erste Grund ist Leistung. Eine Szene, die im Editor gut aussieht, aber die Bildrate nicht hält, ist am Set unbrauchbar. Deshalb gehören Profiling und Optimierung zum Handwerk dazu, von Detailstufen über Lichtberechnung bis zur Anzahl der Objekte im Bild.

Der zweite ist die Wand selbst. Je nach Pixelabstand, Kamerawinkel und Abstand entstehen Moiré-Muster, Farben weichen ab, und die Bildwiederholrate der Panels passt nicht zur Verschlusszeit der Kamera. Ohne Synchronisierung über ein gemeinsames Taktsignal und ohne farbliche Kalibrierung sieht das Material auf dem Monitor gut und in der Aufnahme falsch aus.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Virtual Production und was oft damit gleichgesetzt wird

Virtual Production gegen Greenscreen

Beim Greenscreen entsteht der Hintergrund erst in der Nachbearbeitung. Das lässt später mehr Freiheit, liefert aber kein passendes Licht, keine Reflexionen und den Beteiligten am Set kein Bild, auf das sie sich beziehen können.

Virtual Production gegen Previsualisierung

Die Previsualisierung baut Sequenzen vorab grob in 3D, um Einstellungen und Timing zu planen. Das ist ein Planungswerkzeug, während in der Virtual Production das Material entsteht, das später gesendet wird.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Die Arbeit verschiebt sich aus der Nachbearbeitung auf den Drehtag

Beim Greenscreen kannst du den Hintergrund Wochen später aussuchen. Auf der LED-Wand muss die Umgebung am Drehtag fertig und auf Echtzeit optimiert sein, sonst dreht das Team vor einem Platzhalter. Damit wandern Budget und Entscheidungen nach vorn in die Vorbereitung, und die Leute, die eine 3D-Szene wirklich ändern können, sitzen mit am Set statt später im Studio.

Technisch macht die Kombination aus Wand und Kamera die meiste Arbeit. Der Pixelabstand der Wand kann zusammen mit dem Kamerasensor Moiré erzeugen, Wiedergabe und Verschluss müssen synchron laufen, und bei schnellen Schwenks hinkt der mitgeführte Bildausschnitt sichtbar hinterher, wenn die Rechenleistung nicht reicht. Weite Einstellungen mit scharfem, detailreichem Hintergrund bleiben heikel und werden oft trotzdem in der Nachbearbeitung ersetzt.

Der leichteste Einstieg ist selten die große Wand. Viele Produktionen setzen LED-Flächen zuerst als Lichtquelle ein, etwa für Spiegelungen in Autoszenen oder für Licht, das zur gezeigten Umgebung passt. Genau darin liegt der Vorteil, den Compositing nicht nachliefern kann: Was auf der Wand steht, leuchtet und spiegelt schon beim Dreh richtig.

Virtual Production lernen

Vom ersten eigenen Level bis zum Ablauf am Set führen die Unreal-Kurse für Virtual Production und Film , samt Optimierung der Szene auf stabile Bildraten.

Was trotzdem in der Nachbearbeitung landet, etwa Titel, Einblendungen und Korrekturen, behandeln die Kurse für Compositing und Motion Design .

Kurse, die Virtual Production behandeln

Häufige Fragen

Brauche ich eine LED-Wand, um damit anzufangen?

Nein. Der größte Teil der Arbeit findet im Editor statt: Umgebung bauen, Assets optimieren, Kamerafahrten im Sequencer anlegen, Bildraten prüfen. Wer das beherrscht, kommt an der Wand mit einem eingespielten Team schnell zurecht.

Welche Rolle spielt die Engine dabei?

Die Engine ist der Bildgeber am Set und rendert jedes Frame live, statt es über Nacht zu berechnen. Damit bestimmt sie auch die Grenzen: Was nicht in Echtzeit läuft, geht in dieser Form nicht durch die Wand.

Warum flimmert die Wand in der Aufnahme, obwohl sie live sauber aussieht?

Weil Bildrate und Verschlusszeit der Kamera nicht zur Ansteuerung der Panels passen. Ein gemeinsames Taktsignal für Kamera und Wand sowie eine abgestimmte Verschlusszeit lösen das in den meisten Fällen.

Persönlich für dich da