Echtzeit am Filmset

Was ist Virtual Production?

virtuelle Produktion

Virtual Production, deutsch virtuelle Produktion, ist eine Arbeitsweise im Film, bei der eine Echtzeit-Engine digitale Umgebungen schon bei Planung und Dreh liefert, statt sie erst in der Nachbearbeitung einzusetzen. Die bekannteste Form ist der Dreh vor einer LED-Wand, deren Hintergrund in Echtzeit gerendert und passend zur Kamerabewegung mitgeführt wird.

Der Hintergrund steht beim Dreh schon hinter den Darstellern auf einer LED-Wand, statt Wochen später in der Nachbearbeitung eingesetzt zu werden.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Kern
LED-Wand plus Kameratracking in Echtzeit
Gerendert mit
Unreal Engine oder vergleichbarer Engine
Bringt mit
Passendes Licht und Spiegelungen direkt am Set
Verwechselt mit
Greenscreen mit späterem Compositing

Vier Formen unter einem Namen

Der Begriff fasst mehrere Verfahren zusammen, die eines gemeinsam haben: Digitale Bilder entstehen in Echtzeit und sind sofort sichtbar, statt nach Stunden Rechenzeit. Welche Form gemeint ist, hängt davon ab, in welcher Phase der Produktion die Engine zum Einsatz kommt.

  • Visualisierung (Previs)

    Szenen und Kamerafahrten werden vorab grob in 3D gebaut, um Einstellungen, Timing und Technik zu planen, bevor ein teurer Drehtag ansteht.

  • Virtual Scouting

    Regie, Kamera und Szenenbild begehen die digitale Umgebung mit VR-Brille oder Tablet, legen Kamerapositionen fest und ändern das Set, bevor es gebaut wird.

  • Live-Compositing (Simulcam)

    Gedreht wird weiterhin vor Greenscreen, am Monitor sieht das Team aber schon eine Echtzeit-Vorschau mit eingesetztem Hintergrund. Das finale Bild entsteht später in der Nachbearbeitung.

  • In-Camera VFX (ICVFX)

    Der Hintergrund läuft auf einer LED-Wand hinter den Darstellern, und die Kamera zeichnet ihn direkt mit auf. Diese Form meinen die meisten, wenn von virtueller Produktion die Rede ist.

Bekannt wurde das LED-Verfahren mit der Serie „The Mandalorian“ (2019), für die ILM eine LED-Bühne namens StageCraft mit Unreal Engine betrieb. Seitdem sind solche Bühnen, im Fachjargon LED-Volume genannt, in Film, Werbung und Fernsehen verbreitet.

So funktioniert der Dreh vor der LED-Wand

Damit der Hintergrund stimmt, muss die Engine wissen, wo die Kamera steht, wohin sie schaut und welche Brennweite eingestellt ist. Diese Daten liefert ein Trackingsystem, entweder optisch über Marker im Studio oder mechanisch über Encoder an Stativ und Objektiv.

Aus den Daten berechnet die Engine den Bildausschnitt, den die Kamera tatsächlich sieht, und rendert ihn in hoher Qualität. Dieser Ausschnitt heißt Inner Frustum. Der Rest der Wand, das Outer Frustum, läuft in geringerer Qualität mit und dient vor allem als Lichtquelle. In Unreal Engine verteilt das System nDisplay das Bild auf mehrere Rechner, von denen jeder einen Teil der Wand bespielt.

Entscheidend ist die Verzögerung: Kommt die Bildänderung erst einige Frames nach der Kamerabewegung an, schwimmt der Hintergrund sichtbar gegen den Vordergrund. Deshalb laufen Kamera, Tracking und Wand an einem gemeinsamen Taktsignal (Genlock).

Was sich am Set ändert

Das Licht kommt aus der Umgebung selbst. Reflexionen auf Lack, Glas und Metall passen zur Szene, ohne dass jemand sie nachträglich baut, und die Darsteller spielen vor einem sichtbaren Bild statt vor grünem Tuch. Was die Kamera aufzeichnet, ist in weiten Teilen bereits das fertige Bild, und es gibt keinen grünen Farbstich auf Haut und Haaren, der später herausgerechnet werden muss.

Der Preis dafür ist eine Verschiebung im Ablauf. Umgebungen, Assets und ihre Optimierung müssen vor dem Drehtag fertig und freigegeben sein, denn am Set lässt sich nur noch justieren, nicht mehr aufbauen. Entscheidungen, die früher in der Nachbearbeitung fielen, fallen jetzt in der Vorbereitung.

Womit Teams zuerst scheitern

Der erste Grund ist Leistung. Eine Szene, die im Editor gut aussieht, aber die Bildrate nicht hält, ist am Set unbrauchbar. Deshalb gehören Profiling und Optimierung zum Handwerk dazu, von Detailstufen über Lichtberechnung bis zur Anzahl der Objekte im Bild.

Der zweite ist die Wand selbst. Je nach Pixelabstand, Kamerawinkel und Abstand entstehen Moiré-Muster, Farben weichen ab, und die Bildwiederholrate der Panels passt nicht zur Verschlusszeit der Kamera. Ohne Synchronisierung und ohne farbliche Kalibrierung der Kette aus Engine, Wand und Kamera sieht das Material auf dem Monitor gut und in der Aufnahme falsch aus.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Nicht verwechseln

Virtual Production und was oft damit gleichgesetzt wird

Virtual Production gegen Greenscreen

Beim Greenscreen entsteht der Hintergrund erst in der Nachbearbeitung. Das lässt später mehr Freiheit, liefert aber kein passendes Licht, keine Reflexionen und den Beteiligten am Set kein Bild, auf das sie sich beziehen können. Mit Live-Compositing wird Greenscreen selbst zu einer Form der virtuellen Produktion.

Virtual Production gegen Motion Capture

Motion Capture zeichnet die Bewegung von Menschen auf, um damit digitale Figuren zu animieren. Es wird oft im selben Studio und mit ähnlicher Trackingtechnik eingesetzt, ist aber ein eigenes Verfahren: Erfasst wird der Darsteller, nicht die Kamera.

Virtual Production gegen Virtuelle Produktion in der Industrie

In der Fertigung bezeichnet „virtuelle Produktion“ etwas ganz anderes: die Planung und Simulation von Fabriken, Anlagen und Abläufen am digitalen Modell, etwa bei der virtuellen Inbetriebnahme oder mit einem digitalen Zwilling. Mit Film hat das nichts zu tun, auch wenn dort ebenfalls Echtzeit-Engines genutzt werden.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
In der Praxis

Die Arbeit verschiebt sich aus der Nachbearbeitung auf den Drehtag

Beim Greenscreen kannst du den Hintergrund Wochen später aussuchen. Auf der LED-Wand muss die Umgebung am Drehtag fertig und auf Echtzeit optimiert sein, sonst dreht das Team vor einem Platzhalter. Damit wandern Budget und Entscheidungen nach vorn in die Vorbereitung, und die Leute, die eine 3D-Szene wirklich ändern können, sitzen mit am Set statt später im Studio.

Technisch macht die Kombination aus Wand und Kamera die meiste Arbeit. Der Pixelabstand der Wand kann zusammen mit dem Kamerasensor Moiré erzeugen, Wiedergabe und Verschluss müssen synchron laufen, und bei schnellen Schwenks hinkt der mitgeführte Bildausschnitt sichtbar hinterher, wenn die Rechenleistung nicht reicht. Weite Einstellungen mit scharfem, detailreichem Hintergrund bleiben heikel und werden oft trotzdem in der Nachbearbeitung ersetzt.

Der leichteste Einstieg ist selten die große Wand. Viele Produktionen setzen LED-Flächen zuerst als Lichtquelle ein, etwa für Spiegelungen in Autoszenen oder für Licht, das zur gezeigten Umgebung passt. Genau darin liegt der Vorteil, den Compositing nicht nachliefern kann: Was auf der Wand steht, leuchtet und spiegelt schon beim Dreh richtig.

Virtual Production lernen

Vom ersten eigenen Level bis zum Ablauf am Set führen die Unreal-Kurse für Virtual Production und Film, samt Optimierung der Szene auf stabile Bildraten.

Was trotzdem in der Nachbearbeitung landet, etwa Titel, Einblendungen und Korrekturen, behandeln die Kurse für Compositing und Motion Design.

Häufige Fragen

Brauche ich eine LED-Wand, um damit anzufangen?
Nein. Der größte Teil der Arbeit findet im Editor statt: Umgebung bauen, Assets optimieren, Kamerafahrten im Sequencer anlegen, Bildraten prüfen. Wer das beherrscht, kommt an der Wand mit einem eingespielten Team schnell zurecht.
Welche Rolle spielt die Engine dabei?
Die Engine ist der Bildgeber am Set und rendert jedes Frame live, statt es über Nacht zu berechnen. Am verbreitetsten ist Unreal Engine, weil sie mit nDisplay, Kamera-Tracking und Farbmanagement die nötigen Werkzeuge mitbringt. Was nicht in Echtzeit läuft, geht in dieser Form nicht durch die Wand.
Warum flimmert die Wand in der Aufnahme, obwohl sie live sauber aussieht?
Weil Bildrate und Verschlusszeit der Kamera nicht zur Ansteuerung der Panels passen. Ein gemeinsames Taktsignal für Kamera und Wand sowie eine abgestimmte Verschlusszeit lösen das in den meisten Fällen.
Was ist ein LED-Volume?
So heißt eine Bühne, deren LED-Wände die Szene teilweise oder ganz umschließen, oft mit einer zusätzlichen LED-Decke. Je mehr Fläche die Darsteller umgibt, desto natürlicher wirken Licht und Spiegelungen, desto mehr Rechenleistung braucht aber auch die Wiedergabe.

Passt thematisch dazu

Warum am Filmset meist Unreal läuft und wann Unity die bessere Wahl ist, zeigt der Vergleich der beiden großen Echtzeit-Engines.

Persönlich für dich da

Deine Ansprechpartner

Du willst das Thema nicht nur nachschlagen, sondern anwenden können? Wir beraten dich persönlich und kostenlos.

Yves Hoppe

Yves Hoppe

Weiterbildung & Beratung

Ordnet mit dir ein, welcher Kurs zu deinem Vorwissen passt.

Norbert Jansen

Norbert Jansen

Beratung & Inhouse

Plant Inhouse-Trainings, die an euren eigenen Daten und Abläufen ansetzen.

Virtual Production im Kurs statt im Lexikon

Nachschlagen bringt dich bis zum Verstehen. Anwenden lernst du an echten Aufgaben.