Qualität der 2D-in-3D-Umwandlung beurteilen, und was meistens schiefgeht

Ein Videobild und eine KI-Tiefenkarte (Depth Map) davon, in der „hellere Bereiche näher sind“ [1]. Immersity und iw3 bauen beide auf solchen Tiefenkarten auf [2][3]. Bilder: owl3d.com.

Was ein KI-Konverter macht und woher die Lücke kommt

Ein KI-Konverter schätzt, wie weit jeder Teil jedes Bildes entfernt ist (eine Tiefenkarte), und verschiebt die Pixel dann je nach Tiefe seitlich, um ein Bild für das andere Auge zu zeichnen. Mit den Worten von Wikipedia: „Pixel des Originalbildes werden abhängig von der Tiefenkarte, der maximal gewählten Parallaxe und der Lage der Bildschirmebene nach links oder rechts verschoben“ [4]. Nahe Dinge verschieben sich stärker als ferne, also legt die zweite Ansicht Hintergrund frei, der hinter ihnen verborgen war. Forscher nennen diese Bereiche Disokklusionen: „In der synthetisierten Ansicht können durch Disokklusion Löcher entstehen, was die Qualität deutlich verschlechtert“ [5]. Sofern der Hintergrund nicht an anderer Stelle der Einstellung zu sehen ist, „müssen die unbekannten Bereiche von einem Artist gefüllt oder per Inpainting ergänzt werden, da eine exakte Rekonstruktion nicht möglich ist“ [4].

Die Checkliste: worauf du achtest

Was die Quellen zu jeder Zeile sagen:

• Kanten und Ghosting. Wikipedia zählt „unscharfe halbtransparente Objektränder – etwa Haare, Fell, unscharfe Objekte im Vordergrund, dünne Objekte“ zu den schwierigen Fällen und führt „doppelte Kanten oder Ghosting“ auf den schlechten Umgang mit halbtransparenten Rändern zurück [4]. Der Autor von iw3 schreibt, dass selbst eine sehr genaue Tiefe „Artefakte an Vordergrund- und Hintergrundkanten verursacht“ [3].
• Glas und Rauch. Eine Tiefenkarte „unterstützt von Natur aus keine halbtransparenten Objekte oder Bereiche“ [4]. In den FAQ von Immersity heißt es: „An Objektkanten und in Bereichen mit Transparenz oder Spiegelungen können Artefakte entstehen“ [1].
• Lücken. „Einfache Verfahren zum Füllen verdeckter Bereiche“ führen zu „Streckungsartefakten nahe an Objektkanten“ [4]; Immersity: „An Kanten kann es zu einer gewissen Streckung von Objekten kommen“ [1].
• Flackern. Immersity: „Es kann auch zu zeitlichen Veränderungen kommen, da jedes Bild unabhängig verarbeitet wird“ [1]. iw3 hat eine Option Flicker Reduction, die „zeitliche Schwankungen im Tiefenbereich stabilisiert“, und setzt ihren Zustand „an Bildern mit Szenengrenze“ zurück [3].
• Bildränder und Sehkomfort. Wenn ein Objekt, das der Bildrand abschneidet, vor dem Bildschirm erscheint, nennt Wikipedia das eine „window violation“, eine Verletzung des Scheinfensters: „Es entsteht ein Effekt, der unnatürlich und unerwünscht ist“ [6]. Ferne Objekte sollten die Augen „weder gekreuzt noch auseinanderlaufend“ lassen [6]. Der Links-rechts-Versatz einer Datei wächst mit dem Bildschirm, auf dem sie gezeigt wird; ein Hintergrund, der auf einem Handy angenehm ist, kann deine Augen auf einer Wand also nach außen drücken; siehe Parallaxe und Bildschirmgröße.
• Untertitel. Eingebrannte Untertitel „werden zusammen mit dem Video verarbeitet, was zu Artefakten in der Untertiteldarstellung führen kann“ [1].
• Gesichter. Der „Cardboard-Effekt“ (auf Deutsch auch Kulisseneffekt) liegt vor, wenn Objekte „dem Publikum flach erscheinen, als wären sie aus Pappe“ [4].
• Datei-Grundlagen. Öffne die Quelle und jedes Ergebnis in MediaInfo oder ffprobe und vergleiche Breite, Höhe, Bildrate, Tonspuren und die Übertragungsfunktion der Farbe (PQ oder HLG bedeutet HDR).

So führst du einen fairen Test durch

1. Wähle fünf bis acht kurze Clips. Decke die Zeilen oben ab: Haare, Glas, eine Person, die durchs Bild läuft, eine ruhige Einstellung, einen Schwenk mit Schnitt, eine Breitbildszene mit Untertiteln, eine Nahaufnahme. Jeweils unter einer Minute reicht.
2. Gib jedem Programm dieselben Dateien. Nimm zuerst die Standardeinstellungen jedes Programms und schreib auf, was du änderst.
3. Sieh es auf dem Zielbildschirm an. Mit der echten Größe und dem echten Sitzabstand; ein Handy und ein Beamer zeigen verschiedene Fehler.
4. Sieh dir das Bild jedes Auges für sich an. Öffne die Side-by-Side-Datei flach und prüfe beide Hälften. Manche Programme behalten das Original in einem Auge und zeichnen nur das andere; laut der Anleitung von iw3 bekommt das gezeichnete Auge dann „doppelt so viele Artefakte/Verzerrungen“ [3]. Siehst du in 3D eine doppelte Kontur, ist aber jede Hälfte sauber, kommt die Verdopplung vom Bildschirm oder der Brille, nicht von der Datei.
5. Schalte zwischen links und rechts hin und her. Nimm dasselbe Bild aus jeder Hälfte und wechsle zwischen beiden. Nahe Dinge sollten sich in die eine Richtung verschieben, ferne in die andere, und die Bildschirmebene sollte stillstehen; Streifen, die neben Kanten ihre Struktur ändern, sind die gefüllten Lücken.
6. Schau zehn Minuten oder länger. Probleme mit dem Sehkomfort und langsames Pumpen der Tiefe zeigen sich mit der Zeit, nicht in einem Standbild.

KI- oder Studio-Umwandlung

Wikipedia unterscheidet die „hochwertige halbautomatische Umwandlung für das Kino und hochwertiges 3D-TV“ von der „minderwertigen automatischen Umwandlung“ [4]; der Abschnitt über die automatische Umwandlung beschreibt ältere Verfahren auf Grundlage von Bewegung und Bildmerkmalen, nicht die heutigen KI-Tiefenmodelle. In der Studioarbeit schneiden Menschen jede Fläche aus (Rotoskopie), formen ihre Tiefe und malen freigelegte Bereiche neu; „zeitaufwendige Schritte sind die Bildsegmentierung/Rotoskopie, das Erstellen der Tiefenkarte und das Füllen freigelegter Bereiche“ [4]. Eine KI-Umwandlung automatisiert diese Schritte, das macht sie schnell und günstig genug für eine ganze Filmbibliothek, und ihre Füllungen sind Schätzungen. Die Forschung zum Füllen von Lücken bestätigt das: Solche Verfahren „können für ein Loch nur eine Schätzung liefern, die womöglich nicht gut genug oder sogar fehlerhaft ist“ [5].

Wo Owl3D hineinpasst

Owl3D Cloud läuft im Browser. Ein KI-Modell (StereoGen V2 Large) schätzt für jedes Bild die Tiefe und zeichnet eine zweite Ansicht für das andere Auge: eine KI-Umwandlung, nicht die 3D-Fassung des Studios. Schwarze Balken werden einmal für den ganzen Film erkannt, aus dem 3D herausgehalten und unverändert wieder angefügt; ein sehr dunkler Streifen über die ganze Breite, etwa ein Nachthimmel, kann für einen Balken gehalten werden und flach bleiben. Auch die Umwandlungen von Owl3D sind Schätzungen und können die Artefakte von dieser Seite zeigen. Ein neues Konto wandelt seine ersten 3 Minuten Video kostenlos um, ohne Karte, du kannst diese Checkliste also mit deinen eigenen Clips durchgehen: Video online in 3D umwandeln. Ausgabeformat, Grenzen und Dateidetails stehen unter Owl3D Cloud – technische Daten.

Häufige Fragen

Was ist Disokklusion bei der 3D-Umwandlung?

Der Hintergrund, den ein zweiter Blickwinkel neben einem nahen Objekt freilegt und den die Originalkamera nie gefilmt hat. Ein Konverter muss ihn erfinden [4][5].

Warum flackert mein umgewandeltes 3D-Video?

Oft, weil die Tiefe Bild für Bild geschätzt wird und sich zwischen den Bildern leicht ändert; die FAQ von Immersity nennen diese Ursache für das eigene Programm [1]. Achte darauf in ruhigen Einstellungen, in denen sich nichts in der Tiefe bewegen sollte.