Juger la qualité d’une conversion 2D en 3D, et ce qui pose problème le plus souvent

Une image vidéo et sa carte de profondeur calculée par IA, où « les zones plus claires sont plus proches » [1]. Immersity et iw3 s’appuient tous deux sur des cartes de profondeur de ce type [2][3]. Images : owl3d.com.

Ce que fait un convertisseur par IA, et d’où vient le trou

Un convertisseur par IA estime la distance de chaque partie de chaque image (une carte de profondeur), puis décale les pixels sur le côté selon cette profondeur pour dessiner une image destinée à l’autre œil. Selon Wikipédia, « les pixels de l’image d’origine sont décalés vers la gauche ou vers la droite en fonction de la carte de profondeur, de la parallaxe maximale choisie et de la position de la surface de l’écran » [4]. Les objets proches se déplacent davantage que les objets lointains : la seconde vue découvre donc un arrière-plan qui était caché derrière eux. Les chercheurs appellent ces zones des désocclusions : « des trous peuvent apparaître dans la vue synthétisée à cause de la désocclusion, ce qui dégrade nettement la qualité » [5]. À moins que l’arrière-plan ne soit visible ailleurs dans le plan, « les zones inconnues doivent être remplies par un artiste ou par inpainting, car une reconstruction exacte est impossible » [4].

La liste de contrôle : ce qu’il faut regarder

Ce que disent les sources derrière chaque ligne :

• Contours et images fantômes. Wikipédia range « les contours d’objets flous et semi-transparents, comme les cheveux, la fourrure, les objets flous au premier plan, les objets fins » parmi les cas difficiles, et attribue à un mauvais traitement des contours semi-transparents « le dédoublement des contours ou les images fantômes » [4]. L’auteur d’iw3 écrit que même une profondeur très précise « crée des défauts aux contours entre premier plan et arrière-plan » [3].
• Vitres et fumée. Une carte de profondeur « ne gère pas, par nature, les objets ou zones semi-transparents » [4]. La FAQ d’Immersity indique que « des défauts peuvent apparaître aux contours des objets et dans les zones transparentes ou réfléchissantes » [1].
• Trous. Des « techniques simples de remplissage des occlusions » entraînent des « défauts d’étirement près des contours des objets » [4] ; Immersity : « Un certain étirement des objets peut se produire sur les contours » [1].
• Scintillement. Immersity : « Des variations dans le temps peuvent aussi se produire, car chaque image est traitée indépendamment » [1]. iw3 propose une option Flicker Reduction qui « stabilise les variations temporelles de la plage de profondeur » et remet son état à zéro « aux images de changement de scène » [3].
• Bords de l’image et confort. Quand un objet coupé par le côté de l’image apparaît devant l’écran, Wikipédia parle de « violation de fenêtre » : « il en résulte un effet non naturel et indésirable » [6]. Les objets lointains devraient laisser les yeux « ni croisés ni divergents » [6]. Le décalage gauche-droite d’un fichier grandit avec l’écran qui l’affiche : un fond confortable sur un téléphone peut pousser vos yeux vers l’extérieur sur un mur. Voir parallaxe et taille d’écran.
• Sous-titres. Les sous-titres incrustés « seront traités avec la vidéo, ce qui peut créer des défauts dans l’affichage des sous-titres » [1].
• Visages. L’« effet carton » désigne des objets qui « paraissent plats au public, comme s’ils étaient en carton » [4].
• Bases du fichier. Ouvrez la source et chaque résultat dans MediaInfo ou ffprobe, et comparez la largeur, la hauteur, la fréquence d’images, les pistes audio et la fonction de transfert des couleurs (PQ ou HLG signifie HDR).

Comment faire un test équitable

1. Choisissez cinq à huit courts extraits. Couvrez les lignes ci-dessus : cheveux, vitre, une personne qui traverse, un plan fixe, un panoramique avec un changement de plan, une scène en format large avec sous-titres, un gros plan. Moins d’une minute chacun suffit.
2. Donnez les mêmes fichiers à chaque outil. Utilisez d’abord les réglages par défaut de chaque outil et notez tout ce que vous modifiez.
3. Regardez sur l’écran cible. À sa taille réelle et à votre distance habituelle ; un téléphone et un vidéoprojecteur ne montrent pas les mêmes défauts.
4. Regardez seule l’image de chaque œil. Ouvrez le fichier côte à côte en 2D et vérifiez les deux moitiés. Certains outils gardent l’original pour un œil et ne dessinent que l’autre ; le guide d’iw3 indique que l’œil dessiné reçoit alors « deux fois plus de défauts et de distorsions » [3]. Si vous voyez un contour double en 3D mais que chaque moitié est propre, le dédoublement vient de l’écran ou des lunettes, pas du fichier.
5. Alternez entre gauche et droite. Prenez la même image dans chaque moitié et passez de l’une à l’autre. Les objets proches doivent se décaler dans un sens, les objets lointains dans l’autre, et le plan de l’écran doit rester immobile ; les bandes dont la texture change à côté des contours sont les trous remplis.
6. Regardez dix minutes ou plus. Les problèmes de confort et le lent pompage de la profondeur apparaissent avec le temps, pas sur une image fixe.

Conversion par IA ou en studio

Wikipédia distingue la « conversion semi-automatique de qualité pour le cinéma et la TV 3D haut de gamme » de la « conversion automatique de faible qualité » [4] ; sa section sur la conversion automatique décrit d’anciennes méthodes fondées sur le mouvement et les indices de profondeur, et non les modèles de profondeur par IA d’aujourd’hui. En studio, des personnes détourent chaque surface (rotoscopie), modèlent sa profondeur et repeignent les zones découvertes ; « les étapes qui prennent du temps sont la segmentation de l’image ou rotoscopie, la création de la carte de profondeur et le remplissage des zones découvertes » [4]. La conversion par IA automatise ces étapes, ce qui la rend assez rapide et assez peu coûteuse pour toute une vidéothèque, et ses remplissages sont des estimations. La recherche sur le remplissage des trous va dans le même sens : ces techniques « ne peuvent fournir qu’une estimation d’un trou, qui peut ne pas être assez bonne, voire être erronée » [5].

La place d’Owl3D

Owl3D Cloud fonctionne dans le navigateur. Un modèle d’IA (StereoGen V2 Large) estime la profondeur de chaque image et dessine une seconde vue pour l’autre œil : c’est une conversion par IA, et non la version 3D du studio. Les bandes noires sont détectées une seule fois pour tout le film, tenues à l’écart de la 3D et remises sans modification ; une zone très sombre sur toute la largeur, comme un ciel de nuit, peut être prise pour une bande et rester plate. Les conversions d’Owl3D sont elles aussi des estimations et peuvent présenter les défauts décrits sur cette page. Un nouveau compte convertit gratuitement ses 3 premières minutes de vidéo, sans carte bancaire : vous pouvez donc appliquer cette liste de contrôle à vos propres extraits. Voir convertir une vidéo en 3D en ligne. Le format de sortie, les limites et les détails du fichier sont sur la page caractéristiques d’Owl3D Cloud.

Questions fréquentes

Qu’est-ce que la désocclusion dans une conversion 3D ?

L’arrière-plan qu’un second point de vue fait apparaître à côté d’un objet proche, et que la caméra d’origine n’a jamais filmé. Un convertisseur doit l’inventer [4][5].

Pourquoi ma vidéo convertie en 3D scintille-t-elle ?

Souvent parce que la profondeur est estimée image par image et change légèrement d’une image à l’autre ; la FAQ d’Immersity donne cette cause pour son propre outil [1]. Cherchez-la dans les plans fixes, où rien ne devrait bouger en profondeur.