Cómo juzgar la calidad de una conversión de 2D a 3D y qué suele fallar

Un fotograma de vídeo y un mapa de profundidad hecho con IA, en el que «las zonas más claras están más cerca» [1]. Immersity e iw3 se basan en mapas de profundidad como este [2][3]. Imágenes: owl3d.com.

Qué hace un conversor con IA y de dónde sale el hueco

Un conversor con IA estima a qué distancia está cada parte de cada fotograma (un mapa de profundidad) y después desplaza los píxeles hacia los lados según esa profundidad para dibujar una imagen para el otro ojo. En palabras de Wikipedia, «los píxeles de la imagen original se desplazan a la izquierda o a la derecha según el mapa de profundidad, la paralaje máxima elegida y la posición de la superficie de la pantalla» [4]. Lo cercano se mueve más que lo lejano, así que la segunda vista descubre fondo que estaba oculto detrás. Los investigadores llaman a estas zonas desoclusiones: «pueden aparecer huecos en la vista sintetizada debido a la desoclusión, lo que degrada mucho la calidad» [5]. Salvo que el fondo se vea en otro momento del plano, «las zonas desconocidas tiene que rellenarlas un artista o reconstruirlas por inpainting, ya que la reconstrucción exacta no es posible» [4].

La lista de comprobación: qué mirar

Lo que dicen las fuentes detrás de cada fila:

• Bordes y efecto fantasma (ghosting). Wikipedia incluye entre los casos difíciles los «bordes de objetos difusos y semitransparentes, como el pelo, el pelaje, los objetos desenfocados en primer plano y los objetos finos», y atribuye a un mal tratamiento de los bordes semitransparentes el «borde duplicado o efecto fantasma» [4]. El autor de iw3 escribe que incluso una profundidad muy precisa «provoca artefactos en los bordes del primer plano y del fondo» [3].
• Cristal y humo. Un mapa de profundidad «por naturaleza no admite objetos o zonas semitransparentes» [4]. Las preguntas frecuentes de Immersity dicen que «pueden aparecer artefactos en los bordes de los objetos y en las zonas con transparencias o reflejos» [1].
• Huecos. Las «técnicas sencillas de relleno de oclusiones» provocan «artefactos de estiramiento cerca de los bordes de los objetos» [4]; Immersity: «Puede producirse cierto estiramiento de los objetos en los bordes» [1].
• Parpadeo. Immersity: «También pueden producirse cambios temporales, ya que cada fotograma se procesa de forma independiente» [1]. iw3 tiene una opción Flicker Reduction que «estabiliza las variaciones temporales del rango de profundidad» y reinicia su estado «en los fotogramas de límite de escena» [3].
• Bordes del encuadre y comodidad. Cuando un objeto cortado por el lado del encuadre aparece delante de la pantalla, Wikipedia lo llama «violación de ventana»: «se produce un efecto poco natural e indeseable» [6]. Los objetos lejanos deberían dejar los ojos «ni cruzados ni divergentes» [6]. La separación izquierda-derecha de un archivo crece con la pantalla en la que se muestra, así que un fondo cómodo en un móvil puede forzar tus ojos hacia fuera en una pared; consulta paralaje y tamaño de pantalla.
• Subtítulos. Los subtítulos incrustados «se procesarán junto con el vídeo, lo que puede causar artefactos en la visualización de los subtítulos» [1].
• Caras. El «efecto cartón» se da cuando los objetos «le parecen planos al público, como si fueran de cartón» [4].
• Lo básico del archivo. Abre la fuente y cada resultado en MediaInfo o ffprobe y compara el ancho, el alto, los fotogramas por segundo, las pistas de audio y la función de transferencia del color (PQ o HLG significa HDR).

Cómo hacer una prueba justa

1. Elige de cinco a ocho clips cortos. Cubre las filas de arriba: pelo, cristal, una persona que cruza, un plano fijo, una panorámica con un corte, una escena panorámica con subtítulos, un primer plano. Basta con menos de un minuto cada uno.
2. Dale a cada herramienta los mismos archivos. Usa primero los ajustes por defecto de cada una y apunta todo lo que cambies.
3. Mira el resultado en la pantalla de destino. Con su tamaño real y a la distancia a la que te sientas; un móvil y un proyector muestran fallos distintos.
4. Mira la imagen de cada ojo por separado. Abre el archivo lado a lado en plano y revisa las dos mitades. Algunas herramientas dejan el original en un ojo y solo dibujan el otro; la guía de iw3 dice que el ojo dibujado recibe entonces «el doble de artefactos y distorsión» [3]. Si en 3D ves un contorno doble pero cada mitad está limpia, el desdoblamiento viene de la pantalla o de las gafas, no del archivo.
5. Alterna entre izquierda y derecha. Toma el mismo fotograma de cada mitad y pasa de una a otra. Lo cercano debería moverse hacia un lado y lo lejano hacia el otro, y el plano de la pantalla debería quedarse quieto; las franjas que cambian de textura junto a los bordes son los huecos rellenados.
6. Mira diez minutos o más. Los problemas de comodidad y el bombeo lento de la profundidad se ven con el tiempo, no en una imagen fija.

IA o conversión de estudio

Wikipedia separa la «conversión semiautomática de calidad para cine y televisión 3D de alta calidad» de la «conversión automática de baja calidad» [4]; su sección sobre la conversión automática describe métodos antiguos basados en el movimiento y en indicios, no los modelos de profundidad con IA de hoy. En el trabajo de estudio, se recorta a mano cada superficie (rotoscopia), se le da forma a su profundidad y se repintan las zonas descubiertas; «los pasos que más tiempo llevan son la segmentación de la imagen o rotoscopia, la creación del mapa de profundidad y el relleno de las zonas descubiertas» [4]. La conversión con IA automatiza esos pasos, lo que la hace lo bastante rápida y barata para todo un catálogo, y sus rellenos son estimaciones. La investigación sobre el relleno de huecos coincide: esas técnicas «solo pueden dar una estimación para un hueco, que puede no ser lo bastante buena o incluso ser errónea» [5].

Dónde encaja Owl3D

Owl3D Cloud funciona en el navegador. Un modelo de IA (StereoGen V2 Large) estima la profundidad de cada fotograma y dibuja una segunda vista para el otro ojo: es una conversión con IA, no el 3D del estudio. Las barras negras se detectan una sola vez para toda la película, se dejan fuera del 3D y se vuelven a añadir sin cambios; una banda muy oscura que ocupa todo el ancho, como un cielo de noche, puede tomarse por una barra y quedarse plana. Las conversiones de Owl3D también son estimaciones y pueden mostrar los artefactos de esta página. Una cuenta nueva convierte gratis sus 3 primeros minutos de vídeo, sin tarjeta, así que puedes pasar esta lista con tus propios clips: convertir un vídeo a 3D online. El formato de salida, los límites y los detalles del archivo están en especificaciones de Owl3D Cloud.

Preguntas frecuentes

¿Qué es la desoclusión en la conversión a 3D?

Es el fondo que una segunda vista deja al descubierto junto a un objeto cercano y que la cámara original nunca grabó. El conversor tiene que inventarlo [4][5].

¿Por qué parpadea mi vídeo convertido a 3D?

A menudo porque la profundidad se estima fotograma a fotograma y cambia un poco de uno a otro; las preguntas frecuentes de Immersity dan esta causa para su propia herramienta [1]. Búscalo en los planos fijos, donde nada debería moverse en profundidad.