Descripción

El proyecto ViVIM (Computer Vision for Multi-Platform Immersive Video) creará un nuevo formato audiovisual basado en vídeo omnidireccional. Este nuevo formato ofrecerá a los usuarios finales una experiencia audiovisual consistente a través de dispositivos de realidad virtual, tabletas y televisión tradicional, en lugar de dividir su atención entre ellos. Los nuevos contenidos integrarán y potenciarán la televisión tradicional y la cada vez más común segunda pantalla (tabletas y teléfonos móviles).

En particular hemos desarrollado un algoritmo para procesar estimar la profundidad de la escena en imagen de formato equirectangular 360 mediante métodos de deep learning basados en arquitectura de transformers, en concreto Dense Prediction Transformer.

Uso

1.Rotoscopia de objetos basado en imágenes para herramientas de postproducción audiovisual. 2. Generación automática de contenido 360 monoscópico en estereoscópico. 3. Creación de experiencias 3D (6DoF) a partir de contenido monoscópico o estereoscópico. 4. Automatización de espacialización de fuentes de sonido en contenido VR. 5. Estimación profundidad en conducción autónoma.

Web

Más información en https://i2cat.net/projects/vivim/
https://comunitatmedia.cat/en/portfolio/vivim-project/

Documentación