¿Quieres acariciar al gato en un video? Esto podría ser posible pronto, gracias a los científicos del MIT que están desarrollando una nueva técnica de imágenes que le permitirá alcanzar y «tocar» objetos en videos.
BOSTON: ¿Quieres acariciar al gato en un video? Esto podría ser posible pronto, gracias a los científicos del MIT que están desarrollando una nueva técnica de imágenes que le permitirá alcanzar y «tocar» objetos en videos.
Usando cámaras y algoritmos tradicionales, una técnica llamada Video Dinámico Interactivo (IDV) analiza las vibraciones diminutas y casi invisibles de un objeto para crear simulaciones de video con las que los usuarios pueden interactuar virtualmente.
“Esta técnica nos permite capturar el comportamiento físico de los objetos, lo que nos brinda una forma de jugar con ellos en el espacio virtual”, dijo Abe Davis, estudiante de doctorado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del Instituto Tecnológico de Massachusetts (CSAIL). .
«Al hacer que los videos sean interactivos, podemos predecir cómo responderán los objetos a fuerzas desconocidas y explorar nuevas formas de interactuar con los videos», dijo Davis.
El IDV tiene muchos usos posibles, desde cineastas que producen nuevos tipos de efectos visuales hasta arquitectos que determinan si los edificios son estructuralmente sólidos, dijo Davis.
Por ejemplo, muestra que, en contraste con la forma en que la popular aplicación Pokemon Go puede colocar personajes virtuales en entornos del mundo real, IDV puede ir un paso más allá al permitir que los objetos virtuales (incluido Pokémon) interactúen con sus entornos de manera específica. , formas realistas, como saltar de las hojas de un arbusto cercano.
La forma más común de simular movimientos de objetos es construyendo un modelo 3D. Sin embargo, el modelado 3D es costoso y puede ser casi imposible para muchos objetos.
Si bien existen algoritmos para rastrear el movimiento en video y ampliarlo, no existen algoritmos que puedan simular de manera confiable objetos en entornos desconocidos.
La investigación muestra que incluso cinco segundos de video pueden tener suficiente información para crear simulaciones realistas.
Para simular los objetos, el equipo analizó clips de video para encontrar «modos de vibración» en diferentes frecuencias, cada uno representando diferentes formas en que un objeto podría moverse.
Al identificar la forma de estos modos, los investigadores pueden predecir cómo se moverán estos objetos en nuevas situaciones.
«Los gráficos por computadora nos permiten usar modelos 3D para construir simulaciones interactivas, pero las técnicas pueden ser complicadas», dijo Doug James, profesor de la Universidad de Stanford que no participó en la investigación.
“Davis y sus colegas proporcionaron una forma simple e inteligente de extraer un modelo dinámico útil de vibraciones muy pequeñas en video y mostraron cómo usarlo para animar una imagen”, dijo James.
Davis usó el IDV en videos de una variedad de objetos, incluidos un puente, un gimnasio de la jungla y un ukelele.
Con unos pocos clics del mouse, demostró que puede empujar y tirar de la imagen, doblarla y moverla en diferentes direcciones.
Incluso demostró cómo puede hacer que su propia mano parezca controlar telequinéticamente las hojas de un arbusto.
Los investigadores dicen que la herramienta tiene muchos usos potenciales en ingeniería, entretenimiento y más.
