El verano pasado un grupo de investigadores del MIT, Microsoft y Adobe anunciaban el desarrollo de un software capaz de extraer el sonido de un vídeo mudo analizando las vibraciones que generan las ondas cuando chocan con los objetos. Convencidos del impacto que podría tener su tecnología, el grupo decidió presentar nuevos resultados de las capacidades de su algoritmo en una charla TED organizada en Vancouver esta semana.
El candidato al doctorado y científico informático Abe Davis junto con su equipo han llevado a otro nivel una tecnología que llaman “micrófono visual” a través de una serie de experimentos enfocados no solo a reproducir el sonido de los vídeos silenciosos, sino también a predecir el movimiento de los objetos grabados.
Éste explica cómo en una de las pruebas el equipo filmó la imagen de una planta a miles de fotogramas por segundo mientras de fondo se escuchaba la canción “Mary had a little lamb”. El resultado final fue una grabación que además del vídeo, devolvió también el fragmento audio de la melodía, después de analizar a una escala muy reducida los movimientos de las hojas al recibir el impacto de las ondas de sonido. Todo esto se ha podido hacer con la ayuda del citado programa creado por el grupo de investigadores del MIT y de una cámara de alta definición.
Otra demo que intenta demostrar cómo se puede “escuchar” un vídeo mudo recoge el primer plano de la parte interior de la muñeca de un bebé durmiendo en la cuna. Aunque a primera vista parecía ser una imagen fija, el autor del software declaró que de hecho se trataba de un vídeo a través del cual el mismo algoritmo era capaz de interpretar los pequeños movimientos producidos por la respiración o el pulso de la sangre del bebé: “Hemos creado un software que encuentra los movimientos sutiles en un vídeo y los amplifica suficientemente para que los podamos ver”, declara Davis.
El sistema se basa en un proceso que se puede explicar mejor desde el punto de vista de la física. Los sonidos son ondas que provocan vibraciones en los objetos contra los que chocan y el movimiento de esta vibración crea una señal visual que no se puede ver a simple vista, pero que se puede captar con una cámara de alta velocidad, como es el caso de la tecnología desarrollada por el grupo del MIT.
¿Cuál sería la utilidad de esta tecnología en la vida real? Lo primero que nos viene en la cabeza es que cualquier conversación podría ser “escuchada” a través de un vídeo mudo, teniendo en cuenta la capacidad del software de extraer el sonido a partir de los movimientos imperceptibles de los objetos. Por lo tanto, se convierte en una buena herramienta para desarrollar nuevas tecnologías de seguridad.
Pero sus aplicaciones no paran aquí. Además de actuar como intérprete de vibración a sonido, el sistema también es capaz de interpretar las pequeñas vibraciones provocadas en los objetos para predecir el movimiento.
En otro vídeo Davis intentó analizar el movimiento de un arbusto provocado por una ligera brisa y que posteriormente guardó en un archivo de su ordenador. Usando el material grabado, el informático hizo una demostración de cómo las hojas reaccionarían a unos estímulos mayores simplemente tocando el objeto capturado con el puntero del ratón y convirtiendo el cursor por un momento en la propia brisa. De esta forma el programa podría predecir qué pasaría con el arbusto si el viento aumentara en intensidad.
Extrapolado a la vida real, la funcionalidad permitiría a los arquitectos a realizar distintas simulaciones para comprobar los puntos de tensión de los puentes. Aparte de esto sus creadores creen que también podría encajar en otras aplicaciones del sector de la salud, ingeniería o el diseño de los videojuegos.
from TICbeat http://ift.tt/198zNYC
