Alguien llama a la puerta. Estamos en Nueva Zelanda, en un agencia creativa llamada Colenso BBDO. Por la puerta entran varias personas que dicen trabajar para una empresa denominada Frucor. Están buscando una campaña verdaderamente potente para promocionar la joya de la corona, su bebida energética V. Tras varios días damos con la idea y se llamará The Motion Project. El objetivo es ambicioso: convertir el movimiento en música. Para ello necesitaremos muy buenas colaboraciones de gente multidisciplinar, desde cámaras y realizadores, a mezcladores de sonido y samples, programadores, expertos en motion graphics y hasta un bailarín de hip-hop. También necesitaremos tecnología, mucha tecnología.
Así debió ser más o menos lo que vivieron en la agencia creativa que, tras reunir a un equipo de enorme talento consiguieron el producto final que te contamos por partes.
Los instrumentos
El punto de partida consistía en utilizar una Kinect para detectar los movimientos del “músico” utilizando un software de audio denominado Apleton Live capaz de mapear todo tipo de movimientos del cuerpo con diferentes sonidos y efectos. Pronto descubrieron que hacía cierto delay entre los movimiemtos y los sonidos que en teoría éstos debían producir. La solución la encontraron en el siguiente esquema:
Se trataba de conectar dos Kinects a dos entornos diferentes y con softwares distintos, ya fueran éstos para detectar los movimientos o para dectar mediante los infrarrojos la posición del músico. Por una vez y sin que sirva de precedente, Mac y PC trabajando de forma conjunta y ayudando a producir algo verdaderamente brillante. Una de las Kinect enfocaba directamente al artista en movimiento utilizando drivers Open NI para calcular los movimientos del cuerpo, mientras que la otra, utilizando drivers freenect para detectar la profundidad del campo y detectar la posicion del artista.
El sistema de música mediante el Apleton Live se procesaba en un PC mientras que los movimientos se procesaba en el Mac utilizando C++ con OpenFrameworks. Las dos computadoras además, se comunicaban entre si mediante el protocolo de transmisión UDP (User Datagram Protocol) que enviaba sencillos objetos JSON de ida y de vuelta entre ambos sistemas para conseguir una verdadera sincronización entre los móvimientos, la posición del músico y la música.
Para conseguir convertir los movimientos en sonidos se creó una suerte de “teclado aéreo” mediante al cual cada gesto representaba un sonido. El modelo inicial se creó como una tecla que respondía a un ritmo pero más tarde evolucionó hacia un espacio donde el músico, mediante diferentes gestos y golpeos en áreas predefinidas, disponía de dicho “teclado” como si de un xilófono o de un arpa se tratara.
Todo se proyectaba con tres potentes dispositivos capaces de cubrir una superficie de 30 x 11,5 metros y el sonido salía desde una fuente externa M-Audio hacia un conjunto de altavoces de gran potencia.
Este fue el resultado:
Las imágenes
El reto era conseguir que las imágenes proyectadas fueran a la vez espectaculares e informativas. Lo importante era que cada espectador pudiera percibir que el artista estaba creando la musica con sus movimientos. Para ello era necesario ser capaces de explicar de forma visual cómo se iba construyendo el tema musical, cómo cada movimiento iba lentamente efectando a la música y al mismo tiempo, complementarlo con fuegos artificiales visuales y trucos que estuvieran perfectamente acompasados con las notas y los movimientos.
Inicialmente se trabajó sobre Motion Graphics con un avatar digital en movimiento en el centro de un escenario virtual rodeado de un arco circular luminoso. A su alrededor, al tiempo que reproducía los movimientos, el paisaje visual crecía por la pared en la perfecta sincronía de los dos entornos, unos enviando movimientos y el otro acoplando sonidos, samples y efectos a los mismos. El software para ejecutar las imágenes fue escrito en C++ con OpenFrameworks. en un Mac Pro con 16 GB de RAM y una tarjeta gráfica NVDIA con 1 GB VRAM y tres salidas.
El último paso era trabajar hasta el más mínimo detalla la interfaz de usuario hasta conseguir que cada sonido o acción sobre el “teclado áereo” fuera interprestada por el espectador con un grafismo concreto para conseguir al máximo el efecto de sincronización de los movimientos con la música y el efecto visual sobre el arco luminoso. El interfaz se diseño en diferentes 4 capas – el interfaz del usuario, el artista (avatar), el arco luminoso y el fondo - que proyectadas al únisoso creaban el efecto total sobre el muro.
Este fue el resultado.
Mezclados los instrumentos con las imágenes, el resultado conseguido fue francamente espectacular. Su nombre, “Can´t Help Myself” y fue presentado en las calles de Auckland. Puedes ver más detalles en la página del proyecto. Disfrútalo:
from TICbeat http://feedproxy.google.com/~r/rwwes/~3/q0zrA-EyXms/story01.htm
