La Reactable es el nuevo y revolucionario sistema para
“crear” música electrónica combinando tecnología con modernidad y un diseño
sencillo e intuitivo. Creado con una interfaz tangible proyectada sobre un
panel semi translúcido inspirado en los sintetizadores modulares de los años
sesenta.
Hoy vamos a mostrar y explicar de una forma sencilla como es
que funciona esta tecnología y veremos que no es algo muy complicado en cuanto
a lo físico no referimos. Claro está que en la parte del desarrollo técnico son
años de investigación y programación. Para arrancar en los principios de la
Reactable, en el año 2003 comenzó a desarrollarse por el grupo de tecnología
musical de la universidad Pompeu Fabra de Barcelona junto con un equipo de
investigadores con el objetivo de ser el mejor instrumento de música basado en
computadora que se podría conocer hasta el momento. Primero comenzaron en pesar
el que y no el cómo realizarlo. Gracias a la aparición de ReacTIVision este
proyecto se llevó a cabo de la mejor forma posible.
Funcionamiento y estructura
¿Qué es ReacTIVision?
Para los que no conocen ReacTIVision es un sofware de código
abierto para utilizar con la visión de las cámaras conectadas al PC y mantener
un completo seguimiento y reconocimiento de los marcadores fiduciales, un
conjunto de símbolos similares a un código QR. Existen varios tipos de
“familias fiduciales” que son previamente cargadas en el entorno que se
programe para ser reconocidas y poder cumplir su función.
Introduciéndonos en lo que es el control de la
Reactable nos encontramos con una interfaz gráfica táctil, la cual nos permite
manipular fácilmente y de forma intuitiva todos los controles que coloquemos
sobre ella. Estos son discos y cubos con diferentes diagramas que nos indican
su funcionalidad en gráficos muy sencillos y que de la parte que apoyamos sobre
la Reactable contienen un código de los anteriormente mencionados fiduciales.
Estos iluminan su contorno al ser apoyado sobre tal y nos abren un menú a su
alrededor, el cual podemos controlar con el tacto, para controlar distintos
tipos de balances sonoros sobre el cual trabajamos con esta pieza. Las mismas
dependen de su ubicación en tanto a rotación y proximidad con otra, teniendo la
posibilidad de combinarse entre sí para crear otro tipo de sonido completamente
diferente o distorsionar el ya creado. En ellos podemos pre cargar sonidos,
samples, generadores de ondas,etc
Pero, ¿cómo funciona?
Pasando a los que es en sí el comportamiento de la Reactable
contamos con 5 elementos que son los que permiten entender el comportamiento de
como manejamos los fiduciales.
Por un lado debajo del tablero semi translucido no
encontramos con la cámara que analiza el movimiento, la posición y la rotación
de los diferentes objetos situados sobre él. Esto es enviado y procesado en el
software de ReacTIVision y enviado mediante el protocolo especial llamado TUIO
del tipo UDP el cual nos permite que pueda enviarse por red a cualquier parte
del mundo. Así, una aplicación que tiene
un cliente preparado para decodificar y
entender esos mensajes reaccionará de acuerdo a lo que se haya programado. Esto
puede estar realizado en casi cualquier lenguaje de programación sea por
ejemplo Java, Processing, C++, etc.
En el caso de la Reactable va a ser un programa que lee esto
como objeto de síntesis de música y sintetiza el sonido para enviarla por un
altavoz. Por otro lado también envía al proyector las señales para que
aparezcan las animaciones sobre el tablero. Estas animaciones son enviadas a un
proyector que las emite por debajo del mismo.
Pasando a cómo funciona el reconocimiento de gestos de la
Reactable lo primero que hace es pre-procesar la imagen para crear altos
contrastes y obtener una imagen lo mas binaria posible (blanco y negro) para un
fácil reconocimiento. En la siguiente etapa para cada uno de los componentes de
las imágenes crea un “árbol” de las uniones, es decir, que une los puntos del
código fiducial creando una raíz para tener la identidad de cada uno. Como
segundo trabajo obtiene la posición y la rotación del mismo teniendo en cuenta
el promedio de los puntos del código.
Esto es lo que ve realmente luego del procesado de imagen con el
software Reactable y es enviado al cliente el cual es el encargado de dirigir y
enviar resultados de que es lo que va a realizar con dichos datos. Para luego y
por ultimo ser enviados a la interfaz gráfica mediante el proyector y sonora.
. Como consecuencia a esto obtenemos un instrumento musical
con una interacción sumamente intuitiva, fácilmente personalizable mediante la
programación y un sinfín de posibilidades en cuanto a lo sonoro. La Reactable
es la manera más intuitiva que podríamos imaginar para aprender las bases del
sonido. También pudiéndolo personalizar desde la misma interfaz, con nuevos
sonidos y configuraciones en el fin de adaptarlo a cualquier estilo musical.
Hay más de 40 objetos diferentes en la Reactable y todos los objetos tienen
diferentes funciones y comportamientos que pueden combinarse entre si creando
una realmente incontables posibilidades de crear sonidos
A continuación un video :
: