Reconeixement real de gestos amb la wacom i síntesi d'àudio
Contingut
Introducció
Aquesta tecnologia és bàsica per poder desenvolupar Històries_amb_la_Wacom, i concretament els seus projectes/performances associats: Històries_amb_la_Wacom#Projectes. Es basa directament en el projecte Jplay-sndfile que s'ha desenvolupat per poder continuar amb la Wacom.
La idea és que quan faig un traç amb la wacom, hi ha una variació continua de la pressió i de la velocitat del llapis. Això s'ha de traduir en una producció de so que doni una sensació realística de so, variant el to i l'amplitud del senyal. S'ha d'aconseguir efectes similars al que s'aconsegueix en el vídeo de realtime gesture recognition with contact microphones:
Tota la part de detecció dels sensors de la wacom ja està treballat en el projecte del Wacom Theremin: 50_ways..._Wacom_Theremin.
Desenvolupament
Guardaré tots els fitxers del projecte a la carpeta projeces/wacom_gesture_recognition, i el projecte l'anomeno wacom-gesture.
Per fer el projecte em baso en Jplay-sndfile.
No cal dir que la meitat de l'èxit és escollir el fitxer wav adequat. La gràcia està en treballar amb altres samples més riques (se'n poden trobar a freesound.org, http://www.raw-audio-samples.com/ i altres bandes), i perquè no samplejar les meves pròpies mostres (jack-caputre o arecord).
Per compilar: (l'únic fitxer que s'ha de copiar a la carpeta del projecte és sndfile-tools-1.03/src/config.h)
$ cd /home/joan/projectes/wacom_gesture_recognition $ g++ -o wacom-gesture -ljack -lsndfile wacom-gesture-0.0.1.cpp
Per executar:
$ ./wacom-gesture samples/hellosine.wav
Download
Video
- video youtube:
- entrada blog:
creat per Joan Quintana Compte, febrer 2012
