Reconeixement real de gestos amb la wacom i síntesi d'àudio

De Wikijoan
Dreceres ràpides: navegació, cerca

Contingut

Introducció

Aquesta tecnologia és bàsica per poder desenvolupar Històries_amb_la_Wacom, i concretament els seus projectes/performances associats: Històries_amb_la_Wacom#Projectes. Es basa directament en el projecte Jplay-sndfile que s'ha desenvolupat per poder continuar amb la Wacom.

La idea és que quan faig un traç amb la wacom, hi ha una variació continua de la pressió i de la velocitat del llapis. Això s'ha de traduir en una producció de so que doni una sensació realística de so, variant el to i l'amplitud del senyal. S'ha d'aconseguir efectes similars al que s'aconsegueix en el vídeo de realtime gesture recognition with contact microphones:

Tota la part de detecció dels sensors de la wacom ja està treballat en el projecte del Wacom Theremin: 50_ways..._Wacom_Theremin.

Desenvolupament

Guardaré tots els fitxers del projecte a la carpeta projeces/wacom_gesture_recognition, i el projecte l'anomeno wacom-gesture.

Per fer el projecte em baso en Jplay-sndfile.

No cal dir que la meitat de l'èxit és escollir el fitxer wav adequat. La gràcia està en treballar amb altres samples més riques (se'n poden trobar a freesound.org, http://www.raw-audio-samples.com/ i altres bandes), i perquè no samplejar les meves pròpies mostres (jack-caputre o arecord).

Per compilar: (l'únic fitxer que s'ha de copiar a la carpeta del projecte és sndfile-tools-1.03/src/config.h)

$ cd /home/joan/projectes/wacom_gesture_recognition
$ g++ -o wacom-gesture -ljack -lsndfile wacom-gesture-0.0.1.cpp

Per executar:

$ ./wacom-gesture samples/hellosine.wav 

Download

Video


creat per Joan Quintana Compte, febrer 2012

Eines de l'usuari
Espais de noms
Variants
Accions
Navegació
Institut Jaume Balmes
Màquines recreatives
CNC
Informàtica musical
joanillo.org Planet
Eines