La aplicación permite activar cuatro efectos de guitarra mediante al menos 20 gestos corporales, sin necesidad de utilizar los pedales tradicionales; el proyecto podría tener aplicaciones futuras en rehabilitación virtual y educación
Inspirado en el caso del guitarrista de heavy metal Jason Becker, quien perdió la movilidad corporal a causa de la esclerosis lateral amiotrófica (ELA), Jesús Enrique Robles López, estudiante de maestría del Departamento de Computación del Centro de Investigación y de Estudios Avanzados (Cinvestav), desarrolló una aplicación para dispositivos móviles que permite a guitarristas y bajistas activar efectos de sonido mediante movimientos corporales y gestos.
La herramienta busca facilitar la interpretación musical a personas con dificultades de movimiento que no pueden utilizar con facilidad las pedaleras convencionales, dispositivos que permiten modificar el sonido de una guitarra o un bajo antes de que llegue al amplificador y que habitualmente se activan con el pie.
La aplicación desarrollada por Robles López sustituye esa interacción física por un sistema de reconocimiento de gestos. De esta manera, el músico puede realizar un movimiento para cambiar el efecto de sonido de su instrumento, mientras un teléfono o una tableta detecta el gesto y transmite la instrucción necesaria para ejecutar el cambio.
El proyecto surgió de la intención del estudiante de combinar sus dos intereses profesionales y personales: la computación y la música. Durante su formación en la maestría del Cinvestav, se interesó en el área de interacción humano-computadora, que estudia las formas en que las personas pueden comunicarse con las máquinas mediante distintos mecanismos, entre ellos los movimientos corporales.
“Al ingresar a la maestría en computación del Cinvestav me interesaba el área de la interacción humano-computadora; es decir, cómo podemos comunicarnos con una máquina, y una de esas formas es por gestos, pues ahora es aún más fácil poder interactuar a través de gestos, gracias a los sensores con los que cuentan las computadoras, tabletas o teléfonos móviles”, explicó.
El trabajo se realizó con la asesoría de Sonia Guadalupe Mendoza Chapa y José Guadalupe Rodríguez García, quienes colaboraron en el desarrollo de la solución tecnológica.
Jason Becker, la inspiración del proyecto
El caso de Jason Becker fue una referencia importante para definir el propósito de la investigación. El guitarrista estadounidense, reconocido por su trayectoria en el heavy metal y la guitarra virtuosa, desarrolló esclerosis lateral amiotrófica, una enfermedad neurodegenerativa que afecta las neuronas responsables del control de los músculos y que puede provocar una pérdida progresiva de la movilidad.
De acuerdo con el comunicado del Cinvestav, Becker llegó a componer su último disco mediante gestos con los ojos. Su experiencia mostró cómo la tecnología y los mecanismos alternativos de interacción pueden ayudar a mantener la actividad creativa cuando las capacidades de movimiento se encuentran limitadas.
A partir de este referente, Robles López orientó su investigación de maestría al desarrollo de una aplicación que pudiera conectarse con cualquier tipo de guitarra eléctrica y ofrecer a sus usuarios la posibilidad de cambiar los efectos de sonido sin recurrir a los pedales físicos.
La propuesta no busca modificar el funcionamiento del instrumento, sino ofrecer una forma distinta de controlar los efectos que utiliza el músico durante la interpretación.
Tecnología LiDAR para reconocer los movimientos
Para detectar los gestos, la aplicación utiliza el sensor LiDAR, siglas en inglés de Light Detection and Ranging, una tecnología que emplea luz láser para medir distancias y obtener información sobre la profundidad de los objetos y las escenas.
El Cinvestav señala que este sensor está disponible en determinados dispositivos de Apple y permite captar la profundidad de los movimientos corporales. Entre sus ventajas se encuentran la posibilidad de trabajar en condiciones de poca iluminación y mantener el reconocimiento de gestos incluso cuando existe mucho movimiento alrededor.
La aplicación fue programada en el lenguaje Swift, utilizado en el desarrollo de software para dispositivos Apple, e incorpora bibliotecas de reconocimiento de postura corporal.
Sin embargo, el equipo no se limitó a utilizar herramientas de reconocimiento existentes. También recopiló y generó información propia para ampliar la variedad de gestos que el sistema puede identificar y mejorar su capacidad de adaptación a distintos usuarios.
Una base de más de 800 mil gestos para entrenar la red neuronal
Uno de los componentes centrales del desarrollo fue la creación de una base de datos de movimientos corporales. Para ello, los investigadores capturaron gestos de estudiantes, principalmente de las manos, con el objetivo de que pudieran ser reconocidos por los dispositivos móviles.
Posteriormente, incorporaron esos datos a programas de redes neuronales para generar información artificial y ampliar el volumen de ejemplos disponibles para el entrenamiento del sistema.
“Capturamos gestos corporales de estudiantes, principalmente de manos, para que sean reconocidos por el dispositivo, pero a la par metimos esos datos a programas de redes neuronales a fin de poder generar datos artificiales y aumentamos el volumen para tener arriba de 800 mil gestos, con lo cual pudimos entrenar una red neuronal que sea capaz de detectar diferentes complexiones y altura de personas e identifique sin dificultad los gestos que se están realizando”, detalló Robles López.
El conjunto de más de 800 mil gestos permitió entrenar una red neuronal para reconocer movimientos realizados por personas con distintas complexiones y estaturas. Con ello, el sistema busca evitar que su funcionamiento dependa de que todos los usuarios tengan características físicas similares.
La incorporación de datos generados artificialmente también permitió ampliar el volumen de información disponible para el entrenamiento, con el propósito de fortalecer el reconocimiento de los movimientos que se utilizan para controlar los efectos musicales.
Cuatro efectos de sonido y al menos 20 gestos reconocibles
En su etapa actual, la aplicación cuenta con cuatro efectos de sonido para guitarra, descritos por el Cinvestav como algunos de los más utilizados por los músicos.
Además, tiene capacidad para detectar al menos 20 gestos que el usuario puede emplear para programar los sonidos deseados. Así, cada movimiento reconocido puede asociarse con una instrucción para modificar el efecto que se escucha en el instrumento.
El funcionamiento comienza cuando el músico realiza un gesto frente al dispositivo móvil. El sensor registra el movimiento, el sistema de reconocimiento identifica la acción y el teléfono o la tableta transmite la instrucción mediante el protocolo de comunicación de red UDP (User Datagram Protocol).
Este protocolo permite enviar los datos necesarios para efectuar el cambio de efecto de sonido.
La combinación del reconocimiento de movimientos y la transmisión de instrucciones permite que el control de la pedalera virtual se realice sin presionar físicamente un pedal. El objetivo es ofrecer una alternativa de interacción para quienes tienen dificultades para mover los pies o ejecutar los movimientos requeridos por los dispositivos convencionales.
El comunicado no precisa una fecha de lanzamiento comercial, el costo de la aplicación ni los modelos específicos de dispositivos compatibles, por lo que no se puede establecer todavía su disponibilidad para el público general.
Posibles aplicaciones en rehabilitación y educación
Aunque el desarrollo se planteó inicialmente para facilitar el uso de efectos musicales a guitarristas y bajistas con discapacidad motriz, su creador considera que la tecnología podría aprovecharse en otros ámbitos.
A mediano plazo, la intención es que tanto el código de programación como la base de datos de gestos puedan servir para desarrollar proyectos de rehabilitación virtual y herramientas destinadas a las aulas educativas.
En el ámbito de la rehabilitación, el reconocimiento de movimientos podría explorarse como un mecanismo de interacción con ejercicios o entornos virtuales. En la educación, podría facilitar nuevas formas de comunicación entre las personas y los dispositivos digitales.
Estas posibilidades forman parte de las aplicaciones futuras que plantea el proyecto; el comunicado no señala que ya existan programas de rehabilitación o plataformas educativas implementadas a partir de esta tecnología.
Con esta investigación, Jesús Enrique Robles López integra el reconocimiento de gestos, los sensores de profundidad y las redes neuronales en una herramienta orientada a ampliar las posibilidades de participación musical de personas con dificultades de movimiento.
