29 - 10 - 2021

POR FESR 2014-2020

“Sviluppo di una piattaforma innovativa per una pratica musicale inclusiva”

Progetto prot. PG/anno/numero PG/2019/913586 - C.U.P. E95F19002170009

Intervento finanziato con risorse FSC 2014-2020

Piano Operativo della Regione Emilia-Romagna

(Delibera Cipe n.76/2017)

Il progetto sviluppato da NCS (www.ncs-company.com) ideazione e progettazione di una piattaforma innovativa capace di generare effetti sonori/melodici attivati dal movimento dei soggetti monitorati attraverso sensori inerziali indossabili. Lo scopo del progetto è realizzare una piattaforma inclusiva che permetta di far sperimentare a tutti (incluse persone con difficoltà motorie e fisiche) la possibilità di esprimersi attraverso il linguaggio musicale, creando suoni col proprio movimento e interagendo musicalmente sia con altri utilizzatori della piattaforma che con musicisti tradizionali.

Il focus principale della consulenza è stato quello di progettare un innovativo strumento tecnologico di interfaccia musicale, software di collegamento in grado di mettere in comunicazione e  tradurre i dati raccolti dai sensori con il software che permette di produrre musica. Il dispositivo studiato, infatti, permette di utilizzare i dati articolari monitorati attraverso la tecnologia showmotion di NCS per pilotare l’esecuzione di suoni ed effetti musicali al fine di consentire la generazione di musica e il controllo di specifici parametri musicali attraverso il movimento corporeo. 

Il nuovo innovativo strumento tecnologico interviene quindi sia in fase di definizione del brano, permettendo di caricare, editare e comporre le singole tracce da associare ad ogni musicista, ma anche durante l’esecuzione per ottimizzarne l’evoluzione sia temporale che attraverso specifici effetti e controlli.

Le attività hanno portato alla definizione dei profili di utilizzo della piattaforma, prevedendo diversi ruoli sulla base delle caratteristiche del musicista.
Sono stati caratterizzati gli eventi che permettono l’interazione tra musicista e musica suddividendoli in:
● Impulsi, con un profilo ottimizzato per mano e un profilo ottimizzato per piede a seconda del tipo di controllo che il musicista preferisce utilizzare nella sessione
● Rotazioni angolari libere a singolo sensore, con la possibilità di parametrizzare il numero e l’orientamento iniziale della suddivisione angolare su un range complessivo di 360°
● Rotazioni angolari di una catena di sensori, in cui le informazioni angolari sono interpretate da un motore biomeccanico che permette di stimare correttamente gli angoli articolari utilizzando i sensori posti su due riferimento anatomici differenti (ad esempio torace e omero per valutare i movimenti articolari della spalla, oppure omero e gomito per valutare i movimenti articolari di gomito)
● Rotazioni angolari da associare ad effetti di controllo, in cui è possibile associare il movimento di rotazione di un sensore al controllo di un effetto midi (ad es. manopola volume, effetti echo, riverberi, …)

Si sono inoltre definiti gli scenari da considerare nelle prove pratiche al fine di validarne l’efficacia:
● Battiti (ad es. di mano o piede o a discrezione del musicista, con l’obiettivo di generare impulsi tramite il sensore per far avanzare le battute della traccia musicale associata al musicista specifico)
● Movimento di un’articolazione del musicista sensorizzata (ad es braccio, gamba, testa, …) in modo da legare l’avanzamento delle battute della traccia all’angolo articolare monitorato, durante un gesto libero o seguendo percorsi predefiniti
● Controller, in cui la rotazione angolare di un sensore può essere associata ad un elemento di gestione della traccia (come controller ed effetti), permettendo il controllo di specifici parametri legati alla traccia (come volume, timbro, effetti custom)
● Strumento, in cui il sensore è posto non direttamente sul musicista, ma su uno strumento da questi controllato, il cui movimento produce l’avanzamento delle battute della traccia musicale associata, tramite la rotazione del sensore lungo un asse specifico

● Creazione di una struttura musicale che permettesse la descrizione di tracce musicali allo scopo di controllarne l’evoluzione temporale. Per tale scopo è stata utilizzata una struttura basata su uno standard di interscambio musicale in formato MIDI (.mid) che permettesse così anche l’interoperabilità con strumenti e accessori standard. Sono state quindi progettate e sviluppate le librerie per poter caricare e analizzare delle tracce dal formato MIDI e per poter quindi organizzare una struttura interna alla piattaforma che permettesse di scomporre il flusso complessivo in eventi singoli di cui controllare la dinamica temporale. Particolare attenzione è stata posta alla possibilità di utilizzare tracce multiple, in modo da permettere da un lato ad un musicista il controllo contemporaneo di più tracce con il medesimo movimento e contemporaneamente di permettere a diversi musicisti di controllare le proprie tracce indipendentemente, come avviene con gli strumenti tradizionali.
● Ideazione e creazione di un motore di esecuzione delle tracce che permettesse di controllare l’avanzamento del flusso musicale associandolo ad eventi controllabili via software. Il motore è stato sviluppato per supportare l’esecuzione di elementi singolo o multipli (più note eseguite contemporaneamente) sia in maniera automatica (con un tempo predefinito) sia in maniera manuale in cui l’avanzamento venga guidato dagli eventi motori generati dal musicista.
● Progettazione e creazione di un’interfaccia di controllo midi associabile ad elementi di controllo esterni (ad es a elementi di una consolle mixer o di un software DAW) per gestire la creazione opportuni comandi MIDI di controllo collegati alla rotazione di un sensore manovrato dal musicista come se fosse una manopola fisica.
● Sempre in questa fase sono stati creati i profili di utilizzo, in modo che l’utente possa facilmente configurare una sessione musicale attraverso un flusso procedurale semplice ed intuitivo, partendo dalla selezione delle tracce MIDI di riferimento, dall’assegnazione dei ruoli funzionali (controllo automatico, controllo manuale, controllo libero, controller MIDI), per poi passare all’assegnazione dei profili musicali per ogni musicista (modalità di interazione, posizionamento specifico dei sensori), arrivando così alla connessione wireless dei sensori configurati e infine al controllo dell’esecuzione.
● Lo strumento di interfaccia musicale è stata quindi dotata di funzionalità per il controllo della performance live, inserendo logiche di coordinamento tra i vari musicisti, per abilitare/disabilitare in tempo reale l’interazione tra movimento e suono, per silenziare i musicisti e per visualizzare l’avanzamento delle tracce automatiche.
● Ulteriori attenzioni sono state poste all’usabilità della piattaforma, implementando la possibilità di salvare e caricare progetti e di gestire più progetti contemporaneamente senza richiedere la re-inizializzazione della sensoristica inerziale.

• L’architettura è composta da un software sviluppato ad hoc incaricato di:
• gestione dell’interfaccia con i sensori WISE tramite la chiave USB GW
• importazione, analisi e gestione di file .midi per la configurazione delle tracce musicali da riprodurre automaticamente o
da associare ad un musicista per la riproduzione guidata dal movimento
• configurazione dei ruoli e delle funzionalità musicali associate a ciascun musicista
• generazione di un flusso midi di uscita verso una porta midi virtuale collegata ad una daw in esecuzione nella piattaforma
per la gestione della performance live
• interfaccia grafica con finestre di configurazione per guidare passo passo l’utente all’impostazione del progetto musicale
• L’output finale sarà un software installabile su laptop con sistema operativo Windows 10 (o superiori) per la
completa gestione della sensoristica, della configurazione dei musicisti sensorizzati e delle funzionalità di
controllo dell’esecuzione durante la performance