La partitura : un sistema di annotazione multilivello basata su ANVIL

Lo studio dell'espressione e del riconoscimento delle emozioni fornisce da sempre dati essenziali per definirne la natura e la funzione. Accanto alle tradizionali analisi dell'espressione emotiva facciale, l'interesse degli studiosi si è rivolto più recentemente anche alle ricerche sui correlati fonetici delle emozioni.
La trasmissione dell'informazione sullo stato emotivo di un parlante ad un ascoltatore lungo il canale vocale-uditivo dovrebbe sempre essere studiata tanto a livello articolatorio quanto acustico e percettivo.
I dati articolatori sono essenziali per documentare come le profonde alterazioni fisiologiche indotte dalle emozioni nel parlante ne modifichino il ritmo respiratorio, le caratteristiche di vibrazione delle corde vocali, le modalità articolatorie, l'intensità dell'emissione, la velocità di articolazione.
I movimenti delle labbra nel parlato emotivo/espressivo sono di particolare interesse, poiché dipendono fortemente dalle configurazioni labiali caratterizzanti le emozioni e dai vincoli articolatori imposti dalle specifiche configurazioni della bocca durante la pronuncia delle vocali o delle consonanti.
In questo lavoro vengono descritte le modificazioni imposte sui bersagli articolatori ed acustici di alcuni fonemi italiani, caratterizzati specificamente dall'articolazione labiale, dalla produzione di espressioni di gioia, disgusto, paura, rabbia, sorpresa, tristezza. Per una quantificazione oggettiva delle modificazioni delle varie configurazioni articolatorie labiali è stato adottato il sistema ELITE, un sistema automatico per l'acquisizione e l'analisi dei movimenti cinematici della faccia di un parlante, che consente inoltre la registrazione simultanea del segnale acustico coprodotto.
Sono stati selezionati solo alcuni parametri articolatori. In particolare: l'apertura labiale (LO: Lip Opening), correlata foneticamente ai tratti alto/basso, la larghezza labiale (LW: Lip Width), correlata con il tratto arrotondato/non arrotondato, i movimenti anteriori e posteriori (protrusione) del labbro superiore ed inferiore (ULZ, LLZ), collegati al tratto fonetico protruso/retratto, gli spostamenti verticale del labbro superiore (ULY) e inferiore (LLY), gli spostamenti orizzontale dell'angolo sinistro (LCX) e destro (RCX) della bocca assieme, infine, al loro spostamento verticale (LCY, RCY).
Tutte le modifiche causate dalla produzione delle emozioni sui parametri articolatori sono risultate statisticamente significative.
Infine,per poter definire le caratteristiche della trasmissione bimodale audio-visiva delle emozioni, i dati articolatori sono stati poi messi in correlazione con i dati acustici.