Speech, Language, and Neural Computations

Il Laboratorio per le ricerche sperimentali sul parlato, funzionante presso la Sezione padovana dell’ISTC, è stato creato, a partire dagli anni ’80, all’interno del Centro di Studio per le Ricerche di Fonetica del CNR, costituito nel 1971 presso l’Istituto di Glottologia e Fonetica dell’Università degli Studi di Padova e trasformato nel 1998 in IFD (Istituto di Fonetica e Dialettologia) e successivamente in ISTC-SPFD (Istituto di Scienze e Tecnologie della Cognizione – Sezione di Padova “Fonetica e Dialettologia”) e ora denominato ISTC-SS Padova (Istituto di Scienze e Tecnologie della Cognizione – Sede Secondaria  di Padova”) .

Le ricerche acustiche, articolatorie e percettive condotte presso tale Laboratorio hanno costituito per decenni un punto di riferimento metodologico per tutti gli studiosi del settore in Italia, collocando il Centro in una posizione assolutamente paritaria sulla scena internazionale rispetto a Istituzioni simili.

Nel corso degli anni le ricerche analitiche, di grande rilevanza per la descrizione dell’italiano parlato e per le applicazioni nel campo della riabilitazione logopedica, sono state integrate da indirizzi tecnologici informatici estremamente innovativi, quali la sintesi e il riconoscimento unimodali acustico-uditivi e bimodali acustico-visivi del parlato (Avatar Parlanti), ricerche che sono state scelte dal CNR come argomenti focus nel 2000 e 2001,  e a cui sono stati attribuiti numerosi progetti nazionali (TICCA, MIUR-FIRB) ed europei (MAGICSTER, PF-Star)

Più recentemente il Laboratorio si è interessato ad alcune ricerche volte all'’utilizzazione di robot umanoidi parlanti  nell'ambito del progetto ALIZ-E (Adaptive Strategies for Sustainable Long-Term Social Interaction) il cui obiettivo è stato quello  di elaborare metodi per sviluppare e testare robot mobili interattivi in grado di interagire con gli utenti umani, in particolare bambini malati di diabete,  per lunghi periodi di tempo.

Nel 2011 al Laboratorio è stata affidata l'organizzazione di  INTERSPEECH 2011 il più prestigioso convegno mondiale dedicato alle scienze della comunicazione parlata ed alle tecnologie del linguaggio. 

Nel 2013 al Laboratorio si è affiancato lo SpinOff denominato MIVOQ che si propone  di sfruttare gli anni di esperienza nel settore delle tecnologie vocali per proporne l'uso in abbinamento alle più recenti tecnologie ICT e per realizzare la personalizzazione della sintesi vocale da testo scritto. 

Gli Agenti Virtuali con Faccia Parlante costituiscono la più recente proposta per una interazione uomo-macchina più robusta e più naturale rispetto agli attuali sistemi unimodali uditivo-vocali di sintesi e di riconoscimento automatico del parlato. Sono sistemi più naturali perché si propongono di riprodurre l'interazione comunicativa umana faccia-a-faccia nella quale l'informazione viene scambiata lungo i canali uditivo e visivo per mezzo di messaggi verbali, intonazione, gesti, sguardi, espressioni del viso e movimenti del corpo. Sono considerati anche più robusti perché la trasmissione di informazione su più canali garantisce una migliore intelligibilità e comprensione del messaggio, soprattutto nei casi in cui il segnale acustico risulta distorto, danneggiato o ridotto a causa di situazioni ambientali sfavorevoli, di patologie del ricevente o di inadeguatezza del parlato sintetico. Grazie a queste caratteristiche si prevede l’utilizzazione degli Agenti Virtuali nell’accesso a banche dati, anche in rete, nei servizi di informazione (lettura di notiziari, guide museali, annunci commerciali), nelle applicazioni alla didattica per soggetti normali o patologici, nei servizi di vendita, oltre che nell'industria dello spettacolo (videogames, cinema e televisione). Negli esperimenti di implementazione di un tale Agente Virtuale con Faccia Parlante in italiano è stata utilizzata un'ampia serie di dati ricavati dalle ricerche linguistiche e informatiche svolte presso l'Istituto, in particolare dagli studi sulla comunicazione multimodale e sulla tecnologia del parlato. Sono state infatti necessarie le conoscenze sulle caratteristiche articolatorie, acustiche e percettive delle unità fonologiche segmentali e soprasegmentali dell’italiano; sugli indici acustici che veicolano le emozioni; sulle caratteristiche spazio-temporali dei movimenti labiali e mandibolari nella produzione delle unità fonologiche dell'italiano e le loro modificazioni nella realizzazione del parlato emotivo; sulla quantità e qualità di informazione trasmessa dai movimenti articolatori visibili, ottenuti da test di lettura labiale; sull'organizzazione della gestualità coverbale, con l'individuazione delle regole di coproduzione tra unità linguistiche del messaggio verbale (parole, caratteristiche prosodiche e intonative) e le diverse tipologie di gesti (simbolici, deittici, pantomimici, pittografici, ideografici); sulle tecniche di codificazione e decodificazione del segnale acustico; sulle tecniche di analisi del segnale acustico; sui programmi per la sintesi automatica da testo scritto; sui programmi per l'animazione facciale e per la sincronizzazione dei segnali verbale e visivo relativo sia ai movimenti facciali della “visual prosody” sia ai gesti coverbali.

Oltre alla rilevanza applicativa degli Agenti Virtuali Animati va sottolineata l'importanza di queste interfacce bimodali audio-visive come potenziale e potente strumento di ricerca: il metodo della “analysis by synthesis” permette allo studioso di verificare la significatività e la correttezza delle sue analisi, dei modelli e delle teorie proposte tanto per la produzione che per la percezione del parlato. Infatti le Facce Parlanti, dato che permettono di controllare separatamente le caratteristiche morfologiche e temporali di stimoli visivi e uditivi e quindi di creare stimoli bimodali in cui le informazioni uditive e visive possono essere coerenti o in conflitto (vedasi l'“effetto McGurk”), possono essere utilizzate per individuare indici distintivi, per studiare i processi di categorizzazione e discriminazione nella percezione unimodale visiva e bimodale uditivo-visiva, per definire le regole di integrazione di informazioni visive e uditive nel riconoscimento fonologico e lessicale.

Questi settori di ricerca sono considerati importanti e strategici nel panorama delle Scienze Fonetiche, nel settore dell’elaborazione automatica del parlato, nel campo delle ricerche più avanzate e specialistiche sulla multimodalità (si vedano le ricerche svolte presso: MIT, Max Plank Institute, OGI CSLU Oregon, CSLR CU Boulder Colorado, KTH, ICP-Institute de la Communication Parlée, LIMSI-Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur……) e le pubblicazioni di ricercatori della Sezione di Padova dell’ISTC rappresentano validamente l’Italia in tutte queste sedi, come dimostra la loro partecipazione ai Congressi Internazionali di Scienze Fonetiche, dell’ICSLP (International Conference on Spoken Language Processing), dell’EUROSPEECH, dell’ICASSP (IEEE International Conference on Acoustics, Speech, and Signal Processing), dell’AVSP (Audio Visual Speech Processing), ecc.