Poiché nella comunicazione orale facciaa-faccia il segnale verbale viene trasmesso
contemporaneamente ad altre informazioni su
più canali, in particolare ad informazioni visive, tra le tecnologie del parlato si stanno sempre più imponendo all'attenzione dei ricercatori la sintesi e il riconoscimento bimodali uditivo-visivi.
Infatti, sebbene la modalità uditiva rappresenti il canale sensoriale più importante nel
processo di percezione del parlato, è stato
ormai accertato, sulla base delle ricerche sullo
speech-reading o lip-reading [1-3], che l'informazione estratta dai movimenti articolatori
visibili (movimento delle labbra, della mandibola, della lingua e visibilità dei denti), consente di migliorarne l'intelligibilità soprattutto
quando il segnale acustico risulta degradato
dalla presenza di rumore [4-6] oppure quando
le capacità percettive dell'ascoltatore siano
state danneggiate da patologie dell'udito.
Questo successo della percezione bimodale nell'identificazione delle unità fonologiche
segmentali e quindi delle uscite lessicali si
basa, intuitivamente, sul sinergismo tra le
informazioni uditive e visive relative ad uno
stesso fonema, in quanto prodotti sensoriali
della realizzazione fonetica di uno stesso
intento fonologico e collegati tra loro dalla
relazione causale esistente tra movimenti articolatori e segnale acustico risultante.
Grazie a tale sinergismo risulta raccomandabile l'applicazione sistemi di sintesi e
riconoscimento bimodali in vari tipi di interazione uomo-macchina per soggetti normali e
patologici.
La sintesi audiovisiva può rendere infatti
più naturale, robusto e amichevole l'accesso a
tutti i tipi di banche-dati, dalla lettura di notiziari all'e-commerce, dalla didattica (insegnamento della lingua materna e di lingue straniere) alla pratica clinica e logopedica per la
valutazione e riabilitazione dei soggetti ipoacusici e può essere utilizzata nella videotelefonia, nelle teleconferenze, nell'industria cinematografica e televisiva (cartoni animati,
videogiochi, doppiaggio, "sottotitolatura" di
messaggi in LIS, Lingua Italiana dei Segni,
creazione di Attori Virtuali, ecc). Anche per i
sistemi di riconoscimento automatico l'approccio bimodale fa prevedere notevoli vantaggi
soprattutto qualora la decodificazione del parlato debba avvenire in ambiente rumoroso,
come avviene in tutte le applicazioni reali del
riconoscimento vocale, o in condiz
