L'obbiettivo di questa proposta è la generazione di feedback nel campo del CALL -
Apprendimento del Linguaggio Assistito dal
Computer, con l'aiuto di agenti conversazionali animati, definiti anche facce parlanti. Gli
agenti animati conversazionali costituiscono
un complemento essenziale alle applicazioni
di CALL in quanto simulano il ruolo di insegnanti umani. Il compito che abbiamo di fronte
nel progetto è come migliorare la tecnologia
disponibile attualmente e che costituisce lo
stato dell'arte in questo campo, l'OGI Toolkit, il
sistema reso disponibile gratuitamente da uno
dei nostri collaboratori e consulenti il CSLR -
Centro di Ricerca sul Linguaggio e il Parlato
dell'Università del Colorado (USA). L'altro
compito fondamentale sarà la distribuzione in
rete dei moduli di apprendimento linguistico
attraverso tecniche ad agenti. Il nostro lavoro
sarà quindi incentrato su due campi di ricerca
di base:
A. Miglioramento della generazione di
feedback
- miglioramento della generazione di
feedback attraverso l'uso di tecniche NLP (elaborazione del linguaggio naturale), come queste vengono studiate e realizzate nel LLC -
Laboratorio di Linguistica Computazionale
dell'Università Ca' Foscari di Venezia;
- miglioramento della realizzazione visiva e parlata del feedback, con particolare riferimento al
modulo italiano, come è stato realizzato dalla seconda unità di ricerca, il CSRF del CNR di Padova e in
parte presso il LLC;
- produzione in comune del modulo di riconoscimento vocale per l'taliano accoppiato alla elaborazione di immagini facciali dello studente allo scopo
di integrare informazioni linguistiche e paralinguistiche attraverso il parlato, i movimenti labiali e le
espressioni facciali. Questo verrà realizzato in collaborazione dall'unità di Padova e dall'unità di Parma
presso la Facoltà di Ingegneria.
B. Implementazione del prototipo con sistemi
distribuiti mediante tecniche ad agenti sotto Internet
per permettere l'utilizzo dei moduli di apprendimento linguistico ad utenti con diverse piattaforme. Il
lavoro coinvolgerà tutte e tre le unità ma verrà realizzato in particolare dall'unità di Parma.
L'integrazione in rete avverrà utilizzando il sistema
multi-agente chiamato JADE realizzato dall'unità di
Parma per la Telecom Italia Lab e disponibile come
"open source".
JADE supporta servers funzionanti con sistemi
operativi diversi ma che utilizzino il linguaggio di
interfacciamento FIPA ACL. In questo modo è possibile la realizzazione distribuita del prototipo in
maniera economica a cui possono accedere utenti
diversificati a cui servono questi strumenti, come
TECNOLOGIE LINGUISTICHE
PER LA GENERAZIONE DI
FEEDBACK
RODOLFO DELMONTE*,
DARIO BIANCHI**, PIERO COSI***
- intervento di Rodolfo Delmonte -
* Dipartimento di Scienze del Linguaggio - Università Ca' Foscari - Ca' Garzoni-Moro - San Marco, 3417 - 30124
Venezia (Italy) - Tel.:041-2578464/52/19 E-mail:delmont@unive.it - www:project.cgm.unive.it
** Dipartimento di Ingegneria dell'Informazione - Universita' degli Studi di Parma - phone +39 521 905734;
fax +39 521 905723 - 43100 Parma - Italy - E-mail bianchi@ce.unipr.it-bianchi@cm2.unipr.it
*** ISTC-SPFD CNR - Istituto di Scienze e Tecnologie della Cognizione - Sezionedi Padova "Fonetica e Dialettologia"
Consiglio Nazionale delle Ricerche - Via G. Anghinoni, 10 35121 Padova (Italy) e-mail: cosi@csrf.pd.cnr.it -
www:http://www.csrf.pd.cnr)100
laboratori linguistici dell'Università e scuole.
Per quanto riguarda l'OGI Toolkit, i componenti del sistema che utilizzeremo e modificheremo sono i seguenti:
-BALDI, la faccia parlante;
-FESTIVAL,ilmodulo di sintesi del parlato;
-gli strumenti di sviluppo per il modulo di
riconoscimento dell'italiano.
BALDI non è in grado di comprendere il
significato di un enunciato e di generare una
risposta adeguata basata sulla sua interpretazione. Invece BALDI fa domande specifiche e
poi riconosce e accetta o rifiuta parole o frasi
specifiche in risposta a certi stimoli. Sulla base
della parola o frase che viene riconosciuta,
BALDI produce una nuova azione o stimolo.
L'algoritmo di riconoscimento del parlato
è addestrato a riconoscere o individuare (spot)
un numero limitato di parole o frasi alla volta
prodotte da un qualsiasi parlante, e a rifiutare
parlato estraneo che non fa parte del vocabolario di riconoscimento. Comunque, il riconoscimento è alquanto limitato. Benché FESTIVAL abbia una sintesi alquanto intelleggibile, il
risultato è alquanto artificiale se confrontato
con una voce umana. Le capacità di dialogo
nel complesso sono quindi alquanto limitate.
L'interazione uomo-macchina potrebbe
essere enormemente aumentata da computers che possano comunicare usando segnali
multimodali come il parlato e i gesti.
Personaggi animati generati dal computer con
conoscenze esperte di dominio possono interagire con gli studenti in modi molto simili a
quelli degli insegnanti. Questi agenti animati
avrebbero accesso istantaneo a un mondo virtuale di esperti con conoscenze uniche come i
terapisti di disturbi del parlato, storici, guide
museali, ecc. Gli agenti animati conversazionali in questi scenari rappresentano la maturazione finale di sforzi attualmente in corso per
sviluppare ed integrare tecnologie del parlato
allo scopo di avvicinarsi ai livelli umani di interazione per mezzo di dialoghi in specifici domini.
Il feedback generato da BALDI è molto
ingenuo e ristretto a ciò che il tutor o assistente utente è stato capace di prevedere in un
dato contesto didattico. Il lavoro da realizzare
sul sistema di controllo, che è contenuto del
modulo di sviluppo RAD del sistema OGI ed è
costituito da un sistema di comprensione del
testo nel nuovo prototipo COMMUNICATOR
sempre dei nostri collaboratori, ha come
scopo il miglioramento delle sue capacità di
elaborazione del linguaggio naturale.
Attualmente, il modulo di controllo RAD permette soltanto di inserire frasi precostruite da
essere pronunciate ad alta voce da BALDI in
risposta ad un certo stimolo - solitamente un
errore dello studente o il fallimento del modulo di Riconoscimento Automatico. Verrà implementata la tecnologia linguistica che permetterà allo studente di lavorare con esercizi più
motivanti e stimolanti, nei quali giochino un
ruolo fondamentale la comprensione e la produzione linguistica.
Il lavoro da realizzare sulla faccia parlante si riferisce anche ai moglioramenti nella prosodia per la sintesi da testo (TTS), sia in inglese che in italiano. Questo verrà realizzato con
esperimenti che utilizzeranno un modello statistico da un lato, e un modello a regole dall'altro.
BALDI inglese ha nuovi denti, un nuovo
palato e due nuovi modelli dei movimenti linguali, il secondo dei quali è stato addestrato
su dati realizzati con l'elettropalatografo e gli
ultrasuoni. Intendiamo produrre gli stessi dati
per l'italiano allo scopo di migliorare il parlato
e i movimenti articolatori del BALDI italiano.
