Multimodal Systems
Informazioni generali
- Università, Istituto o Scuola: Università degli Studi di Genova
- Dipartimento: DIBRIS
- Corso di Studi: Ingegneria Informatica
- Docente(i): Gualtiero Volpe
- Livello: Laurea Magistrale
- Sito del Corso di Studi: http://www.informatica.ingegneria.unige.it
- Lingua: Di norma in Italiano; in Inglese se presente almeno uno studente straniero; materiale didattico in inglese.
- Anno di Corso: 2
- Corso opzionale
- Durata dell’intero corso: 48
- Ore di lezione: 48
- CFU: 6
- Modalità di partecipazione: In presenza
- Esame finale: Domande a risposta multipla, Domande a risposta aperta, Esame orale
- Strumenti di sviluppo: Linguaggi compilati (p. es. con IDEs), Piattaforma EyesWeb XMI
- Numero medio di studenti: 10
Syllabus
– Introduzione ai sistemi multimodali: interfacce post-WIMP, interfacce multimodali: definizioni e motivazioni, ambienti di mixed reality, framework per sistemi multimodali interattivi.
– Analisi e sintesi del movimento e del gesto full-body: concetto di gesto espressivo, sistemi di motion capture, dispositivi RGBD, semplici tecniche di computer vision per l’estrazione e l’analisi in tempo reale di caratteristiche del movimento, tecniche per l’analisi e la rappresentazione dei gesti, esempi di applicazione.
– Introduzione al social signal processing: motivazioni, caratteristiche dell’interazione sociale, tecniche per l’analisi in tempo reale della sincronizzazione tra utenti e della leadership, esempi di applicazione con particolare riferimento ad applicazioni per dispositivi mobili.
– Sound and music computing: il segnale audio, tecniche per la registrazione e la riproduzione analogica e digitale dell’audio, formati per file audio, tecniche per l’estrazione e l’analisi in tempo reale di caratteristiche del segnale audio (caratteristiche temporali, spettrali e cepstrali), introduzione alle tecniche per la sintesi audio.
Altre Informazioni
Il corso comprende lezioni pratiche che gli studenti possono seguire con il proprio computer portatile e che consentono di apprendere l’utilizzo delle tecnologie e dei dispositivi fondamentali per lo sviluppo di sistemi multimodali interattivi, compresi i dispositivi mobili (smartphones, tablets). Gli algoritmi fondamentali vengono presentati ed implementati utilizzando la piattaforma EyesWeb XMI (http://eyesweb.infomus.org).
Nell’ambito del corso si organizza una visita al centro di ricerca Casa Paganini – InfoMus per mostrare agli studenti l’utilizzo di dispositivi professionali quali telecamere ad alta risoluzione e sistemi di motion capture (Qualisys).