Multimodal Systems Genova

Multimodal Systems

Informazioni generali

  • Università, Istituto o Scuola: Università degli Studi di Genova
  • Dipartimento: DIBRIS
  • Corso di Studi: Ingegneria Informatica
  • Docente(i): Gualtiero Volpe
  • Livello: Laurea Magistrale
  • Sito del Corso di Studi: http://www.informatica.ingegneria.unige.it
  • Lingua: Di norma in Italiano; in Inglese se presente almeno uno studente straniero; materiale didattico in inglese.
  • Anno di Corso: 2
  • Corso opzionale
  • Durata dell’intero corso: 48
  • Ore di lezione: 48
  • CFU: 6
  • Modalità di partecipazione: In presenza
  • Esame finale: Domande a risposta multipla, Domande a risposta aperta, Esame orale
  • Strumenti di sviluppo: Linguaggi compilati (p. es. con IDEs), Piattaforma EyesWeb XMI
  • Numero medio di studenti: 10

Syllabus

– Introduzione ai sistemi multimodali: interfacce post-WIMP, interfacce multimodali: definizioni e motivazioni, ambienti di mixed reality, framework per sistemi multimodali interattivi.
– Analisi e sintesi del movimento e del gesto full-body: concetto di gesto espressivo, sistemi di motion capture, dispositivi RGBD, semplici tecniche di computer vision per l’estrazione e l’analisi in tempo reale di caratteristiche del movimento, tecniche per l’analisi e la rappresentazione dei gesti, esempi di applicazione.
– Introduzione al social signal processing: motivazioni, caratteristiche dell’interazione sociale, tecniche per l’analisi in tempo reale della sincronizzazione tra utenti e della leadership, esempi di applicazione con particolare riferimento ad applicazioni per dispositivi mobili.
– Sound and music computing: il segnale audio, tecniche per la registrazione e la riproduzione analogica e digitale dell’audio, formati per file audio, tecniche per l’estrazione e l’analisi in tempo reale di caratteristiche del segnale audio (caratteristiche temporali, spettrali e cepstrali), introduzione alle tecniche per la sintesi audio.

Altre Informazioni

Il corso comprende lezioni pratiche che gli studenti possono seguire con il proprio computer portatile e che consentono di apprendere l’utilizzo delle tecnologie e dei dispositivi fondamentali per lo sviluppo di sistemi multimodali interattivi, compresi i dispositivi mobili (smartphones, tablets). Gli algoritmi fondamentali vengono presentati ed implementati utilizzando la piattaforma EyesWeb XMI (http://eyesweb.infomus.org).
Nell’ambito del corso si organizza una visita al centro di ricerca Casa Paganini – InfoMus per mostrare agli studenti l’utilizzo di dispositivi professionali quali telecamere ad alta risoluzione e sistemi di motion capture (Qualisys).