leapmotion-presentation

View Github Repository Open presentation in a new window

leolanzinger

See all presentation from leolanzinger

leapmotion-presentation

0 0

leapmotion-presentation

Bachelor thesis presentation - prototyping and evaluation of the Leap Motion as a musical controller

On Github leolanzinger / leapmotion-presentation

Prototyping and evaluation of the Leap Motion as a musical controller

- applicare metodologie HCI allo studio di controller musicali -

Laureando:

Leonardo Lanzinger

Relatore:

prof.ssa. Antonella De Angeli

Correlatore:

Fabio Morreale

Contoller musicale

  • controllare strumenti musicali o software musicale (DAW - Digital Audio Workstation)
  • controllare parametri dello strumento
  • gestione tracce audio su software musicale

Leap Motion

  • due telecamere IR + tre LED a infrarossi
  • riconosce mani e dita fino a 1 mt sopra superficie
  • 300 frames-per-second

Task musicali proposti

Lancio campioni audio Selezione traccia audio Controllo volume Controllo filtro

Sviluppo dei prototipi

  • gestures per eseguire i task musicali proposti
  • Ableton Live + Leap Motion API + Java (Processing) + Open Sound Control
  • due prototipi proposti: interazione one hand o two hands.

Prototype 1

one hand prototype

Prototype 2

two hands prototype

Test quantitativo

  • valutare la qualità degli algoritmi di riconoscimento delle gesture
  • 26 utenti non musicisti
  • tempo esecuzione + correttezza per lancio campioni audio e selezione tracce
  • tempo esecuzione per controllo volume e controllo filtro

Risultati

Test quantitativo

  • lancio campioni audio: più veloce one hand, più preciso two hands
  • selezione tracce: basso riconoscimento gesture (55% circa)
  • controllo volume: nessuna differenza sostanziale fra due prototipi, consistenza tempo fra utenti
  • controllo filtro: consistenza tempo fra utenti
one hand prototype two hands prototype gestures riconosciute media tempi std. dev gestures riconosciute media tempi std. dev lancio tracce audio 75% 500 ms 182 ms 80% 600 ms 160 ms selezione traccia 55% 800 ms 177 ms = = = one hand prototype two hands prototype media tempi std. dev media tempi std. dev controllo volume 4000 ms 2600 ms 4000 ms 2600 ms controllo filtro 3500 ms 2500 ms = =

Test qualitativo

  • 3 musicisti elettronici
  • ecosistema familiare: sala prove
  • performance filmata
  • intervista post test + commento guardando il video

Risultati

Test qualitativo

Feedback positivi:

  • movimento naturale per gestures "continue": volume e filtro
  • alto potenziale se unito a standard MIDI controllers
  • miglioramento estetico della peformance

Feedback negativi:

  • movimento non naturale per gestures "discrete:" lancio campioni e selezione traccia
  • scarso riconoscimento gestures
  • assenza di feedback tattile, meno precisione di controller fisici

Metodologia di valutazione

Valutazione quantitativa

  • evidenzia problemi e limitazioni tecniche del riconoscimento gestures
  • informazioni quantitative per ogni gesture
  • nessuna informazione qualità dell'interazione con il controller

Metodologia di valutazione

Valutazione qualitativa

  • feedback da utente finale (musicista)
  • necessario test in ecosistema familiare
  • no talk aloud ma review del video
  • mancano effetti di learning, è necessario uno studio longitudinale

Sviluppi futuri

  • miglioramento algoritmi di riconoscimento
  • integrazione con MIDI controller standard
  • studio longitudinale con musicisti
  • confronto con standard MIDI controller