Introduction

AUMI (Adaptive Use Musical Instrument) est un logiciel initialement pensé par Pauline Oliveros, animatrice musicale, et Leaf Miller, ergothérapeute, pour permettre à des personnes polyhandicapées de participer à des ateliers d’expression musicale et de percussion organisées par le Deep Listening Institut de New-York.
AUMI utilise la webcam de l’ordinateur pour traduire les mouvements en séquences musicales ou effets sonores quand une partie du corps traverse une zone virtuelle, paramétrable et visualisable à l’écran. Différentes activités sont proposées : gamme de notes, percussions virtuelles, restitution de fichiers midi ou sons au format wav.
Les différentes versions du logiciel créées depuis l’origine du projet en 2007 sont téléchargeables à l’adresse mentionnée ci dessous, la version présentée dans cet article est la toute dernière ayant fait l’objet d’une importante mise à jour en janvier 2020.

Spécifications techniques

Référence AUMI (version 4.1.2) Mac / IOS / Windows
Auteru Deep Listening Institute : Zane Van Duzen, Zevin Polzin and co (USA)
aumiapp.com
Distributeurs
Prix Logiciel gratuitement téléchargeable à l’adresse ci-dessus
AUMI : apprendre à jouer avec des sons, des instruments, quelque soit le handicap grâce à une webcam

Description

L'interface du logiciel permet à l'utilisateur de jouer des sons et des phrases musicales à travers les mouvements et gestes capturés par la webcam intégrée ou connectée à un ordinateur, Mac ou PC.
Le déplacement d'une zone à une autre déclenche une «note» à jouer à partir d'un instrument sélectionné dans l'application. Les sons disponibles incluent des instruments traditionnels, des effets spéciaux, des boucles échantillonnées, ainsi que la possibilité de charger ses propres sons personnalisés. Une notice est consultable en ligne, offrant une traduction en français quand les options de traduction du navigateur sont activées : aumiapp.com/docs/AUMI_4_User_Guide_web.html

Paramétrage et utilisation

A l’ouverture la fenêtre du logiciel affiche cinq sections distinctes : Affichage de la caméra, Panneau de configuration, Module interaction, Module sonore, Barre de titre.

Affichage de la caméra

Sous le bouton vert « Camera », cliquer sur le bouton Marche - Arrêt pour activer la webcam. Le bouton « Settings » permettra de régler la qualité de l’image, la luminosité, le contraste, le zoom et l’affichage plein écran, si souhaité en cours d’utilisation.

Module interaction

Le module d'interaction détermine comment les mouvements de l'utilisateur déclenchent le son. Il existe trois modes d'interaction :
  • zone tracker : affiche des bandes verticales à l’écran constituant les zones actives.
  • Quand cette interaction est sélectionnée, une zone de paramétrage apparaît en bas et à gauche de l’écran permettant :
    • de choisir l’orientation des bandes : verticales ou horizontales,
    • de sélectionner le nombre de zones,
    • la taille de la grille,
    • les couleurs.
  • radial tracker : affiche les zones actives au sein d’un cercle style camembert.
    Paramètres de configuration identiques au mode précédent, en bas d’écran.
  • Ces deux modes réagissent au déplacement d’un curseur appelé « point de suivi », obtenu en cliquant sur une zone corporelle qui contraste bien avec le reste de l'image de la caméra. Exemple : œil, nez, pulpe d’un doigt… La zone corporelle choisie est matérialisée à l’écran par un point appelé « Dot », dont la taille et la couleur sont personnalisable depuis le menu « Apparence ».
  • « relative movement »
  • Plus difficile à contrôler, ce mode propulse le point de suivi en fonction de la quantité et de la direction du mouvement global détecté par la caméra au lieu de suivre un point sélectionné.
AUMI : interface utilisateur en mode vertical (tracker zone)
AUMI : restituer des sons, gammes de notes, jingles rigolos ,percussions, en déplaçant la cible face à la webcam (mode radial tracker)

Modules sonores

Le menu « Sound » situé à gauche du « Panneau de contrôle » permet de choisir le mode clavier ou le mode échantillonneur.

Mode clavier

Le clavier est l'instrument par défaut dans AUMI. Le clavier joue les notes de deux manières, selon le mode sélectionné.
En mode Zones, le mode par défaut, chaque zone joue une note : la zone de déclenchement 1 joue la note 1, la zone 2 joue la note 2, etc. En mode Séquence, toute zone déclenchée jouera la note suivante désignée par le séquenceur de notes, cf notice.
Le menu « Category » permet de choisir le type de sons joués : les instruments - Pitched Instrument- percussions, sons rigolos - Sound FX - vos propres fichiers sonores - Choose your own - et les sorties Midi, que nous n’avons pas testé.
Le menu Instrument, permet de choisir les instruments ou fichiers sonores disponibles dans la catégorie choisie.

Mode échantillonneur (Sampler)

L'échantillonneur est un instrument de lecture de base qui contient jusqu'à 8 sons, par défaut des sons de percussion, permettant de charger des sons personnalisé importés depuis l’ordinateur depuis le bouton « Load Soundfile », par exemple un fichier MP3.

Sauvegarde d’un profil

Depuis le panneau de configuration, le menu « Preset » permet d’enregistrer différents profils mémorisant l’ensemble des réglages avec possibilité de les modifier ensuite et de les exporter vers un autre ordinateur.
AUMI : Version IOS pour iPad (activité au doigt)

Conclusion

L’utilisation de ce logiciel est suffisamment simple pour obtenir rapidement de premiers résultats. Souris en main, vous découvrirez progressivement et intuitivement les multiples facettes de cet étonnant logiciel.
Celui-ci s’inscrit dans la continuité de l’apprentissage de la relation cause à effet auprès d’enfants ou adolescents qui éprouvent de la difficulté à utiliser des contacteurs, pour jouer à reproduire des sons, ou pourquoi pas, reproduire des effets intentionnels dans une chorégraphie de groupe.
Les réglages de la caméra permettront de filmer une personne entière afin de capter sa motricité globale, ou au contraire une partie précise du corps comme le visage, la main, un membre inférieur… en utilisant la fonction zoom de la webcam ou même une caméra externe déportée.
Des facteurs environnementaux peuvent influencer le comportement de la caméra : la lumière ambiante, un arrière plan, de même qu’il est plus facile de suivre le mouvement quand l’utilisateur porte un vêtement de couleur unie plutôt que des couleurs vives ou un motif chargé.

Une version d’AUMI est également disponible en téléchargement gratuit sous IOS pour iPad : aumiapp.com/AUMI-2.0.php
App Store : apps.apple.com/us/app/aumi/id647002265
aumiapp.com