Introduction

Conçus par l’équipe de l’Association Provinciale de Paralysie Cérébrale de Tarragona (Espagne), Sitplus et Switch Viacam sont deux logiciels développés à l’attention de jeunes enfants IMC ou polyhandicapés sur le thème de l’apprentissage de la relation cause à effet quand l’utilisation d’un simple contacteur est difficile.
Ces deux logiciels captent la motricité spontanée des enfants, adolescents ou jeunes adultes par l’intermédiaire d’une webcam afin de déclencher des effets sonores accompagnés d’effets visuels ou des actions utilisables dans certains jeux.
Cet article actualise et remplace les fiches techniques : 04-144 (rubrique logiciels) et 03-052 (rubrique accès à l’ordinateur).

Sitplus

Spécifications techniques

Référence Sitplus v1.1.0 (compatible Windows 7 et 10)
Fabriquant Cesar Mauri Loba
Associació Provincial de Paràlisi Cerebral (APPC) de Tarragona (Espagne)
sitplus.crea-si.com/index/index.html
Distributeurs Logiciel libre sous licence GNU/GPL v3
Prix Gratuit
Sitplus : jouer de la musique en bougeant face à une webcam

Générer des effets musicaux

A l’ouverture, depuis le menu « Activity », le logiciel permet de choisir de travailler avec une seule zone de capture « Virtual Instrument Camera », ou deux zones de capture « Virtual Instrument Duo ».
Remarque : le menu propose également une comptabilité pour les manette Wii que nous ne développerons pas en raison de leur disparition du marché.
Le logiciel affiche ensuite une nouvelle fenêtre « Activity Manager » comportant un bouton « Play ».
Un clic sur le bouton « Play » active la webcam de l’ordinateur portable. Sur un ordinateur en poste fixe, la webcam sera sélectionnée depuis le menu configuration de la première fenêtre.
Au sein de l’image restituée apparaissent deux rectangles bleu et rouge correspondant aux zones de capture. Ces deux zones sont dimensionnables et déplaçables.
Zones de capture (paramétrables) enregistrées par la webcam
Au sein de la zone de capture, un curseur mobile permet de modifier l’ordre de la séquence musicale.
La traversée totale ou partielle d’une zone par une partie du corps déclenchera les effets sonores sélectionnés sous l’onglet « Instrument » de l’Activity Manager : trente instruments aux sonorités variées sont proposées (piano à queue, xylophone, percussion…) avec possibilité de varier les effets sous le bouton « Musical Score ».
Choix d’un instrument associé à une zone de capture (30 effets)

Accompagner les effets musicaux d’effets visuels

A droite de la fenêtre « Activity Manager », sous le bouton « Graphics » il est possible de choisir des effets visuels qui accompagneront les mouvements et les sons :
  • collage : assortiment (papillons, coeurs, étoiles, fleurs..), chats et chiens, espace,
  • instrument : animation sur guitare, piano, percussion,
  • autre : animation sur damier ou lignes.
Le bouton « Show camera image as backround » (On/Off) affichera ou non la vidéo de l’utilisateur en surimpression des effets visuels.
Une fois ces réglages effectués, on peut minimiser la fenêtre « Activity Manager » et afficher en plein écran l’image filmée par la webcam accompagnée des effets visuels : les plus jeunes vont adorer.
Effets visuels accompagnants la musique déclenchée par les mouvements de tête

Jouer avec la voix

Le logiciel permet également de jouer avec la voix, c’est-à-dire générer des effets sonores déclenchés par la voix ou des sons de gorge captés de préférence depuis un microphone séparé : menu « Activity », «  Playing with the voice ».
Sitplus : truqueur de voix, « Playing with the voice »
Sitplus : Paramètres du truqueur de voix

Important :

Cette activité nécessite en complément le téléchargement du logiciel Pure Data Extended dont le lien est mentionné sur cette page : sitplus.crea-si.com/downloads/index.html
Une option théoriquement intéressante pour stimuler les productions vocales, qui se comporte globalement comme un amplificateur/truqueur de voix, mais la qualité des sons restitués est plutôt décevante malgré plusieurs réglages de tonalité.
(cf vidéo : youtube.com/watch?v=OlCcMzR1OAc&feature)

Switch Viacam

Fonctionnant sur le même principe, Switch Viacam est un logiciel qui permet de détecter une ou deux zones sur l’image captée par une webcam et d’y associer certaines fonctions du clavier ou de la souris quand une zone du corps les traverse.

Spécifications techniques

Référence Switch Viacam v1.0 (compatible Windows 7 et 10)
Fabriquant Cesar Mauri Loba
Associació Provincial de Paràlisi Cerebral (APPC) de Tarragona (Espagne)
sviacam.sourceforge.net
Distributeurs Logiciel libre sous licence GNU/GPL v3
Prix Gratuit

Description

Au démarrage, le logiciel affiche l’image enregistrée par la webcam et sur le côté, les réglages concernant les deux zones de capture.
Sous les boutons Sensor 1 et 2, cliquer sur le bouton « Enable », pour faire apparaître les deux zones virtuelles, les placer et les dimensionner.

Programmation des actions

Sous les boutons « Event Type », faire défiler la liste déroulante et choisir une action pour chacune des deux zones.
  • touches souris : clic gauche, central ou droit.
  • touches clavier : touches return, espace, space, tab, shift, control, alt, up, down, left, right à F1 et F12.
Le curseur « time filter » permet de définir en millisecondes (ms), le temps d’attente après une action avant d’en générer une autre Le curseur est réglé par défaut sur 2 secondes.
Après quoi, la fenêtre peut être minimisée pour ne pas gêner la situation de travail affichée à l’écran.

Exemples d’application

Capter un mouvement de faible amplitude

L’élévation d’un doigt face à une webcam, installée sur plan de travail, déclenche une fonction de validation (clic gauche, ou barre espace) au sein d’un logiciel fonctionnant, par exemple, en mode défilement.
Important : la vitesse de défilement doit être réglée pour être supérieure à la temporisation « time filter » (cf séquence de la vidéo présentée en première page du site).
Switch Viacam : Détection de l’élévation d’un doigt depuis une webcam mobile

Education posturale et relation cause à effet

Sur le site de l’auteur, une vidéo montre deux exemples dans le domaine de l’éducation posturale : le déplacement d’un membre hémiplégique ou l’atteinte d’une zone nécessitant une antépulsion de l’épaule, déclenche la fonction lecture d’un clip vidéo régulièrement mis en pause.

Conclusion

Ces deux logiciels logiciels sont faciles à utiliser et leurs applications peuvent être nombreuses dans les domaines ludiques, et de l’éducation posturale accompagnée de feedbacks musicaux ou actions dans certains jeux. Un peu anciens mais toujours compatibles sous Windows 10, ils souffrent d’un manque de mise à jour, mais nous avons souhaité rééditer en les actualisant ces deux informations, qui véritablement plaisent auprès d’un public polyhandicapé. Nous poursuivrons sur ce thème en vous proposant prochainement une solution plus aboutie, suite logique de celles-ci et utilisée pour obtenir une participation active au sein de groupes de djembé, musique ou percussion, comme il en existe au sein de nombreux établissements.
sitplus.crea-si.com
sitplus.crea-si.com