Stage: jeux sérieux adaptatifs en réalité mixte, couplant la gamification à l'attention et à la fatigue de l'utilisateur

Context
Context
Ce stage s’inscrit dans un projet coordonné par Anna Bucchieri au sein de l’équipe HUCEBOT,
qui vise à créer des outils de réadaptation physique fondés sur la robotique et la réalité mixte.
Pour bien récupérer après une blessure ou maintenir sa mobilité avec l'âge, il faut s'entraîner régulièrement, souvent seul chez soi. Mais sans kiné, personne n'est là pour corriger les postures ou adapter l'effort. Or, la fatigue et le stress poussent à faire de mauvais mouvements, ce qui freine la guérison. Le but est donc de créer un "kiné virtuel" à domicile : un système utilisant des capteurs simples à installer soi-même, capable de détecter la fatigue en temps réel pour ajuster les exercices.
L'équipe
Le ou la stagiaire rejoindra l’équipe HUCEBOT du centre Inria de l’Université de Lorraine, à Nancy. HUCEBOT développe des capacités de contrôle, d’apprentissage et d’interaction pour des robots centrés sur l’humain : robots humanoïdes, manipulateurs mobiles et exosquelettes. L’équipe dispose d’équipements de pointe : plusieurs robots humanoïdes, des exosquelettes passifs et actifs, des capteurs portables, des plateformes de force, un atelier de prototypage ainsi qu’une salle de capture de mouvement (Qualisys, Xsens). L’équipe est internationale et travaille en anglais et en français.
Le laboratoire et Nancy
Le centre Inria de l’Université de Lorraine est situé sur le même site que le laboratoire Loria, au sein du campus des sciences et technologies de l’Université de Lorraine (Nancy, France). Il se trouve à proximité du Jardin botanique, à 20 minutes en transports en commun ou à vélo de la gare de Nancy et du centre-ville. Plusieurs résidences étudiantes et commodités sont accessibles à pied. Nancy est une ville universitaire offrant une excellente qualité de vie, avec une communauté étudiante dynamique, ainsi qu’une présence active d’étudiants Erasmus et d’expatriés. Le coût de la vie à Nancy est très abordable comparé à celui de Paris, et il est facile d’y trouver un logement, qu’il s’agisse d’une résidence étudiante ou d’un appartement. Les membres des équipes ont également accès au SUAPS, le service des sports de l’université.
Assignment
Le ou la stagiaire concevra et développera un jeu sérieux pour l'entraînement moteur du membre supérieur. Le jeu sera jouable
en réalité mixte
(casque). Il comportera plusieurs
niveaux de gamification
explicites. Le ou la stagiaire couplera ensuite ces niveaux à des estimations en ligne de l'
attention
et de la
fatigue
de l'utilisateur. Ces estimations seront obtenues à partir de capteurs grand public : une montre connectée pour la fréquence cardiaque, une webcam ou l'eye-tracking du casque pour le regard et la posture de la tête, et l'adhésion à la tâche enregistrée par le jeu.
Le « niveau de gamification » sera défini comme une dimension contrôlable, distincte de la difficulté motrice de la tâche. Il recouvre la richesse des retours, les scores et récompenses, les objectifs et la progression, la narration, le rythme et la stimulation audiovisuelle. Il peut aller d'un exercice simple avec un retour de performance minimal à un jeu avec pression temporelle, narration et effets riches. L'idée centrale est que le
bon
niveau n'est pas fixe. Une personne fatiguée peut avoir besoin de moins de stimulation, une personne distraite, de davantage. Des travaux antérieurs de la coordinatrice ont porté sur des jeux sérieux en réalité mixte pour la rééducation. Des systèmes adaptant simultanément les paramètres moteurs et ludiques existent, mais ils reposent sur des règles indépendantes fondées sur la performance.
Méthodologie
Le ou la stagiaire développera le jeu sous Unity en réalité mixte (par ex. un casque de type HTC Vive), spécialement conçu pour la réadaptation physique. Un module de mesure transmettra en continu la fréquence cardiaque, le regard et la posture de la tête. Il calculera des indices d'attention et de fatigue simples et interprétables. Ces indices seront validés par rapport à des mesures de référence : ECG à ceinture thoracique, échelle de Borg CR10, NASA-TLX et IMI. Une étude intra-sujet avec environ 12 à 15 participants sains comparera plusieurs conditions : choix libre, niveau fixe, adaptation à la performance et adaptation à l'état.
Les questions de recherche sont les suivantes : Des indices d'attention et de fatigue calculés en ligne à partir de capteurs grand public suivent-ils de manière suffisamment fiable des variations contrôlées pour piloter un jeu ? Lorsque les utilisateurs choisissent librement leur niveau de gamification au cours d'une séance, ce choix varie-t-il systématiquement avec leur attention et leur fatigue ? Une adaptation de la gamification pilotée par l'état de l'utilisateur maintient-elle mieux l'attention et la durée de pratique qu'un niveau fixe ou qu'une adaptation fondée uniquement sur la performance ? Est-elle aussi perçue comme plus motivante (IMI) ?
Déroulement indicatif (6 mois)
Mois 1 :
état de l'art sur la gamification et les jeux sérieux adaptatifs ; conception du jeu et définition des niveaux de gamification.
Mois 2 et 3 :
développement du jeu (réalité mixte), module de mesure, tests pilotes ; préparation des documents éthiques.
Mois 4 :
campagne expérimentale.
Mois 5 :
analyse des données.
Mois 6 :
rédaction du rapport, publication du jeu en open source, contribution à une publication.
Main activities
Réaliser un état de l'art sur les jeux sérieux pour la réadaptation, la gamification et l'ajustement dynamique de la difficulté
Concevoir et développer un jeu sérieux sous Unity pour la réalité mixte, avec des niveaux de gamification paramétrables
Intégrer des capteurs physiologiques et visuels grand public et calculer en ligne des indices d'attention et de fatigue
Participer à la conception du protocole expérimental et à la soumission éthique
Conduire les expérimentations avec des participants et analyser les résultats
Rédiger le rapport et documenter le logiciel en vue de sa diffusion en open source
Participer aux activités et événements de l'équipe
Skills
Compétences techniques :
Compétences et/ou expérience en matière de collecte de données via des systèmes de capture de mouvement et questionnaires
Intérêt pour les jeux sérieux, avec une expérience préalable si possible
Notions de neurosciences et bases de connaissances sur le comportement humain
Expérience en analyse statistique
Soft skills :
Excellentes capacités de communication en milieu professionnel et aptitude à rendre compte de l'avancement des travaux
Goût pour les projets stimulants
Rigueur et honnêteté intellectuelle
Curiosité et désir d'apprendre
Approche pragmatique et capacité à développer des solutions robustes et fiables
Autonomie et sens de l'organisation
Appétence pour le travail dans un environnement multiculturel
Esprit d'équipe