Stage : Estimation par vision de l’état physique et cognitif d’un utilisateur afin de guider un robot lors d’un entraînement moteur

Context
Contexte
Ce stage s’inscrit dans un projet coordonné par Anna Bucchieri au sein de l’équipe HUCEBOT,
qui vise à créer des outils de réadaptation physique fondés sur la robotique et la réalité mixte.
Pour bien récupérer après une blessure ou maintenir sa mobilité avec l'âge, il faut s'entraîner régulièrement, souvent seul chez soi. Mais sans kiné, personne n'est là pour corriger les postures ou adapter l'effort. Or, la fatigue et le stress poussent à faire de mauvais mouvements, ce qui freine la guérison. Le but est donc de créer un "kiné virtuel" à domicile : un système utilisant des capteurs simples à installer soi-même, capable de détecter la fatigue en temps réel pour ajuster les exercices.
L’équipe
Le ou la stagiaire rejoindra l’équipe HUCEBOT du centre Inria de l’Université de Lorraine, à Nancy. HUCEBOT développe des capacités de contrôle, d’apprentissage et d’interaction pour des robots centrés sur l’humain : robots humanoïdes, manipulateurs mobiles et exosquelettes. L’équipe dispose d’équipements de pointe : plusieurs robots humanoïdes, des exosquelettes passifs et actifs, des capteurs portables, des plateformes de force, un atelier de prototypage ainsi qu’une salle de capture de mouvement (Qualisys, Xsens). L’équipe est internationale et travaille en anglais et en français.
Le laboratoire et Nancy:
Le centre Inria de l’Université de Lorraine est situé sur le même site que le laboratoire Loria, au sein du campus des sciences et technologies de l’Université de Lorraine (Nancy, France). Il se trouve à proximité du Jardin botanique, à 20 minutes en transports en commun ou à vélo de la gare de Nancy et du centre-ville. Plusieurs résidences étudiantes et commodités sont accessibles à pied. Nancy est une ville universitaire offrant une excellente qualité de vie, avec une communauté étudiante dynamique, ainsi qu’une présence active d’étudiants Erasmus et d’expatriés. Le coût de la vie à Nancy est très abordable comparé à celui de Paris, et il est facile d’y trouver un logement, qu’il s’agisse d’une résidence étudiante ou d’un appartement. Les membres des équipes ont également accès au SUAPS, le service des sports de l’université.
Assignment
Le stage porte sur l’estimation, à partir de caméras et de capteurs physiologiques uniquement, de l’état physique et cognitif d’une personne effectuant un exercice moteur. Il explore ensuite la manière dont cette estimation peut être transmise à un robot social qui accompagne la personne (par exemple pour l’encourager, lui suggérer de se reposer ou commenter ses mouvements).
L'estimation de la posture sans marqueurs permet désormais de reconstituer la cinématique corporelle à partir de caméras ordinaires, de type RGB ou RGB-D. La cinématique articulaire permet d'accéder aux couples articulaires, dont l'évolution temporelle reflète la fatigue physique. Parallèlement, des modèles open source permettent d'estimer des signaux non verbaux tels que les expressions faciales, la direction du regard, l'orientation de la tête et le langage corporel. L'évaluation en temps réel de la charge cognitive par vision artificielle a déjà été démontrée dans des environnements industriels. Toutefois, ces différents éléments n'ont jamais été intégrés ni validés conjointement dans le cadre d'un entraînement moteur non supervisé. Par ailleurs, on ignore encore quels signaux sont réellement révélateurs de tel ou tel état. Enfin, on sait peu de choses sur la manière dont un robot devrait exploiter ces estimations lors d'interactions avec une personne.
Méthodologie
Le stagiaire développera dans un premier temps un pipeline en temps réel combinant des modèles open source existants pour l'analyse de la posture, du visage et du regard. Les questions de recherche sont les suivantes : quelles caractéristiques issues de la vision permettent de distinguer les états de repos de ceux de fatigue, ainsi qu'un faible niveau de charge cognitive ou de stress d'un niveau élevé, dans le cadre d'un protocole contrôlé ? L'estimation combinée de ces états peut-elle être effectuée en temps réel pour déclencher, chez un robot, des comportements adaptés à l'état de l'utilisateur ? Dans une étude pilote, ces comportements sont-ils perçus comme plus appropriés et moins intrusifs que des comportements identiques déclenchés selon un calendrier fixe ? Une étude impliquant environ 10 à 15 participants en bonne santé sera ensuite menée. Les participants réaliseront une tâche répétitive dans des conditions induisant de la fatigue (effort soutenu) et une charge de travail accrue (double tâche). Des données vidéo, de capture de mouvement, d'ECG ainsi que des réponses à des questionnaires seront recueillies simultanément.
Déroulement indicatif (6 mois)
Mois 1 : état de l’art, choix et intégration des modèles de vision.
Mois 2 : chaîne de traitement en temps réel, finalisation du protocole et des documents relatifs à l’éthique.
Mois 3–4 : collecte de données, analyse de la précision.
Mois 5 : classification/régression des états et analyse des caractéristiques ; expérimentation sur robot.
Mois 6 : rédaction du rapport, mise à disposition du code en accès libre, contribution à une publication.
Main activities
Étudier l’état de l’art en matière de capture de mouvement sans marqueurs et d’estimation, par vision artificielle, de la fatigue, de la charge de travail et du stress
Intégrer et évaluer des modèles de vision open source au sein d’une chaîne de traitement en temps réel
Participer à la conception du protocole expérimental et à la préparation du dossier éthique
Mener les expérimentations auprès de participants humains
Analyser les données (traitement du signal, statistiques)
Skills
Compétences techniques :
Compétences et/ou expérience en matière de collecte de données via des systèmes de capture de mouvement et questionnaires
Intérêt pour les robots, avec une expérience préalable si possible
Notions de neurosciences et bases de connaissances sur le comportement humain
Expérience en analyse statistique
Soft skills :
Excellentes capacités de communication en milieu professionnel et aptitude à rendre compte de l'avancement des travaux
Goût pour les projets stimulants
Rigueur et honnêteté intellectuelle
Curiosité et désir d'apprendre
Approche pragmatique et capacité à développer des solutions robustes et fiables
Autonomie et sens de l'organisation
Appétence pour le travail dans un environnement multiculturel
Esprit d'équipe