Ingénieur - Ingénieure R&D / Modèles vision-langage pour la surveillance

Context
Dans le cadre d’un partenariat :
collaboration entre le programme Inria Startup Studio (centre Inria de Lyon) et le projet de startup Camly AI.
L’objectif est de
développer et évaluer
des modèles vision-langage et un prototype de surveillance fonctionnant sur les caméras existantes
, plus particulièrement dédiés à
la détection de situations à risque qui persistent dans les entrepôts logistiques (issues de secours encombrées, allées obstruées, équipements de sécurité rendus inaccessibles), sans reconnaissance faciale ni suivi des personnes
.
Déplacements :
des déplacements ponctuels sont prévus vers les sites pilotes de la région lyonnaise et pour présenter les travaux en conférence. Les frais de déplacement seront pris en charge dans la limite du barème en vigueur.
Assignment
Missions :
Avec l’aide du fondateur de Camly AI (Oussama MESSAI, docteur en vision par ordinateur), la personne recrutée sera amenée à construire un protocole d’évaluation des modèles vision-langage (VLM) sur des tâches de surveillance de sécurité, et à constituer des jeux de données publics et réels d’entrepôts conformes au RGPD.
Collaboration :
La personne recrutée sera en lien avec le fondateur de Camly AI, qui définit la feuille de route produit et les besoins des clients, pour transformer les résultats de recherche en améliorations concrètes du produit. Elle travaillera aussi avec les sites pilotes, qui fournissent les conditions réelles d’usage, pour valider le système sur de vraies images de vidéosurveillance. L’équipe d’Inria Startup Studio accompagne le projet, et la CPPI d’Inria est consultée pour la propriété intellectuelle.
Responsabilités :
La personne recrutée a la charge du banc d’évaluation des VLM (tâches de référence, métriques, comparaison des modèles), du fine-tuning des modèles open-weight et de la qualité des jeux de données. Elle prendra des initiatives pour proposer de nouvelles méthodes, publier les résultats dans des conférences et revues de vision par ordinateur, et contribuer aux déclarations d’invention.
Pilotage/Management :
La personne recrutée aura la responsabilité de la campagne d’annotation des images issues des sites pilotes : rédaction des consignes, organisation de l’annotation, contrôle qualité et documentation. Le cas échéant, elle encadrera aussi des stagiaires.
Main activities
Principales activités (5 maximum) :
Concevoir un banc d’évaluation reproductible pour comparer plusieurs familles de modèles vision-langage, commerciaux et open-weight, sur des images réelles de vidéosurveillance.
Recenser, sélectionner et ré-annoter des jeux de données publics de vidéosurveillance, puis constituer un jeu de données réel d’entrepôts conforme au RGPD.
Fine-tuner des modèles open-weight (adaptation efficace en paramètres) et les tester, modifier et ré-évaluer jusqu’à valider leur fiabilité pour un déploiement souverain.
Rédiger des articles scientifiques et diffuser les résultats (benchmarks, jeux de données, méthodes) dans les conférences et revues de vision par ordinateur, après validation de la propriété intellectuelle.
Activités complémentaires (3 maximum) :
Rédiger des rapports techniques internes et contribuer aux déclarations d’invention.
Présenter l’avancée des travaux à l’équipe, aux partenaires et aux sites pilotes, et participer ponctuellement aux visites sur site.
Skills
Compétences techniques et niveau requis :
Doctorat en vision par ordinateur, en apprentissage automatique ou dans un domaine proche.
Expérience démontrée sur les modèles multimodaux ou vision-langage : évaluation, prompting, fine-tuning (par exemple Qwen-VL, InternVL, LLaVA, PaliGemma).
Maîtrise de l’écosystème Hugging Face (transformers, PEFT/LoRA).
Expérience de la construction ou de la curation de jeux de données
Rigueur expérimentale : protocoles reproductibles, métriques, analyse d’erreurs.
Compétences relationnelles :
Autonomie et envie de construire dans un environnement de startup.
Capacité à expliquer des résultats techniques à des interlocuteurs non spécialistes.