Ingénieur•e expert•e évaluation de LLM

Context
Suite aux priorités établies en mai 2024 par la Déclaration de Séoul pour une IA sûre, novatrice et
inclusive, dont la France est signataire, le gouvernement a decidé de créer l'INESIA, un institut qui pour
mission de fédérer, sans création de nouvelle structure juridique, les acteurs nationaux de l’évaluation
et de la sécurité, et tout particulièrement :
l’Agence nationale de la sécurité des systèmes d'information(ANSSI),
le Laboratoire national de métrologie et d’essais (LNE),
le Pôle d’expertise de la régulation numérique (PEReN),
l’Institut national de recherche en sciences et technologies du numérique(Inria).
Dans ce cadre Inria contribue principalement sur les axes de l,analyse des risques systémiques dans le
champ de la sécurité nationale et l'évaluation de la performance et de la fiabilité des modèles d'IA.
Ce travail se coordone strategiquement avec le programme de recherche d'Évalluation de l'IA, porté par
Inria et se materialise par la conception et développement d'une plateforme d'évaluation de l'IA, en
particulier des systèmes basés sur les LLM.
Cette plateforme vise à fournir un environnement intégré, sécurisé et robuste permettant de soutenir
les projets de recherche du programme ainsi que de développer des applications d'évaluations, telles
que des campagnes de benchmarks, des exercices de red teaming ... Elle s'appuie sur des outils open
source de l'écosystème IA et des développements internes.
Vous rejoindrez une équipe dans une dynamique de développement rapide et itérative : la plateforme
évoluera progressivement, avec des livrables opérationnels réguliers. Nous recherchons des profils
capables de proposer, d'arbitrer et de transformer des besoins techniques en solutions opérationnelles.
En tant qu'expert de l'évaluation de LLM, vous jouerez un rôle central dans la définition des
méthodologies d'évaluation.
Ce poste offre l’opportunité de participer à un projet stratégique et ambitieux, au cœur des enjeux
actuels liés à la sécurité, à la transparence et à la gouvernance de l’IA, avec des dimensions techniques,
scientifiques et sociétales
Assignment
Concevoir, structurer et implémenter les protocoles d'évaluation des modèles et systèmes basés sur
des LLM et les intégrer dans l'architecture modulaire de la plateforme.
Main activities
Définir et implémenter des protocoles d'évaluation, des benchmarks et des métriques
Analyser et interpréter les résultats d'évaluation afin d'en dégager des recommandations méthodologiques
Participer à la définition de l'architecture logicielle de la plateforme
Documenter la méthodologie
Skills
Compétences nécessaires
Expérience en évaluation de modèles d'IA (métriques, protocoles expérimentaux) avec une bonne
culture scientifique du domaine
Solide maîtrise du fonctionnement des LLMs
Très bonne maîtrise de Python et de l'écosystème ML
Bonnes pratiques de développement (versionnage Git, CI/CD, documentation)
Capacité à rédiger une documentation technique
Compétences souhaitées
Expérience avec des frameworks d'évaluation (Inspect, Lighteval, ...)
Connaissances générales sur le domaine de conception de logiciels pour l’IA, notamment en
expérimentation scientifique.
Connaissance d'outils de déploiement d'applications Web (Docker, docker-compose, CI/CD)
Compétences appréciées
Maîtrise de l’anglais technique oral et écrit
Sensibilité aux enjeux de confiance et de sécurité de l’IA
Nous vous invitons à postuler même si vous ne répondez pas à tous les critères : nous apprécions les
personnes prêtes à acquérir de nouvelles compétences.