Doctorant F/H Vers des modèles de diffusion efficaces

Assignment
Les modèles génératifs sont devenus un paradigme central de l'intelligence artificielle moderne, permettant des avancées remarquables dans la production de texte, d'images, de sons et d'autres données complexes. Cependant, les différentes modalités ont historiquement conduit à des approches distinctes de la modélisation générative. Pour les données discrètes telles que le texte, les modèles autorégressifs se sont imposés comme le paradigme dominant : ils génèrent les échantillons de manière séquentielle en modélisant une factorisation de la distribution des données. À l'inverse, pour les données continues telles que les images, les modèles de diffusion et les approches par flow matching ont connu un succès remarquable en apprenant une transformation globale entre des distributions de bruit simples et la distribution des données. Ces approches reposent sur des mécanismes de génération fondamentalement différents et donc des biais inductifs différents.
Cette perspective soulève plusieurs questions fondamentales.

• Quelles sont les différences de biais inductif et de créativité entre les modèles autorégressifs et les modèles de diffusion discrète, et ces différences se traduisent-elles par des formes différentes de diversité des données générées ? Les deux paradigmes peuvent-ils être réunifiés au sein d'un cadre théorique et algorithmique commun ?
• Certains aspects des approches discrètes et continues peuvent-ils être combinés afin de tirer le meilleur des deux mondes ? Comment les techniques d'alignement telles que l'apprentissage par renforcement à partir de retours humains peuvent-elles être adaptées à une génération itérative et non autorégressive ?
• Enfin, les avancées récentes dans les formulations continues des modèles génératifs discrets peuvent-elles fournir de nouveaux outils pour concevoir des modèles génératifs en peu d'étapes plus efficaces pour les données discrètes, par flow-map distillation ?

Cette thèse explorera ces questions à l'intersection de la modélisation générative discrète, des méthodes de diffusion et des méthodes de flow matching.
Main activities
Principales activités :
developpement de nouvelles méthodes de génération pour les données discrètes
écriture d'articles scientifiques
dissémiantion des travaux via la diffusion de code open source
communication orale dans des congrès
Skills
Compétences techniques et niveau requis : master en machine learning, expérience en programmation Python (si possible open source), rigueur scientifique
Langues : anglais scientifique écrit et parlé
Compétences relationnelles : intégration dans une équipe de recherche, interactions avec les autres doctorants et permanents, travail collaboratif, autonomie