Informations générales
Entité de rattachement
Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.
Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).
Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.
Référence
2022-24296
Description de l'unité
Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM).
Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques.
Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique.
Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).
Description du poste
Domaine
Systèmes d'information
Contrat
Stage
Intitulé de l'offre
Avatarisation à partir d'images RGBD H/F
Sujet de stage
Dans le cadre du projet JENII, financé par l'ANR qui vise le développement d'une offre de formations à distance via des environnements immersifs et collaboratifs bâtis autour de jumeaux numériques de systèmes industriels réels, le stage se propose de travailler sur la création d'avatar automatique à partir d'images RGB ou RGBD (image + depth).
Durée du contrat (en mois)
6
Description de l'offre
Ready Player Me (rmp) [1] est une application permettant de générer un avatar riggé et skinné à partir d'une photo de visage. Il est également possible de customiser son apparence à partir d'une bibliothèque d'habits et d'accessoires. Le problème rencontré est que la morphologie de l'avatar rpm n'est pas cohérente avec celle de l'utilisateur, on ne prend en compte que le visage et non la morphologie du corps, ce qui introduit des problèmes de décalage et de perception de son propre corps dans les environnements de réalité virtuelle.
Le but de ce stage consiste à développer des méthodes permettant de recaler un avatar rpm (rigging + skinning) sur une image RGBD de type kinect ou ZED stereo camera. Pour celà il est envisagé de passer par modèle d'humain paramétrique intermédiaire (SMPL[2] SMPL-X[3] SPIN[4]) puis de transférer le squelette obtenu et modifier automatiquement les poids de skinning de l'avatar rpm afin de limiter les artefacts ([5],[6]). Ces développements seront effectués sur le moteur Unity3D.
[1] https://readyplayer.me/fr.
[2] Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J., {SMPL}: A Skinned Multi-Person Linear Model, ACM Trans. Graphics (Proc. SIGGRAPH Asia) 2015.
[3] G. Pavlakos*, V. Choutas*, N. Ghorbani, T. Bolkart, A. A. A. Osman, D. Tzionas and M. J. Black, {Expressive Body Capture}: 3D Hands, Face, and Body from a Single Image, Computer Vision and Pattern Recognition (CVPR) 2019.
[4] Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop, {SPIN - SMPL oPtimization IN the loop}Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop, ICCV 2019.
[5] Junjun Pan, Lijuan Chen, Yuhan Yang, Hong Qin, Automatic skinning and weight retargeting of articulated characters using extended position-based dynamics, The Visual Computer, 2018
[6] Skinning: Real-time Shape Deformation, SIGGRAPH Course 2014
#StageList
Moyens / Méthodes / Logiciels
Python, C#, Unity3D, Git
Profil du candidat
Master 2 / école d'ingénieur
Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
Critères candidat
Diplôme préparé
Bac+5 - Master 2
Formation recommandée
Ecole d'ingénieur / Master 2
Possibilité de poursuite en thèse
Non
Demandeur
Disponibilité du poste
01/02/2023
Je me crée un espace candidat
