Informations générales
Entité de rattachement
Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.
Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).
Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.
Référence
2022-24295
Description de l'unité
Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM).
Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques.
Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique.
Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).
Description du poste
Domaine
Mathématiques, information scientifique, logiciel
Contrat
Stage
Intitulé de l'offre
Neural Radiance Fields Real-Time Rendering H/F
Sujet de stage
Récemment, le papier séminal [1] à travers la notion de Neural Radiance Field (NeRF) a suscité un fort engouement dans la communauté graphique en donnant la possibilité de générer de nouvelles vues, d'une qualité jusque-là inégalée, en dehors des positions d'images captées. Le principe en est le suivant. Les données d'entrée sont une série d'images capturées par une caméra perspective dont les positions et orientations sont connues autour d'un objet fixe. Une fonction retournant une couleur et une densité en tous points d'un volume est approchée par un réseau de neurones de type Multi-Layer Perceptron (MLP), entrainé pour retrouver les images données via un rendu volumique. Lors de la phase d'inférence, on peut générer des vues pour de nouvelles positions en interrogeant le réseau et tourner ainsi librement autour de l'objet.
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis.
Durée du contrat (en mois)
6
Description de l'offre
Une des limitations de cette méthode est son coût prohibitif pour le rendu temps réel. En effet, la méthode classique de rendu se base sur du raymarching dans une grille volumique et pour chaque rayon on doit effectuer une requête MLP plusieurs centaines de fois. Des approches récentes ont proposé des méthodes pour accélérer le rendu. La première consiste à passer d'une structure de grille pleine à une structure creuse (sparse grid Plenoxels [2], hash grid InstantNerf [3]) afin de limiter le nombre de requêtes par rayon. La seconde consiste à ne pas utiliser des MLP pour chaque voxel mais stocker des "learned features" avec ou sans des réseaux shallow MLP qui sont plus efficaces à inférer ( spherical harmonic Plenoctrees [4], "learned features" SNeRG [5], "learned features" + "shallow MLP" DVGO [6]...).
Le stage consistera à implémenter une approche temps réelle dans l'environnement unity3D en s'inspirant de l'état de l'art. Cette approche devrait rester compatible avec les méthodes d'apprentissage de nerf "classique" avec ou sans conversion. Il sera également envisagé de travailler sur des méthodes de LOD (level of detail) en se basant sur ces approches.
[2] Sara Fridovich-Keil, Alex Yu, Matthew Tancik, Qinhong Chen, Benjamin Recht and Angjoo Kanazawa, {Plenoxels}: Radiance Fields without Neural Networks, CVPR 2022.
[3] Thomas Müller, Alex Evans, Christoph Schied and Alexander Keller, {instant-ngp}: Instant Neural Graphics Primitives with a Multiresolution Hash Encoding, ACM Transactions on Graphics (SIGGRAPH) 2022.
[4] Alex Yu and Ruilong Li and Matthew Tancik and Hao Li and Ren Ng and Angjoo Kanazawa, {plenoctrees} for Real-time Rendering of Neural Radiance Fields, ICCV 2021.
[5] Hedman, Peter and Srinivasan, Pratul P. and Mildenhall, Ben and Barron, Jonathan T. and Debevec, Paul, Baking Neural Radiance Fields for Real-Time View Synthesis, arXiv, 2021, https://arxiv.org/abs/2103.14645
[6] Cheng Sun and Min Sun and Hwann-Tzong Chen, {Direct Voxel Grid Optimization}: Super-fast Convergence for Radiance Fields Reconstruction, CVPR, 2022
https://www.youtube.com/watch?v=JuH79E8rdKc
https://alexyu.net/plenoxels/
#StageList
Moyens / Méthodes / Logiciels
Python, C#, Unity3D, Shaders hlsl/glsl, Pytorch, TensorFlow, Git
Profil du candidat
Ingénieur, Master 2 Recherche
Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
Critères candidat
Diplôme préparé
Bac+5 - Master 2
Formation recommandée
Ingénieur / Master 2 Recherche
Possibilité de poursuite en thèse
Oui
Demandeur
Disponibilité du poste
01/02/2023
Je me crée un espace candidat
