Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Neural Radiance Fields Real-Time Rendering H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.

Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).

Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.  

Référence

2022-24295  

Description de l'unité

Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM).
Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques.
Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique.
Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).

Description du poste

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Neural Radiance Fields Real-Time Rendering H/F

Sujet de stage

Récemment, le papier séminal [1] à travers la notion de Neural Radiance Field (NeRF) a suscité un fort engouement dans la communauté graphique en donnant la possibilité de générer de nouvelles vues, d'une qualité jusque-là inégalée, en dehors des positions d'images captées. Le principe en est le suivant. Les données d'entrée sont une série d'images capturées par une caméra perspective dont les positions et orientations sont connues autour d'un objet fixe. Une fonction retournant une couleur et une densité en tous points d'un volume est approchée par un réseau de neurones de type Multi-Layer Perceptron (MLP), entrainé pour retrouver les images données via un rendu volumique. Lors de la phase d'inférence, on peut générer des vues pour de nouvelles positions en interrogeant le réseau et tourner ainsi librement autour de l'objet.
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis.

Durée du contrat (en mois)

6

Description de l'offre

Une des limitations de cette méthode est son coût prohibitif pour le rendu temps réel. En effet, la méthode classique de rendu se base sur du raymarching dans une grille volumique et pour chaque rayon on doit effectuer une requête MLP plusieurs centaines de fois. Des approches récentes ont proposé des méthodes pour accélérer le rendu. La première consiste à passer d'une structure de grille pleine à une structure creuse (sparse grid Plenoxels [2], hash grid InstantNerf [3]) afin de limiter le nombre de requêtes par rayon. La seconde consiste à ne pas utiliser des MLP pour chaque voxel mais stocker des "learned features" avec ou sans des réseaux shallow MLP qui sont plus efficaces à inférer ( spherical harmonic Plenoctrees [4], "learned features" SNeRG [5], "learned features" + "shallow MLP" DVGO [6]...).

Le stage consistera à implémenter une approche temps réelle dans l'environnement unity3D en s'inspirant de l'état de l'art. Cette approche devrait rester compatible avec les méthodes d'apprentissage de nerf "classique" avec ou sans conversion. Il sera également envisagé de travailler sur des méthodes de LOD (level of detail) en se basant sur ces approches.

[2] Sara Fridovich-Keil, Alex Yu, Matthew Tancik, Qinhong Chen, Benjamin Recht and Angjoo Kanazawa, {Plenoxels}: Radiance Fields without Neural Networks, CVPR 2022.

[3] Thomas Müller, Alex Evans, Christoph Schied and Alexander Keller, {instant-ngp}: Instant Neural Graphics Primitives with a Multiresolution Hash Encoding, ACM Transactions on Graphics (SIGGRAPH) 2022.

[4] Alex Yu and Ruilong Li and Matthew Tancik and Hao Li and Ren Ng and Angjoo Kanazawa, {plenoctrees} for Real-time Rendering of Neural Radiance Fields, ICCV 2021.

[5] Hedman, Peter and Srinivasan, Pratul P. and Mildenhall, Ben and Barron, Jonathan T. and Debevec, Paul, Baking Neural Radiance Fields for Real-Time View Synthesis, arXiv, 2021, https://arxiv.org/abs/2103.14645

[6] Cheng Sun and Min Sun and Hwann-Tzong Chen, {Direct Voxel Grid Optimization}: Super-fast Convergence for Radiance Fields Reconstruction, CVPR, 2022

 

https://www.youtube.com/watch?v=JuH79E8rdKc

https://alexyu.net/plenoxels/

Moyens / Méthodes / Logiciels

Python, C#, Unity3D, Shaders hlsl/glsl, Pytorch, TensorFlow, Git

Profil du candidat

Ingénieur, Master 2 Recherche

Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Palaiseau

Critères candidat

Diplôme préparé

Bac+5 - Master 2

Formation recommandée

Ingénieur / Master 2 Recherche

Possibilité de poursuite en thèse

Oui

Demandeur

Disponibilité du poste

01/02/2023