Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Approche neurale pour la reconstruction & la localisation 3D d'objets déformables H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2023-29224  

Description de l'unité

Laboratoire de Vision pour la Modélisation et la Localisation (LVML)

Le laboratoire LVML, rattaché au #CEA-List, mène des recherches en vision par ordinateur et intelligence artificielle. Nous adressons en particulier les problématiques suivantes :
- Géolocalisation et cartographie d'environnement par vision et fusion de capteurs (robotique mobile, drones…)
- Systèmes et de vision pour la robotique : préhension, manipulation, assemblage d'objets…
- Contrôle de conformité, détection de défauts géométriques, colorimétriques, etc…
- Analyses hyperspectrales : détection de matériaux, tri, ….
- Correction, amélioration d'images et vidéos ( superrésolution, upframing, …)
- Compression de réseaux de neurones
- …

Description du poste

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Approche neurale pour la reconstruction & la localisation 3D d'objets déformables H/F

Sujet de stage

Ce stage aura pour premier objectif de concevoir et de développer de nouvelles approches de reconstruction 3D basée Neural Fields permettant d'outrepasser les limitations des solutions actuelles de l'état de l'art, parmi lesquelles :

– La reconstruction rapide et robuste de modèle surfaciques (SDF)

– La reconstruction rapide et précise d'objets déformables

Le second objectif consistera à mettre au point un processus exploitant les reconstructions Neural Fields (segmentation de l'objet 3D, génération de vues d'apprentissage) pour la localisation 3D à partir d'une seule image couleur tout d'abord dans le cas d'objets rigide, puis dans le cas d'objets déformables.

L'étudiant pourra s'appuyer sur l'expertise et les briques technologiques du laboratoire en termes de reconstruction 3D et de localisation 3D.

Durée du contrat (en mois)

6

Description de l'offre

Contexte du stage

La reconstruction 3D  et la localisation 3D (d’une scène ou d’un objet) sont deux thèmes de recherche dont les domaines d’application sont innombrables (robotique mobile, robotique interactive, médecine, détection d’anomalies,  suivi de chantier, reconstruction tel-que-construit,...). Cependant, les déploiements de telles solutions dans la vie courante restent limités du fait que,  ces dernières requièrent  des capteurs coûteux (plusieurs milliers, voire dizaines de milliers d’euros) dans le cas de la reconstruction, ou la disponibilité d’un modèle 3D de la scène/objet dans le cas de la localisation.

 

Cependant, l’émergence de nouvelles approches de reconstruction basées sur l’intelligence artificielle, méthodes dites Neural Fields ou Implicit Neural Representations, ont révolutionné le domaine de la reconstruction 3D au cours des trois dernières années et permettent d’envisager l’arrivée de solutions peu onéreuses [InstantNGP]. Ces méthodes présentent à ce jour des limites, telles que la difficulté à déployer les solutions permettant de reconstruire des surfaces précises [Neuralangelo], mais aussi des atouts nombreux, comme la capacité à reconstruire des objets déformables, de reconstruire de manière compacte des scènes de grand volume, etc.

 

Objectifs du stage:

Ce stage aura pour premier objectif de concevoir et de développer de nouvelles approches de reconstruction 3D basée Neural Fields permettant d’outrepasser les limitations des solutions actuelles de l’état de l’art, parmi lesquelles :

–      La reconstruction rapide et robuste de modèle surfaciques (SDF)

–      La reconstruction rapide et précise d’objets déformables

Le second objectif consistera à mettre au point un processus exploitant les reconstructions Neural Fields (segmentation de l’objet 3D, génération de vues d’apprentissage) pour la localisation 3D à partir d’une seule image couleur tout d’abord dans le cas d’objets rigide, puis dans le cas d’objets déformables.

L’étudiant pourra s’appuyer sur l’expertise et les briques technologiques du laboratoire en termes de reconstruction 3D et de localisation 3D.

Compétences développées au cours du stage

Ce stage permettra à l’étudiant de découvrir différents domaines de recherche en intelligence artificielle : la localisation d’objet 3D, la reconstruction 3D,  la segmentation 3D... L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants.

 

Bibliographie:

[IntantNGP] Müller, T., Evans, A., Schied, C., & Keller, A. (2022). Instant neural graphics primitives with a multiresolution hash encoding. ACM Transactions on Graphics (ToG), 41(4), 1-15.

[Neuralangelo] Li, Z., Müller, T., Evans, A., Taylor, R. H., Unberath, M., Liu, M. Y., & Lin, C. H. (2023). Neuralangelo: High-Fidelity Neural Surface Reconstruction. CVPR 2023

Profil du candidat

Le candidat devra disposer d’une bonne maîtrise de python et d’une forte connaissance en réseau de neurones. Une expérience sur Pytorch sera appréciée.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France

Ville

Palaiseau

Critères candidat

Diplôme préparé

Bac+5 - Master 2

Demandeur

Disponibilité du poste

01/02/2024