Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Etudes des représentations neurales pour des objets articulés H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2023-28736  

Description de l'unité

Au cœur du Plateau de Saclay, l'institut #CEA-List focalise ses recherches sur les systèmes numériques intelligents. Porteurs d'enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie).

Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM). Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques. Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique. Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Etudes des représentations neurales pour des objets articulés H/F

Sujet de stage

Pour répondre aux enjeux de l'industrie 4.0, il est nécessaire de créer des jumeaux complexes, parfois d'usine entière, de façon simple et rapide. Plutôt que de modéliser manuellement à chaque machine-outil ou bras robotique à l'aide de logiciels CAO, on préfère se baser sur des captations de la réalité.

Durée du contrat (en mois)

6

Description de l'offre

L'apparition des représentations neurales de type NeRF (Neural Radiance Field [1]) ont récemment grandement ouvert le champ des possibles. Ainsi, en ne se basant que sur la seule connaissance d'une série d'images RGB complétée des poses 3D de caméras, certains articles ont montré qu'il était possible de d'apprendre l'apparence, la géométrie et même les liaisons d'outils articulées et rigides. Dans [2], à partir d'images segmentées, on apprend une représentation neurale par parties de l'outil. Puis en connaissant un modèle d'articulation les reliant, on peut inférer des vues de l'outil pour un nouvel ensemble de paramètres angle ou position. Inversement pour une image donnée, on saura par rétro-propagation retrouver la pose de la caméra et les valeurs des paramètres. [3] apprend la segmentation et la position des axes de liaisons. En utilisant la notion de catégorie, il est aussi capable de généraliser cet apprentissage à des objets de même type. Enfin, [4] gère les liaisons de rotation et prismatiques. 

Dans ce stage, après une étude approfondie de la littérature, on reproduire dans un premier temps les résultats des articles cités plus haut sur des datasets publics. On se basera pour cela sur l'implémentation fournie par [5]. Puis on opérera sur des données captées par nos soins. On étudiera les performances et limites des solutions connues. Ce travail se déroulera en coopération avec une thèse se déroulant actuellement dans notre laboratoire dont le but est la visualisation et l'interaction en réalité virtuelle avec des objets composites complexes.

[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European Conference on Computer Vision (ECCV), 2020.

[2] Lewis, S., Pavlasek, J., Jenkins, O. C. (2022, October). NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering. In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (pp. 770-777). IEEE.

 [3] Tseng, W. C., Liao, H. J., Yen-Chen, L., Sun, M. (2022, May). Cla-nerf: Category-level articulated neural radiance field. In 2022 International Conference on Robotics and Automation (ICRA) (pp. 8454-8460). IEEE.

[4] Wei, F., Chabra, R., Ma, L., Lassner, C., Zollhöfer, M., Rusinkiewicz, S., Slavcheva, M. (2022). Self-supervised neural articulated shape and appearance models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 15816-15826).

[5] https://github.com/zubair-irshad/articulated-object-nerf

Moyens / Méthodes / Logiciels

Python, C++, mathématiques appliquées.

Profil du candidat

Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Palaiseau

Critères candidat

Langues

Anglais (Courant)

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Formation recommandée

Ingénieur, Master 2 recherche

Possibilité de poursuite en thèse

Oui

Demandeur

Disponibilité du poste

01/02/2024