Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Etude de l'embarquabilité des réseaux attentionnels H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.

Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).

Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.  

Référence

2022-23350  

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

Description du poste

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Etude de l'embarquabilité des réseaux attentionnels H/F

Sujet de stage

Le CEA LIST propose un stage de 6 mois pour comparer les modèles à attention avec des modèles convolutionnel classique sur une tâche de classification.

Durée du contrat (en mois)

6

Description de l'offre

C’est au sein du LIAE qu’est développée la solution logicielle de Deep Learning appelée N2D2. Cet outil ouvert à la communauté de manière Open-Source permet de réaliser la simulation et d’automatiser l’implémentation d’applications basées sur les réseaux de neurones. La plateforme intègre des pilotes natifs de bases de données (par exemple Imagenet, KITTI, Cityscapes, DOTA), une chaine de prétraitements avancée, des méthodes d’apprentissages classique (SGD, Adam) et un générateur de moteur d’inférence pour différents types de cibles matérielles (par exemple CPU/GPU, microcontrôleur, FPGA). De plus, cet outil aide au développement d’architectures matérielles neuromorphiques de nouvelles générations permettant d’améliorer l’efficacité calculatoire de ce type d’algorithme.

 

Les réseaux de neurones artificiels sont actuellement utilisés dans de nombreux domaines, en particulier les réseaux avec un mécanisme d’attention. Le mécanisme consiste à réduire ou amplifier une partie du signal auquel il faudrait être plus "attentif". Il a été popularisé en 2017 et par les réseaux de type Transformer qui ont révolutionné l’état de l’art du traitement du langage naturel. Plus récemment, les Transformers ont été adoptés à la vision. Bien que connu comme étant coûteux en calcul et en espace mémoire, de nombreux efforts sont mis en place pour les embarquer.

 

L’objectif du stage est donc d’implémenter un réseau attentionnel en tenant en compte de contraintes embarqués. Un exemple de cible embarqué serait une plateforme smart imager 3D développé au LIAE appelé RETINE.

 

Le CEA LIST propose un stage de 6 mois pour comparer les modèles à attention avec des modèles convolutionnel classique sur une tâche de classification.

 

Pour y arriver, le candidat utilisera l’outil de Deep Learning N2D2. Des ressources de calculs conséquentes, un environnement de développement optimisé ainsi que la proximité avec des experts du domaine de l’embarqué permettra au candidat de réaliser une étude complète. Ce stage offre également la possibilité de contribuer à N2D2 (compétence C++ requise).

 

Le stage se déroulant dans un environnement de recherche scientifique, le sujet pourra être amener à évoluer suivant les différents résultats du candidat. Des travaux d’analyses permettront d’ajuster la direction des travaux à effectuer :

·       Analyse de plusieurs architectures de réseaux de neurones possédant un mécanisme d’attention compatibles avec des contraintes d’embarquabilité.

·       Développement du mécanisme d’attention dans N2D2.

·       Analyse des performances du mécanisme d’attention par rapport aux approches CNN.

·       Etude de l’adéquation du réseau avec des contraintes de mémoire et de parallélisations spécifiques à une architecture embarquée développée au CEA LIST.

Profil du candidat

Le candidat doit être doté d’un solide esprit d’analyse et doit savoir être force de proposition afin d’influer sur la direction de ses travaux de recherche.

Compétences requise : Réseaux de neurones profonds, C++, calcul numérique optimisé, Python.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

  Palaiseau

Critères candidat

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Demandeur

Disponibilité du poste

01/02/2023