Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Analyse de la Dynamique des Activations dans un Réseau de Neurone Compressé H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.

Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).

Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.  

Référence

2021-18469  

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Analyse de la Dynamique des Activations dans un Réseau de Neurone Compressé H/F

Sujet de stage

Dans le but d'améliorer la frugalité des réseaux de neurones artificiels, le CEA LIST propose un stage de 6 mois pour étudier les différentes caractéristiques (sparsité, distribution) en sortie des activations d'un réseau de neurones. Le stage se déroulant dans un environnement de recherche scientifique, le sujet pourra être amener à évoluer suivant les différents résultats du candidat. Des travaux d'analyses permettront d'ajuster la direction des travaux à effectuer :
- Analyse de la distribution des valeurs d'activations suivant différents niveaux de quantifications.
- Analyse de la sparsité des représentations (caractéristique des couches intermédiaires) sous différentes contraintes de quantifications et d'architecture topologique.
- Analyse des redondances temporelles d'un flux vidéo traité par un réseau de neurones subit à une contrainte de quantification
- Optimisation des opérateurs calculatoires en fonction de la distribution et sparsité des données.

Durée du contrat (en mois)

6

Description de l'offre

Les réseaux de neurones artificiels sont actuellement utilisés dans de nombreux domaines nécessitant le traitement de données issus de capteurs: Visions, sonores, etc.
Suivant différentes contraintes, le traitement de l'information peut être réalisé sur le Cloud (SIRI, AWS, TPU, etc.) ou de manière embarquées (plateforme Jetson de Nvidia, Movidius, PNeuro/DNeuro de CEA LIST). Dans le second cas, de nombreuses contraintes matérielles doivent être prises en compte lors du dimensionnement de l'algorithme. Pour améliorer le portage sur plateforme embarqué, l’équipe du LIAE a développée des méthodes innovantes à l’état de l’art mondial permettant de quantifier agressivement les paramètres d’un réseau de neurones ainsi que de modifier le codage des activations pour diminuer le nombre de calculs à effectuer.
Ces différentes méthodes qui sont aujourd’hui utilisées pour compresser les réseaux de neurones n’ont pour le moment jamais été utilisées conjointement.
Dans le but d'exploiter le bénéfice des deux méthodes et d’améliorer la frugalité des réseaux de neurones artificiels, le CEA LIST propose un stage de 6 mois pour étudier les différentes caractéristiques (sparsité, distribution) en sortie des activations d'un réseau de neurones soumis aux méthodes de quantifications développées par l’équipe. Ce travail de stage doit permettre d'aboutir à une méthode permettant d’optimiser le nombre de calculs au sein du réseau de neurones tout en réduisant son empreinte mémoire.  
Pour y arriver le candidat utilisera les outils d’analyses de données en Python (comme NumPy, SciPy etc…) couplé à l’outil de Deep Learning N2D2. Des ressources de calculs conséquentes ainsi qu’un environnement de développement optimisé permettra au candidat de réaliser une étude complète. Ce stage offre également la possibilité de contribuer à N2D2, le logiciel de Deep Learning open source du LIST (compétence C++ requise).
Le stage se déroulant dans un environnement de recherche scientifique, le sujet pourra être amener à évoluer suivant les différents résultats du candidat. Des travaux d’analyses permettront d’ajuster la direction des travaux à effectuer :
-          Analyse de la distribution des valeurs d’activations suivant différents niveaux de quantifications.
-          Analyse de la sparsité des représentations (caractéristique des couches intermédiaires) sous différentes contraintes de quantifications et d’architecture topologique.
-          Analyse des redondances temporelles d’un flux vidéo traité par un réseau de neurones subit à une contrainte de quantification
-          Optimisation des opérateurs calculatoires en fonction de la distribution et sparsité des données.
Le candidat doit être doté d’un solide esprit d’analyse et doit savoir être force de proposition afin d’influer sur les directions de ses travaux.

Moyens / Méthodes / Logiciels

C++, Python, N2D2, Etudes statistiques

Profil du candidat

Le candidat doit avoir des connaissances avancées sur les réseaux de neurones convolutionnels (Deep Learning). Des projets d'études doivent attester de son intérêt et de sa curiosité pour le domaine. Des connaissances dans les outils et la représentation statistiques et le traitement du signal sont aussi nécessaires pour mener à bien ce stage.

 

Les développements seront effectués en Python/C++ dans le logiciel de Deep Learning N2D2.

Le candidat doit être doté d'un solide esprit d'analyse et doit savoir être force de proposition. 

Localisation du poste

Site

Saclay

Ville

Palaiseau