Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Monte Carlo for Neural Networks Predictions Uncertainty Quantification H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.

Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).

Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.  

Référence

2022-24425  

Description de l'unité

Au sein du CEA (630 brevets publiés en 2021 ce qui place le CEA au quatrième rang en France d'après le palmarès de l'INPI 2021), le List – situé au cœur du nouveau campus de Paris-Saclay – est un institut de recherche dédié aux systèmes numériques intelligents. Ses activités sont centrées sur l'industrie du futur, la confiance numérique et l'Intelligence Artificielle.
C'est dans ce dernier axe que les équipes du Service d'Intelligence des Données opèrent. Nos 50 ingénieurs & chercheurs, répartis au sein de nos trois laboratoires, travaillent au développement et au transfert industriel de technologies de pointe en IA. À ce titre, les données que nous sommes amenés à traiter sont essentiellement des séries temporelles issues de capteurs (c.à.d. des mesures physiques : signaux électriques, vibratoires ou acoustiques par exemple) et des séquences d'événements produits par des équipements informatiques ou industriels (par exemple des logs systèmes ou des traces numériques issues d'activités humaines).

Description du poste

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Monte Carlo for Neural Networks Predictions Uncertainty Quantification H/F

Sujet de stage

Les modèles d'apprentissage profond connaissent un grand essor dans de multiples domaines. Pourtant, de nombreux verrous empêchent leur adoption à grande échelle dans le domaine de la méta modélisation industrielle notamment pour la sûreté et la conception dans le domaine énergétique et nucléaire. Ce sujet de stage vise à développer des méthodes capables de résoudre les obstacles portant sur la confiance en ces approches en associant des incertitudes aux prédictions de réseaux de neurones. L'objectif principal du stage est de développer les outils nécessaires à l'estimation de l'incertitude portant sur les paramètres d'un NN.

Durée du contrat (en mois)

de 3 à 6 mois

Description de l'offre

Les réseaux de neurones artificiels (NNs) représentent des fonctions ayant un très grand nombre de paramètres, à la fois différentiables (donc entraînables) ainsi que fortement non linéaires. Cette dernière propriété leur confère un fort pouvoir de représentation (cf théorème d'approximation universelle) mais elle implique également que les NNs sont, par nature, sensibles à des faibles variations des données d’entrée de ces fonctions. Cette caractéristique peut constituer une faiblesse qui nuit gravement à la fiabilité de ces modèles, les données pouvant être accidentellement bruitées comme intentionnellement modifiées de manière malveillante.

En pratique, les paramètres d’un NN sont optimisés par minimisation d’une fonction de coût portant sur des données d’entraînement au travers d’une descente de gradient. L’incertitude de prédiction de ce modèle est alors directement déterminée par l’incertitude sur les paramètres du NN i.e. leur probabilité conditionnelle sachant les données. Cette distribution n’est malheureusement pas directement calculable. Une approche Bayésienne combinée à un échantillonnage par Markov Chain Monte Carlo (MCMC) permet d’approcher cette distribution. Le CEA est fortement impliqué dans ce domaine de recherche actif communément nommé Bayesian Neural Networks (BNNs).

Un grand verrou persiste : les méthodes MCMC sont connues pour leur coût computationnel élevé. Leur adoption dans le domaine des BNN est conditionnée par leur capacité à réduire ce surcoût qui nécessite généralement des clusters de calcul. La recherche dans ce domaine vise à accélérer ces codes en s’appuyant notamment sur des échantillonneurs issus de la physique statistique tels que la diffusion Langevin. Cette famille d’algorithmes marque une amélioration importante dans le domaine de la quantification d’incertitude pour NN en utilisant la première dérivée de la fonction de coût qui s’appuie sur les techniques d’optimisation usuelle à base de gradient. Pourtant, ces méthodes ont le défaut de traiter tous les paramètres du NN de manière identique lors de la marche aléatoire. Afin de dépasser cette limite, nous proposons au cours de ce stage d’utiliser la dérivée au second ordre de la fonction de coût afin d’accélérer l’échantillonnage MCMC en s’appuyant sur des librairies standard de deep learning telle que pytorch.

La première phase de ce stage sera naturellement consacrée à un état de l’art dans le domaine de l’inférence Bayésienne, des méthodes MCMC ainsi que leur implémentation dans le cadre des BNN. Elle sera très rapidement suivie par le premier objectif du stage qui sera de prendre en main les codes de calcul en place au CEA.

L’objectif sera ensuite de développer une nouvelle méthode d’optimisation de la fonction de coût en s’appuyant sur le calcul de ses dérivées partielles secondes (matrice hessienne) Ce développement méthodologique nécessitera un travail formel mathématique ainsi qu’une implémentation logicielle.

 

Profil du candidat

Le candidat devra avoir un intérêt profond pour la recherche théorique dans le domaine du numérique ainsi que pour les techniques de programmation. Ce stage s’adresse à des étudiants Bac +4 ou Bac +5 avec une formation/expérience solide en mathématiques/statistique et en développement logiciel.

Le contenu du stage pourra évoluer en fonction de l’intérêt et des compétences du candidat. La maîtrise du langage de programmation python sera très fortement appréciée. Une formation en machine learning et/ou en échantillonnage Monte Carlo est un plus mais n'est pas indispensable.

 

Localisation du poste

Site

Saclay

Localisation du poste

France

Ville

Gif-sur-Yvette

Critères candidat

Diplôme préparé

Bac+4/5 - Diplôme de recherche technologique (DRT/DRI)

Formation recommandée

formation/expérience solide en mathématiques/statistique et en développement logiciel

Possibilité de poursuite en thèse

Non

Demandeur

Disponibilité du poste

01/01/2023