Informations générales
Entité de rattachement
Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.
Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).
Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.
Référence
2022-23654
Description de l'unité
Basé à Paris-Saclay, le CEA List est l'un des quatre instituts de recherche technologique de CEA Tech, direction de la recherche technologique du CEA. Dédié aux systèmes numériques intelligents, il contribue au développement de la compétitivité des entreprises par le développement et le transfert de technologies.
L'expertise et les compétences développées par les 800 ingénieurs-chercheurs et techniciens du CEA List permettent à l'Institut d'accompagner chaque année plus de 200 entreprises françaises et étrangères sur des projets de recherche appliquée s'appuyant sur 4 programmes et 9 plateformes technologiques. 21 start-ups ont été créées depuis 2003.
Le Laboratoire de Vision et Apprentissage pour l'analyse de scène (LVA) mène ses recherches dans le domaine de la Vision par Ordinateur (Computer Vision) selon quatre axes principaux :
- La reconnaissance visuelle (détection et/ou segmentation d'objets, de personnes, de patterns ; détection d'anomalies ; caractérisation)
- L'analyse du comportement (reconnaissance de gestes, d'actions, d'activités, de comportements anormaux ou spécifiques pour des individus, un groupe, une foule)
- L'annotation intelligente (annotation à grande échelle de données visuelles 2D/3D de manière semi-automatique)
- Les modèles de perception pour l'aide à la décision.
Description du poste
Domaine
Mathématiques, information scientifique, logiciel
Contrat
Stage
Intitulé de l'offre
Estimation de flux optique à partir de séquences vidéo de plus de trois images H/F
Sujet de stage
Dans un premier temps, le stagiaire devra développer cette nouvelle architecture et la faire fonctionner dans le cadre d'un apprentissage supervisé. Un des principaux défis sera de parvenir à contenir le coût en calcul. Dans un second temps, la méthode devra être adaptée pour pouvoir être entrainée de façon non-supervisée. Enfin, un mécanisme de knowledge distillation pourra être utilisé afin de transférer les connaissances de ce réseau à un autre réseau d'estimation de flux optique plus simple (type RAFT [6]).
Durée du contrat (en mois)
6
Description de l'offre
Le flux optique (déplacement pixellique entre deux images consécutives) est une modalité très utilisée en vision par ordinateur (tracking, détection d'anomalies, représentation de vidéos...) qui a largement bénéficié de l'essor du deep learning. Cependant, la difficulté d'obtenir des labels dans le cas de datasets de vidéos photo-réalistes, a poussé au développement de méthodes non-supervisées [1, 2] moins fiables que les méthodes supervisées notamment pour les pixels occultés. Une solution pour les robustifier consiste à augmenter le nombre d'images en entrée du réseau le passant de deux à trois [3, 4]. Le but de ce stage serait de généraliser cette approche en développant une méthode qui prend en entrée une séquence vidéo de longueur variable (au moins quatre images) et estime en sortie le flux optique entre tous les couples d'images consécutives. Plus concrètement, il s'agit d'adapter l'architecture à base de transformers (GMFlow [5]) qui se prête bien au problème.
Dans un premier temps, le stagiaire devra développer cette nouvelle architecture et la faire fonctionner dans le cadre d'un apprentissage supervisé. Un des principaux défis sera de parvenir à contenir le coût en calcul. Dans un second temps, la méthode devra être adaptée pour pouvoir être entrainée de façon non-supervisée. Enfin, un mécanisme de knowledge distillation pourra être utilisé afin de transférer les connaissances de ce réseau à un autre réseau d'estimation de flux optique plus simple (type RAFT [6]).
Références
[1] Z. Bian et al., Learning Pixel Trajectories with Multiscale Contrastive Random Walks, CVPR 2022
[2] A. Stone et al., SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping. CVPR 2021
[3] P. Liu et al., SelFlow: Self-Supervised Learning of Optical Flow, CVPR 2019
[4] J. Janai et al., Unsupervised Learning of Multi-Frame Optical Flow with Occlusions, EVVC 2018
[5] H. Xu et al., GMFlow: Learning Optical Flow via Global Matching. CVPR 2022
[6] Z. Teed et al., RAFT: Recurrent All Pairs Field Transforms for Optical Flow. ECCV 2020
#StageList
Profil du candidat
Niveau demandé : Ingénieur, Master 2
Durée : 6 mois
Rémunération : entre 700 € et 1300 € suivant la formation.
Compétences requises : Vision par ordinateur, Apprentissage automatique (deep learning), Reconnaissance de formes, Python, C/C++, Maîtrise d’un framework d’apprentissage profond (en particulier Tensorflow ou PyTorch)
Ce stage ouvre la possibilité de poursuite en thèse et ingénieur R&D dans notre laboratoire.
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Saclay
Critères candidat
Diplôme préparé
Bac+5 - Master 2
Possibilité de poursuite en thèse
Oui
Demandeur
Disponibilité du poste
01/02/2023