Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Estimation de flux optique à partir de séquences vidéo de plus de trois images H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.

Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).

Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.  

Référence

2022-23654  

Description de l'unité

Basé à Paris-Saclay, le CEA List est l'un des quatre instituts de recherche technologique de CEA Tech, direction de la recherche technologique du CEA. Dédié aux systèmes numériques intelligents, il contribue au développement de la compétitivité des entreprises par le développement et le transfert de technologies.
L'expertise et les compétences développées par les 800 ingénieurs-chercheurs et techniciens du CEA List permettent à l'Institut d'accompagner chaque année plus de 200 entreprises françaises et étrangères sur des projets de recherche appliquée s'appuyant sur 4 programmes et 9 plateformes technologiques. 21 start-ups ont été créées depuis 2003.
Le Laboratoire de Vision et Apprentissage pour l'analyse de scène (LVA) mène ses recherches dans le domaine de la Vision par Ordinateur (Computer Vision) selon quatre axes principaux :
- La reconnaissance visuelle (détection et/ou segmentation d'objets, de personnes, de patterns ; détection d'anomalies ; caractérisation)
- L'analyse du comportement (reconnaissance de gestes, d'actions, d'activités, de comportements anormaux ou spécifiques pour des individus, un groupe, une foule)
- L'annotation intelligente (annotation à grande échelle de données visuelles 2D/3D de manière semi-automatique)
- Les modèles de perception pour l'aide à la décision.

Description du poste

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Estimation de flux optique à partir de séquences vidéo de plus de trois images H/F

Sujet de stage

Dans un premier temps, le stagiaire devra développer cette nouvelle architecture et la faire fonctionner dans le cadre d'un apprentissage supervisé. Un des principaux défis sera de parvenir à contenir le coût en calcul. Dans un second temps, la méthode devra être adaptée pour pouvoir être entrainée de façon non-supervisée. Enfin, un mécanisme de knowledge distillation pourra être utilisé afin de transférer les connaissances de ce réseau à un autre réseau d'estimation de flux optique plus simple (type RAFT [6]).

Durée du contrat (en mois)

6

Description de l'offre

Le flux optique (déplacement pixellique entre deux images consécutives) est une modalité très utilisée en vision par ordinateur (tracking, détection d'anomalies, représentation de vidéos...) qui a largement bénéficié de l'essor du deep learning. Cependant, la difficulté d'obtenir des labels dans le cas de datasets de vidéos photo-réalistes, a poussé au développement de méthodes non-supervisées [1, 2] moins fiables que les méthodes supervisées notamment pour les pixels occultés. Une solution pour les robustifier consiste à augmenter le nombre d'images en entrée du réseau le passant de deux à trois [3, 4]. Le but de ce stage serait de généraliser cette approche en développant une méthode qui prend en entrée une séquence vidéo de longueur variable (au moins quatre images) et estime en sortie le flux optique entre tous les couples d'images consécutives. Plus concrètement, il s'agit d'adapter l'architecture à base de transformers (GMFlow [5]) qui se prête bien au problème.

Dans un premier temps, le stagiaire devra développer cette nouvelle architecture et la faire fonctionner dans le cadre d'un apprentissage supervisé. Un des principaux défis sera de parvenir à contenir le coût en calcul. Dans un second temps, la méthode devra être adaptée pour pouvoir être entrainée de façon non-supervisée. Enfin, un mécanisme de knowledge distillation pourra être utilisé afin de transférer les connaissances de ce réseau à un autre réseau d'estimation de flux optique plus simple (type RAFT [6]).

 

Références

[1] Z. Bian et al., Learning Pixel Trajectories with Multiscale Contrastive Random Walks, CVPR 2022

[2] A. Stone et al., SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping. CVPR 2021

[3] P. Liu et al., SelFlow: Self-Supervised Learning of Optical Flow, CVPR 2019

[4] J. Janai et al., Unsupervised Learning of Multi-Frame Optical Flow with Occlusions, EVVC 2018

[5] H. Xu et al., GMFlow: Learning Optical Flow via Global Matching. CVPR 2022

[6] Z. Teed et al., RAFT: Recurrent All Pairs Field Transforms for Optical Flow. ECCV 2020

 

#StageList

Profil du candidat

Niveau demandé : Ingénieur, Master 2
Durée : 6 mois
Rémunération : entre 700 € et 1300 € suivant la formation.
Compétences requises : Vision par ordinateur, Apprentissage automatique (deep learning), Reconnaissance de formes, Python, C/C++, Maîtrise d’un framework d’apprentissage profond (en particulier Tensorflow ou PyTorch)

Ce stage ouvre la possibilité de poursuite en thèse et ingénieur R&D dans notre laboratoire.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Saclay

Critères candidat

Diplôme préparé

Bac+5 - Master 2

Possibilité de poursuite en thèse

Oui

Demandeur

Disponibilité du poste

01/02/2023