Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Implémentation de fonctions non linéaires sur un accélérateur d'IA pour l'inférence ViT H/F


Détail de l'offre

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2023-29285  

Description de l'unité

Le Commissariat à l'Énergie Atomique et aux Énergies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche intervient dans trois grands domaines : l'énergie, les technologies pour la santé et l'information, et la défense. Au sein de la Direction de la Recherche Technologique (DRT) du CEA, le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies, dans le domaine des systèmes de calcul spécialisés, de la recherche amont vers les industries.

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Implémentation de fonctions non linéaires sur un accélérateur d'IA pour l'inférence ViT H/F

Sujet de stage

Le stage porte sur l'implémentation de fonctions non-linéaires sur un accélérateur dédié pour l'intelligence artificielle (IA) pour l'inférence de transformateur de vision (ViT).

Durée du contrat (en mois)

[6 mois]

Description de l'offre

Les transformateurs de vision (ViT) sont largement utilisés dans le domaine de la vision par ordinateur (CV) pour, par exemple, la classification d'images, la détection d'objets, la segmentation d’images.... Une image d'entrée pour le ViT est divisée en un ensemble de patch d'image, appelées "jetons visuels". Les jetons visuels sont intégrés dans un ensemble de vecteurs codés de dimension fixe. La position d’un patch dans l'image est intégrée avec le vecteur codé et introduite dans le réseau d’encodeur du transformateur. L’encodeur ViT comporte plusieurs blocs et chacun d'entre eux se compose de trois éléments de traitement principaux : Layer Normalization, Multi-head self Attention Network (MSA) et Multi-Layer Perceptrons (MLP). Ces différents éléments de traitement comprennent plusieurs fonctions non-linéaires, telles que : Layer Normalization, Softmax et l’activation GELU, mettant en œuvre des opérations de type : exponentiel, tangente hyperbolique et division.  Outre l’introduction d’une latence importante, l’implémentation matérielle de ces fonctions nécessite une quantité substantielle de ressources entrainant une forte augmentation de la consommation d’énergie.

Dans le cadre de ce stage, le candidat sera amené à mettre en œuvre une architecture matérielle adaptée pour les fonctions non-linéaires. Cette architecture devra réduire la complexité de calcul, la consommation d’énergie et l'utilisation des ressources tout en maintenant un niveau raisonnable de précision. La partie du stage permettra au candidat d’analyser le réseau de transformateur de vision (ViT) et de caractériser les fonctions non-linéaires constituant l’encodeur. Cette analyse lui permettra de proposer une solution optimisée du portage de ces fonctions. Afin d’évaluer les performances, la solution proposée sera implémentée par le candidat sur une architecture cible à base de FPGA. Les résultats du stage pourront faire l’objet d’une publication dans une conférence internationale.

Ce stage permettra au candidat d’acquérir des connaissances dans le domaine des réseaux de neurones et de monter en compétence en conception matérielle VHDL pour des systèmes sur FPGA.

 

Vous êtes naturellement curieux.se, motivé.e par l'innovation dans le domaine numérique. 

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Vous avez encore un doute ? Nous vous proposons :
Un environnement unique de recherché dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels.
Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
Des moyens expérimentaux exceptionnels et un encadrement de qualité,
Un poste au cœur du cluster Paris-Saclay, campus d’excellence et plus grand centre de R&D de France
Un équilibre vie privé – vie professionnelle reconnu.

Profil du candidat

Qu’attendons-nous de vous ?

Vous préparez un diplôme d'ingénieur ou un master 2 recherche.

Vous êtes familier.ère aux langages de programmation tels que: VHDL et C/C++

Vous avez des connaissances en intelligence artificielle (IA) et en  réseaux de neurones profonds (DNN)

 

 

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Palaiseau

Critères candidat

Langues

  • Anglais (Courant)
  • Français (Courant)

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Possibilité de poursuite en thèse

Non

Demandeur

Disponibilité du poste

01/03/2024