Le stage proposé se situe dans le domaine global de l’extraction d’information [1], dont l’objectif est d’identifier des concepts ou des faits dans des textes et de structurer les informations retenues. Dans ce stage, réalisé en partenariat avec l’institut Gustave Roussy, le domaine d’application de cette tâche est le domaine médical : dans ce cadre, les concepts à extraire sont des concepts médicaux, comme des indications anatomiques, des pathologies, des symptômes, des traitements, etc.

Comme beaucoup de tâches du TAL (Traitement Automatique des Langues), l’extraction d’information est depuis quelque temps dominée par les modèles à base de réseaux de neurones et, en particulier, les approches s’appuyant sur de grands modèles de langue pré-entraînés, comme BERT [2]. Ce type de modèles peut être affiné sur de nouvelles tâches, comme l’extraction de concepts spécifiques à partir de données annotées. Dans le domaine médical, Il existe des corpus annotés permettant de faire l'apprentissage pour la reconnaissance de concepts médicaux, comme le corpus QUAERO [3], qui utilise les types sémantiques du méta-thesaurus de l’UMLS [4] pour qualifier les concepts retenus.
Néanmoins, ces concepts restent plutôt génériques et ne répondront pas forcément directement au cas d’usage couvert pas le stage : il sera donc nécessaire d’envisager d’autres approches pour la reconnaissance de ces nouveaux concepts. En particulier, en l’absence de données annotées à partir desquelles un apprentissage en Deep Learning peut être effectué, des méthodes fondées sur l’exploitation directe de connaissances structurées (terminologies) ou d’apprentissage symbolique peuvent être mises en œuvre à partir de peu d’exemples.
Un des enjeux du stage sera ainsi d’étudier la combinaison d’approches d’extraction d’information par connaissances et apprentissage symbolique avec des approches à base d’apprentissage neuronal. Le stagiaire pourra s’appuyer, sur ces deux sujets, sur les résultats de projets précédents réalisés dans le laboratoire :

•  l’analyseur linguistique LIMA [5], développé au LASTI, intègre des modules d’extraction d’information qui peuvent être configurés automatiquement à partir de définitions déclaratives de nouveaux concepts ou d’exemples d’instances de concepts ou relations dans des textes (apprentissage symbolique) ;
• une adaptation de modèles de langues pour la tâche de reconnaissance de concepts médicaux dans les textes a été entreprise [6], à partir du corpus QUAERO, et offre des premiers outils pour l’extraction de concepts médicaux génériques sur lesquels on pourra s’appuyer pour configurer l’extraction d’information adaptée au cas de l’hôpital.

 #StageList

Ingénieur/Master 2

- environnement de travail : linux

- notions de base en traitement automatique des langues.

- notion de base en apprentissage automatique et en réseaux de neurones.