-
Partager cette page
SLT0112T - Méthodes neuronales pour le TAL
| Semestre | Semestre 2 |
|---|
| Crédits ECTS | 4 |
|---|---|
| Volume horaire total | 25 |
Responsables
Ludovic Tanguy
Intervenante : Chloé Braud
Pré-requis
Ce cours nécessite d’avoir des connaissances et des compétences opérationnelles en programmation en Python et sur les principes généraux de l’apprentissage artificiel (méthodes classiques symboliques et statistiques).
Objectifs
L’objectif de cette UE est de présenter les méthodes neuronales pour le TAL qui ont permis de grandes avancées ces dernières années. Notamment, le cours introduit les différentes architectures neuronales, les concepts généraux liés à l’entraînement et à l’évaluation de ces architectures, en lien avec des applications du domaine du TAL.
Contenu
Cet enseignement alterne des cours et des séances pratiques sur machine (langage Python)
- Introduction à l’algèbre linéaire
- Embeddings non contextuels (e.g. Word2Vec, FastText) et contextuels (e.g. BERT)
- Principales architectures neuronales : réseaux neuronaux feed-forward, réseaux neuronaux convolutionnels, réseaux neuronaux récurrents, LSTM, transformers
- Concepts généraux : les fonctions d’activation, les fonctions de perte, apprentissage d’un réseau de neurones
- Défis actuels : explicabilité, biais, apprentissage semi supervisé
- Applications : classification, étiquetage, génération, traduction, extraction d’information
Bibliographie
(La bibliographie sera communiquée au début du cours)