Les bases de l'apprentissage Machine (Machine Learning)

Le programme de la formation

L'apprentissage machine (Introduction)

Introduction
Champs de compétences
Focus Data Science (Data Mining)
Focus Machine Learning
Focus Big Data
Focus Deep Learning
Définition de l'apprentissage machine
Exemples de tâches du machine Learning
Que peuvent apprendre les machines
Les différents modes d'entraînement

Les fondamentaux de l'apprentissage machine

Préambule : - Un problème d'optimisation - Quête de la capacité optimale du modèle - Relation capacité et erreurs - Un apport philosophique - Cadre statistique - Anatomie d'un modèle d'apprentissage machine
Jeux de données d'entraînement : - Cadre statistique - Les variables prédictives - Chaîne de traitement des variables prédictives - Les variables à prédire
Fonctions hypothèses : - Principe : jeux de fonctions hypothèses - Contexte de sélection des fonctions hypothèses - Caractéristiques des fonctions hypothèses - Modèles probabilistes Fréquentistes et Bayésiens
Fonctions de coûts : - Les estimateurs - Principe du maximum de vraisemblance (MLE*) - MAP - Maximum A Posteriori - Le biais d'un estimateur - La variance d'un estimateur - Le compromis biais - variance - Les fonctions de coûts - La régularisation des paramètres
Algorithmes d'optimisations : - Les grandes classes d'algorithmes d'optimisation - La descente de gradient (1er ordre) - Descente de gradient (détails) - Les approches de Newton (2nd ordre) - Optimisation batch et stochastique - Pour aller plus loin
Lab : Mise en oeuvre de l'environnement de travail machine Learning

La classification

Introduction : - Choisir un algorithme de classification
La régression logistique : - Du Perceptron à la régression logistique - Hypothèses du modèle - Apprentissage des poids du modèle - Exemple d'implémentation : scikit-learn - Régression logistique - Fiche Synthèse
SVM : - Classification à marge maximum - La notion de marge souple (soft margin) - Les machines à noyau (kernel machines) - L'astuce du noyau (kernel trick) - Les fonctions noyaux - SVM - Maths - SVM - Fiche Synthèse
Arbres de décision : - Principe de base - Fonctionnement - Maximisation du Gain Informationnel - Mesure d'impureté d'un noeud - Exemple d'implémentation : scikit-learn -Arbres de décision - Fiche Synthèse
K plus proches voisins (kNN) : - L'apprentissage à base d'exemples - Principe de fonctionnement - Avantages et désavantages - kNN - Fiche synthèse
Synthèse
Lab : Expérimentation des algorithmes de classification sur cas concrets

Les pratiques

Prétraitement : - Gestion des données manquantes - Transformateurs et estimateurs - Le traitement des données catégorielles - Le partitionnement des jeux de données - Mise à l'échelle des données
Ingénierie des variables prédictives (Feature Engineering) : - Sélection des variables prédictives - Sélection induite par régularisation L1 - Sélection séquentielle des variables - Déterminer l'importance des variables - Réduction dimensionnelle par Compression des données - L'extraction de variables prédictives - Analyse en composante principale (ACP) - Analyse linéaire discriminante (ADL) - l'ACP à noyau (KPCA)
Réglages des hyper-paramètres et évaluation des modèles : - Bonnes pratiques - La notion de Pipeline - La validation croisée (cross validation) - Courbes d'apprentissage - Courbes de validation - La recherche par grille (grid search) - Validation croisée imbriquée (grid searchcv) - Métriques de performance
Synthèse
Lab : Expérimentation des pratiques du machine learning sur cas concrets

L'apprentissage d'ensembles (ensemble learning)

Introduction
L'approche par vote
Une variante : l'empilement (stacking)
Le bagging
Les forêts aléatoires
Le boosting
La variante Adaboost
Gradient Boosting
Fiches synthèses
Lab : L'apprentissage d'ensemble sur un cas concret

La régression

Régression linéaire simple
Régression linéaire multi-variée
Relations entre les variables
Valeurs aberrantes (RANSAC)
Évaluation de la performance des modèles de régression
La régularisation des modèles de régression linéaire
Régression polynomiale
La régression avec les forêts aléatoires
Synthèse
Lab : La régression sur un cas concret

Le clustering

Introduction
Le regroupement d'objets par similarité avec les k-moyens (k-means)
k-means : algorithme
L'inertie d'un cluster
Variante k-means ++
Le clustering flou
Trouver le nombre optimal de clusters avec la méthode Elbow
Appréhender la qualité des clusters avec la méthode des silhouettes
Le clustering hiérarchique
Le clustering par mesure de densité DBSCAN
Autres approches du Clustering
Synthèse
Lab : Le clustering sur un cas concret