L'évaluation d'un modèle de Machine Learning est une étape cruciale qui permet de mesurer sa capacité à faire des prédictions fiables. Dans cet article, nous allons explorer les concepts fondamentaux de l'évaluation de performance à travers un exemple concret de régression linéaire.

Un exemple pratique : prédire le poids d'enfants

Imaginons un dataset contenant 237 échantillons d'enfants âgés de 11,5 à 20 ans, avec les informations suivantes :

• L'âge (exprimé en mois, de 139 à 250 mois)
• Le sexe (variable binaire : 0 pour les garçons, 1 pour les filles)
• La taille (entre 128,27 cm et 182,88 cm)
• Le poids (entre 22,9 kg et 77,78 kg)

Notre objectif est de construire un modèle qui prédit le poids d'un enfant en fonction de son sexe, son âge et sa taille.

Le principe de la régression linéaire

Le modèle que nous cherchons à construire s'exprime mathématiquement comme :

poids = a × sexe + b × age + c × taille + bruit

Où :

• a, b, c sont les coefficients que le modèle doit apprendre
• Le bruit représente l'information que le modèle ne peut pas capturer

Ce type de modèle, appelé régression linéaire, est l'un des plus simples mais aussi des plus puissants en Machine Learning.

Les trois étapes de l'entraînement

Étape 1 : Charger et préparer les données

La première étape consiste à organiser nos données :

• X (la matrice de design) : contient les variables prédictives (âge, sexe, taille)
• y (le vecteur cible) : contient la variable à prédire (le poids)

Par convention, X représente toujours les données d'entrée où chaque ligne correspond à un échantillon et chaque colonne à une variable.

Étape 2 : Entraîner le modèle

L'entraînement consiste à trouver les meilleurs coefficients a, b, c qui minimisent l'écart entre les prédictions du modèle et les vraies valeurs. Cette phase est automatiquement gérée par les bibliothèques de Machine Learning comme scikit-learn.

Étape 3 : Évaluer la performance

Une fois le modèle entraîné, il faut mesurer sa qualité. C'est là qu'interviennent les métriques d'évaluation.

Les fonctions de coût : le moteur de l'apprentissage

Une fonction de coût mesure l'écart entre les prédictions du modèle et les valeurs réelles. Le but de l'entraînement est de minimiser cette fonction.

Pour la régression linéaire, la fonction de coût la plus courante est la MSE (Mean Squared Error - Erreur Quadratique Moyenne) :

MSE = (1/N) × Σ(yₖ - ŷₖ)²

Où :

• N : le nombre d'échantillons
• yₖ : les valeurs réelles
• ŷₖ : les valeurs prédites par le modèle

Comment ça marche ?

Imaginez la fonction de coût comme une vallée. L'algorithme d'entraînement (comme la descente de gradient) explore cette vallée en calculant les dérivées pour trouver le chemin qui descend le plus rapidement vers le fond - c'est-à-dire le minimum d'erreur.

Mesurer la performance : les métriques d'évaluation

Une fois le modèle entraîné, nous devons évaluer sa qualité sur de nouvelles données. Plusieurs métriques existent selon le type de problème.

Pour les problèmes de régression

1. Le coefficient de détermination R²

• Varie de 0 (mauvais) à 1 (parfait)
• Mesure la proportion de variance expliquée par le modèle
• Plus il est proche de 1, meilleur est le modèle

2. La RMSE (Root Mean Square Error)

• Mesure l'écart moyen entre prédictions et valeurs réelles
• S'exprime dans la même unité que la variable cible
• Plus elle est petite, meilleur est le modèle

3. La MAE (Mean Absolute Error)

• Erreur absolue moyenne
• Moins sensible aux valeurs aberrantes que la RMSE
• Plus elle est petite, meilleur est le modèle

4. La MAPE (Mean Absolute Percentage Error)

• Exprime l'erreur en pourcentage
• Permet de comparer des modèles sur différents datasets
• Plus elle est petite, meilleur est le modèle

Exemple de résultats

Sur notre modèle prédisant le poids à partir du sexe et de l'âge uniquement, nous obtenons :

• RMSE : 45,17 kg
• MAE : 5,22 kg
• MAPE : 12%

En ajoutant la variable taille, les scores s'améliorent significativement, démontrant l'importance de choisir les bonnes variables prédictives.

Le processus complet d'entraînement

Voici la méthodologie à suivre pour tout projet de Machine Learning :

1. Charger les données : Importer et comprendre votre dataset
2. Transformer les données : Nettoyer, normaliser, créer de nouvelles features
3. Scinder en train/test : Séparer les données pour évaluer objectivement
4. Entraîner le modèle : Tester différentes configurations de paramètres
5. Calculer les scores : Comparer les performances de chaque version
6. Itérer : Recommencer pour améliorer les résultats

Cette approche systématique s'applique à tous les types de modèles : régression, classification, clustering.

Faire des prédictions

Une fois le modèle entraîné et évalué, il peut être utilisé pour faire des prédictions sur de nouvelles données. Par exemple, pour estimer le poids d'un nouveau garçon de 150 mois mesurant 153 cm, il suffit de fournir ces valeurs au modèle qui retournera une estimation basée sur les patterns appris.

En résumé

• La fonction de coût mesure l'erreur pendant l'entraînement. L'algorithme cherche à la minimiser.
• Les métriques d'évaluation mesurent la performance finale du modèle sur de nouvelles données.
• Pour la régression, attention aux directions :
  • R² proche de 1 = bon modèle
  • RMSE, MAE, MAPE proches de 0 = bon modèle
• Le choix des variables prédictives impacte fortement la qualité du modèle.
• L'évaluation rigoureuse nécessite de séparer les données en ensembles d'entraînement et de test.

La maîtrise de ces concepts d'évaluation est essentielle pour développer des modèles de Machine Learning fiables et performants. Dans les prochains articles, nous explorerons plus en détail les différents types de modèles et leurs spécificités.