En clair
La régression linéaire prédit une valeur numérique, la variable cible, à partir d'une ou plusieurs autres variables qu'on appelle prédictives. Elle suppose que la relation entre elles se représente par une droite ou un plan. On multiplie chaque variable par un coefficient, on additionne le tout et on ajoute une constante.
On peut par exemple chercher à prédire le poids d'un enfant d'après son âge, sa taille et son sexe. Le modèle apprend les coefficients à partir de données existantes.
Pourquoi c'est important
C'est l'un des algorithmes les plus simples et les plus utilisés en apprentissage automatique. Il sert de base pour comprendre des modèles plus complexes. Il reste très efficace quand les relations entre les variables sont à peu près linéaires.
Il se lit aussi facilement. Chaque coefficient indique l'effet d'une variable sur la prédiction, toutes choses égales par ailleurs. On s'en sert donc volontiers pour explorer des données et obtenir vite de premières prédictions.
Dans la pratique
On rassemble d'abord des données historiques qui contiennent à la fois les variables prédictives et la variable cible. On entraîne ensuite le modèle. Il ajuste ses coefficients pour réduire l'écart entre ses prédictions et les valeurs réelles. Une fois entraîné il prédit la cible pour de nouvelles données.
Un jeu de données sur la publicité en donne un exemple. On y prédit les ventes en fonction des budgets consacrés à la télévision, à la radio et aux journaux. Les variables doivent être numériques ou correctement encodées car le modèle ne manipule que des nombres.
À ne pas confondre avec
- La régression logistique sert à la classification. Elle prédit une catégorie et non une valeur continue.
- La régression linéaire suppose une relation linéaire entre les variables. Quand ce n'est pas le cas d'autres modèles conviennent mieux.