En clair
La régression logistique est une méthode d'apprentissage automatique qui sert à la classification, c'est-à-dire à ranger des exemples dans des catégories. Son nom trompe. Elle ne prédit pas une valeur numérique continue. Elle décide si un élément appartient ou non à une classe (oui ou non, spam ou non spam).
Elle procède en trois temps. On calcule d'abord une combinaison linéaire des variables d'entrée comme dans une régression classique : y = a × x₁ + b × x₂ + c × x₃ + d. Ce y peut prendre n'importe quelle valeur de -∞ à +∞. Cela n'a pas de sens pour une catégorie.
On lui applique donc une fonction sigmoïde qui le ramène entre 0 et 1 : z = 1 / (1 + e^(-y)). Cette valeur z se lit comme une probabilité. Il reste à fixer un seuil, souvent 0,5. Au-dessus on prédit une classe et en dessous l'autre.
Pourquoi c'est important
C'est l'un des modèles de classification les plus utilisés parce qu'il est simple, rapide et facile à interpréter. Chaque variable d'entrée reçoit un coefficient dont l'effet sur la probabilité se lit directement. Un coefficient positif augmente la probabilité de la classe visée et un coefficient négatif la diminue. On peut donc expliquer une décision et pas seulement la produire.
Elle sert de référence pour la détection de fraude, le diagnostic médical, le filtrage des courriels indésirables ou l'analyse de risque. C'est aussi un modèle d'initiation courant pour comprendre la classification supervisée.
Dans la pratique
On l'entraîne sur des données étiquetées, des exemples dont on connaît déjà la catégorie. Le modèle ajuste ses coefficients pour que les probabilités prédites collent au mieux aux étiquettes observées.
Les variables d'entrée doivent être numériques. On convertit donc les catégories textuelles en nombres. Une variable à deux valeurs (OUI ou NON) devient 1 ou 0 et son coefficient se lit alors directement comme un effet sur la probabilité.
La régression logistique gère d'emblée deux classes. Pour davantage de catégories on l'étend avec l'approche « un contre tous » ou une variante multinomiale. Elle suppose une relation assez simple entre les variables et la probabilité. Cela la limite quand les frontières entre les classes sont complexes.
À ne pas confondre avec
- La régression linéaire prédit une valeur continue et non une catégorie.
- Les arbres de décision et les forêts aléatoires sont d'autres familles de modèles de classification. Ils sont souvent plus souples mais moins faciles à interpréter.
- Le clustering regroupe des données sans étiquettes. La régression logistique relève de l'apprentissage supervisé.