La régression Partial Least-Squares boostée. Jean-François DURAND. La revue MODULAD, numéro 38, 2008.

Résumé
Ce papier présente la régression Partial Least-Squares (PLS) comme appartenant à la famille de méthodes de boosting à fonction coût L2. D'une part, la régression PLS linéaire classique appartient à cette catégorie en considérant une variable latente ou composante principale comme base d'apprentissage (base learner) rendant robuste le modèle face au problème de la rareté des données et de la multi-corrélation des variables. D'autre part, l'usage des B-splines et de leurs produits tensoriels dans la construction de la base d'apprentissage, exploite de façon naturelle le potentiel du boosting L2 de PLS pour produire des modèles non-linéaires additifs qui capturent les effets principaux ainsi que les interactions significatives. La performance du boosting PLS en régression comme en classification supervisée est montrée sur trois exemples.

Abstract
This paper presents the Partial Least-Squares regression (PLS) in the framework of the boosting methods with L2 loss. First, the ordinary PLS regression already belongs to that family by considering the latent variables or principal components as base learners producing robust linear models that overcome the problems of the scarcity of the observations as well as the multi-collinearity of the predictor variables. Most of all, the use B-splines and their tensor products to construct the base learner, typically provides PLS with L2-boosts leading to non-linear additive models that capture main effects as well as relevant interactions.
The performances of the different PLS boosts in both regression and classification are shown on three exemples.

Mots clés 
Boosting, Partial Least-Squares, B-splines, Produits Tensoriels.

Keywords
Boosting, Partial Least-Squares, B-splines, Tensor Products.

Article