Fonction de prédiction linéaire

La forme de base d'une fonction de prédiction linéairei (composé de p variables explicatives ), pour i = 1, ..., n , est

oùk = 1, ..., p , est la valeur de la k -ième variable explicative pour le point de données i , etcoefficients (coefficients de régression, pondérations, etc.) indiquant l'effet relatif d'une variable explicative particulière sur le résultat .

Un exemple d'utilisation d'une fonction de prédiction linéaire se trouve dans la régression linéaire , où chaque point de données est associé à une variable de résultat continue y_{_i} , et la relation est écrite

oùterme de perturbation ou une variable d'erreur — une variable aléatoire non observée qui ajoute du bruit à la relation linéaire entre la variable dépendante et la fonction prédictive.

Dans certains modèles (notamment la régression linéaire standard), les équations de chaque point de données i = 1, ..., n sont empilées et écrites sous forme vectorielle comme suit :

où

La matrice X est appelée matrice de conception et encode toutes les informations connues sur les variables indépendantes .

Cela permet de trouver les coefficients optimaux par la méthode des moindres carrés à l'aide d'opérations matricielles simples. En particulier, les coefficients optimaux

La matriceX. L'utilisation de l' inverse de matrice dans cette formule exige que X soit de rang plein , c'est-à-dire qu'il n'existe pas de multicolinéarité parfaite entre les différentes variables explicatives (aucune variable explicative ne peut être parfaitement prédite à partir des autres). Dans ce cas, la décomposition en valeurs singulières permet de calculer la pseudoinverse.

Lorsqu'un ensemble fixe de fonctions non linéaires est utilisé pour transformer la ou les valeurs d'un point de données, ces fonctions sont appelées fonctions de base . La régression polynomiale en est un exemple : elle utilise une fonction prédictive linéaire pour modéliser une relation polynomiale de degré arbitraire (jusqu'à un ordre donné) entre deux ensembles de points de données (c'est -à- dire une variable explicative réelle et une variable dépendante réelle associée), en ajoutant plusieurs variables explicatives correspondant à différentes puissances de la variable explicative initiale. Mathématiquement, cela se présente comme suit :

Dans ce cas, pour chaque point de données i , un ensemble de variables explicatives est créé comme suit :

On effectue ensuite une régression linéaire standard . Les fonctions de base dans cet exemple seraient :

Cet exemple montre qu'une fonction prédictive linéaire peut être bien plus puissante qu'il n'y paraît : elle n'a besoin d'être linéaire que par rapport aux coefficients . Le modèle peut ajuster toutes sortes de fonctions non linéaires des variables explicatives.

Il n'est pas nécessaire que les entrées des fonctions de base soient univariées ou unidimensionnelles (ni leurs sorties d'ailleurs, bien que dans ce cas, une valeur de sortie à K dimensions soit probablement traitée comme K fonctions de base scalaires distinctes). Les fonctions de base radiales (RBF) en sont un exemple : elles calculent une version transformée de la distance à un point fixe.

Un exemple est la fonction de base radiale gaussienne (RBF), qui a la même forme fonctionnelle que la distribution normale :

qui diminue rapidement à mesure que la distance par rapport à c augmente.

Une utilisation possible des fonctions de base radiale (RBF) consiste à en créer une pour chaque point de données observé. Ainsi, le résultat d'une RBF appliquée à un nouveau point de données sera proche de 0, sauf si ce nouveau point est proche du point autour duquel la RBF a été appliquée. Autrement dit, l'application des fonctions de base radiale sélectionnera le point le plus proche, et son coefficient de régression sera prépondérant. On obtient alors une forme d' interpolation au plus proche voisin , où les prédictions sont effectuées en utilisant simplement la prédiction du point de données observé le plus proche, avec éventuellement une interpolation entre plusieurs points de données proches lorsqu'ils sont tous à des distances similaires. Ce type de méthode de prédiction au plus proche voisin est souvent considéré comme diamétralement opposé à la prédiction utilisée dans la régression linéaire standard. Cependant, les transformations applicables aux variables explicatives d'une fonction de prédiction linéaire sont si puissantes que même la méthode du plus proche voisin peut être implémentée comme une forme de régression linéaire.

Il est même possible d'ajuster certaines fonctions dont les coefficients semblent non linéaires en transformant ces coefficients en de nouveaux coefficients qui, eux, semblent linéaires. Par exemple, une fonction de la forme

Les variables explicatives peuvent être de tout type : réelles , binaires , catégorielles , etc. La principale distinction s’opère entre les variables continues (par exemple, le revenu, l’âge, la pression artérielle , etc.) et les variables discrètes (par exemple, le sexe, l’origine ethnique, l’appartenance politique, etc.). Les variables discrètes, qui peuvent prendre plus de deux valeurs, sont généralement codées à l’aide de variables indicatrices (ou variables binaires ). Autrement dit, une variable explicative distincte, prenant la valeur 0 ou 1, est créée pour chaque valeur possible de la variable discrète. La valeur 1 signifie que la variable possède la valeur indiquée, et la valeur 0 signifie qu’elle ne la possède pas. Par exemple, une variable discrète à quatre modalités, représentant le groupe sanguin et prenant les valeurs possibles « A, B, AB, O », serait convertie en deux variables binaires distinctes : « est-A », « est-B », « est-AB » et « est-O ». Une seule de ces variables prend la valeur 1, les autres prenant la valeur 0. Cela permet d’attribuer des coefficients de régression distincts à chaque valeur possible de la variable discrète.

Il est important de noter que, pour K catégories, les K variables indicatrices ne sont pas toutes indépendantes. Par exemple, dans l'exemple des groupes sanguins mentionné précédemment, seules trois des quatre variables indicatrices sont indépendantes, dans le sens où, connaissant les valeurs de trois d'entre elles, la quatrième est automatiquement déterminée. Il suffit donc d'encoder trois des quatre possibilités sous forme de variables indicatrices. En effet, si les quatre possibilités sont encodées, le modèle global devient non identifiable . Ceci pose problème pour plusieurs méthodes, notamment la solution analytique simple utilisée en régression linéaire. La solution consiste soit à éviter ces cas en éliminant l'une des variables indicatrices, soit à introduire une contrainte de régularisation (ce qui nécessite une méthode plus puissante, généralement itérative, pour trouver les coefficients optimaux).