Worldlex Wiki 
Dans l'apprentissage automatique , le noyau polynomial est une fonction noyau couramment utilisée avec les machines à vecteurs de support (SVM) et d'autres modèles à noyau , qui représente la similarité des vecteurs (échantillons d'apprentissage) dans un espace de caractéristiques sur les polynômes des variables d'origine, permettant l'apprentissage de modèles non linéaires.
Intuitivement, le noyau polynomial examine non seulement les caractéristiques données des échantillons d'entrée pour déterminer leur similarité, mais aussi les combinaisons de celles-ci. Dans le contexte de l'analyse de régression , de telles combinaisons sont appelées caractéristiques d'interaction. L'espace de caractéristiques (implicite) d'un noyau polynomial est équivalent à celui de la régression polynomiale , mais sans l'explosion combinatoire du nombre de paramètres à apprendre. Lorsque les caractéristiques d'entrée sont binaires (booléennes), les caractéristiques correspondent à des conjonctions logiques de caractéristiques d'entrée.
Définition
Pour les polynômes de degré d , le noyau polynomial est défini comme
où x et y sont des vecteurs de taille n dans l' espace d'entrée , c'est-à-dire des vecteurs de caractéristiques calculées à partir d'échantillons d'apprentissage ou de test et c ≥ 0 est un paramètre libre qui compense l'influence des termes d'ordre supérieur par rapport aux termes d'ordre inférieur dans le polynôme. Lorsque c = 0 , le noyau est dit homogène. (Un autre polynoyau généralisé divise x T y par un paramètre scalaire a spécifié par l'utilisateur . )
En tant que noyau, K correspond à un produit scalaire dans un espace de caractéristiques basé sur une application φ :
La nature de φ peut être vue à partir d'un exemple. Soit d = 2 , nous obtenons donc le cas particulier du noyau quadratique. Après avoir utilisé le théorème multinomial (deux fois — l'application la plus externe est le théorème binomial ) et avoir regroupé,
Il en résulte que la carte des caractéristiques est donnée par :
en généralisant pour , où , et en appliquant le théorème multinomial :
La dernière sommation comporte des éléments tels que :
où et
Utilisation pratique
Bien que le noyau RBF soit plus populaire dans la classification SVM que le noyau polynomial, ce dernier est assez populaire dans le traitement du langage naturel (NLP). Le degré le plus courant est d = 2 (quadratique), car les degrés plus grands ont tendance à surajuster les problèmes de NLP.
Différentes méthodes de calcul du noyau polynomial (à la fois exactes et approximatives) ont été conçues comme alternatives aux algorithmes d'entraînement SVM non linéaires habituels, notamment :
- développement complet du noyau avant l'entraînement/test avec un SVM linéaire, c'est-à-dire calcul complet de l'application φ comme dans la régression polynomiale ;
- extraction de paniers (en utilisant une variante de l' algorithme apriori ) pour les conjonctions de caractéristiques les plus courantes dans un ensemble d'entraînement pour produire une expansion approximative ;
- indexation inversée des vecteurs de support.
Un problème avec le noyau polynomial est qu'il peut souffrir d' instabilité numérique : lorsque x T y + c < 1 , K ( x , y ) = ( x T y + c ) d tend vers zéro lorsque d augmente , alors que lorsque x T y + c > 1 , K ( x , y ) tend vers l'infini.
