Soit un ensemble non vide, parfois appelé ensemble d'indices . Une fonction symétrique K : X × X → R {\displaystyle K:{\mathcal {X}} imes {\mathcal {X}} o \mathbb {R} } est appe...
Sisoit un espace de Hilbert , alors son produit scalaire correspondantest un noyau pd. En effet, nous avons
Noyaux définis sur et les histogrammes : les histogrammes sont fréquemment rencontrés dans les applications à des problèmes concrets. La plupart des observations sont généralement disponibles sous forme de vecteurs non négatifs de comptages qui, une fois normalisés, donnent des histogrammes de fréquences. Il a été démontré que la famille suivante de métriques au carré, à savoir la divergence de Jensen, la-carré, variation totale et deux variantes de la distance de Hellinger :peut être utilisé pour définir des noyaux pd à l'aide de la formule suivante0. K(θ,θ′)=e−αψ(θ,θ′),α>0.{\displaystyle K( heta , heta ')=e^{-\alpha \psi ( heta , heta ')},\alpha >0.}0.
Exemples d'autres noyaux
Le noyau sigmoïde, ou noyau tangent hyperbolique, est défini commeoùsont des paramètres réels. Le noyau n'est pas PD, mais a parfois été utilisé pour des algorithmes à noyau.
Histoire
, fonctions iepd (en effet, M. Mathias et S. Bochner semblent ne pas avoir eu connaissance de l'étude des noyaux pd). Les travaux de Mercer découlent de l'article de Hilbert de 1904 sur les équations intégrales de Fredholm de seconde espèce :
Hilbert avait notamment démontré que
oùest un noyau symétrique réel continu,est continu,est un système complet de fonctions propres orthonormales , etLes sont les valeurs propres correspondantes de (1.2). Hilbert a défini un noyau « défini » comme celui pour lequel l'intégrale double satisfait0 J(x)>0{\displaystyle J(x)>0}0 sauf pourL'objectif initial de l'article de Mercer était de caractériser les noyaux définis au sens de Hilbert, mais Mercer constata rapidement que la classe de telles fonctions était trop restrictive pour être caractérisée en termes de déterminants. Il définit donc un noyau symétrique réel continu.être de type positif (c'est-à-dire définie positive) sipour toutes les fonctions continues réellessuret il a démontré que (1.1) est une condition nécessaire et suffisante pour qu'un noyau soit de type positif. Mercer a ensuite démontré que pour tout noyau pd continu, l'expansion tient absolument et uniformément.
À peu près au même moment, WH Young, motivé par une question différente dans la théorie des équations intégrales, a montré que pour les noyaux continus, la condition (1.1) est équivalente àpour tous.
EH Moore a initié l'étude d'un type très général de noyau pd. Siest un ensemble abstrait, il appelle fonctionsdéfini sur« matrices hermitiennes positives » si elles satisfont (1.1) pour toutMoore s'intéressait à la généralisation des équations intégrales et a montré que pour chaque telleil existe un espace de Hilbertde fonctions telles que, pour chaqueCette propriété est appelée propriété de reproduction du noyau et s'avère importante dans la résolution des problèmes aux limites pour les équations aux dérivées partielles elliptiques.
En théorie des probabilités, les noyaux pd apparaissent comme noyaux de covariance des processus stochastiques.
Lien avec les espaces de Hilbert à noyau reproduisant et les cartes de caractéristiques
être un ensemble,un espace de Hilbert de fonctions, etle produit scalaire correspondant surPour toutl'évaluation fonctionnelleest défini parNous définissons tout d'abord un espace de Hilbert à noyau reproduisant (RKHS) :
Définition : EspaceOn parle d'espace de Hilbert à noyau reproduisant si les fonctionnelles d'évaluation sont continues.
Chaque RKHS possède une fonction spéciale qui lui est associée, à savoir le noyau reproducteur :
Définition : Un noyau reproducteur est une fonctiontel que
, et
, pour touset.
Cette dernière propriété est appelée propriété de reproduction.
Le résultat suivant démontre l'équivalence entre RKHS et les noyaux reproducteurs :
Théorème — Tout noyau reproduisantinduit un RKHS unique, et chaque RKHS possède un noyau reproducteur unique.
Le lien entre les noyaux définis positifs et les RKHS est donné par le théorème suivant :
Tout noyau reproduisant est défini positif, et tout noyau défini positif définit un unique RKHS, dont il est l'unique noyau reproduisant.
Ainsi, étant donné un noyau défini positif, il est possible de construire un RKHS associé avecen tant que noyau reproducteur.
Comme indiqué précédemment, les noyaux définis positifs peuvent être construits à partir de produits scalaires. Ce fait permet de relier les noyaux définis positifs à un autre objet intéressant qui apparaît dans les applications d'apprentissage automatique : la carte de caractéristiques.être un espace de Hilbert, etle produit scalaire correspondant. Toute carteest appelée carte de caractéristiques. Dans ce cas, nous l'appelonsl'espace des caractéristiques. Il est facile de voir que chaque carte de caractéristiques définit un noyau pd unique par En effet, la positivité définie deCela découle de la propriété de dépendance spatiale du produit scalaire. Par ailleurs, chaque noyau de dépendance spatiale, et son RKHS correspondant, possèdent de nombreuses cartes de caractéristiques associées. Par exemple : Soit, etpour tous. Alors, par la propriété de reproduction. Ceci suggère une nouvelle approche des noyaux pd comme produits scalaires dans des espaces de Hilbert appropriés, ou en d'autres termes, les noyaux pd peuvent être vus comme des applications de similarité qui quantifient efficacement la similarité entre deux points. etsont à travers la valeurDe plus, grâce à l'équivalence des noyaux pd et de leurs RKHS correspondants, chaque carte de caractéristiques peut être utilisée pour construire un RKHS.
Noyaux et distances
Les méthodes à noyau sont souvent comparées aux méthodes basées sur la distance, telles que les méthodes des plus proches voisins . Dans cette section, nous discutons des parallèles entre leurs deux composantes respectives, à savoir les noyaux.et les distances.
Ici, une fonction de distance entre chaque paire d'éléments d'un ensemble est définie., nous entendons par là une métrique définie sur cet ensemble, c'est-à-dire toute fonction à valeurs non négativessurqui satisfait
Un lien entre les distances et les noyaux pd est donné par un type particulier de noyau, appelé noyau défini négatif, et défini comme suit
Définition : Une fonction symétrique est appelé un noyau défini négatif (nd) sursi
tient pour toutettel que.
Le parallèle entre les noyaux nd et les distances est le suivant : chaque fois qu'un noyau nd s'annule sur l'ensemble, et est nul uniquement sur cet ensemble, alors sa racine carrée est une distance pour[ Parallèlement, chaque distance ne correspond pas nécessairement à un noyau nd. Ceci n'est vrai que pour les distances hilbertiennes, où la est dit hilbertien si l'on peut plonger l'espace métriqueisométriquement dans un espace de Hilbert.
D'autre part, les noyaux nd peuvent être identifiés à une sous-famille de noyaux pd appelés noyaux infiniment divisibles. Un noyau à valeurs non négativesOn dit qu'un ensemble est infiniment divisible si, pour toutil existe un noyau défini positiftel que.
Un autre lien réside dans le fait qu'un noyau PD induit une pseudométrique , où la première contrainte sur la fonction de distance est assouplie pour permettrepourÉtant donné un noyau défini positif, nous pouvons définir une fonction de distance comme :
Certaines applications
Noyaux en apprentissage automatique
d'une fonction modèle inconnueà un nouveau pointd'un ensemble, à condition que nous disposions d'un échantillon de paires entrée-réponsedonnée par observation ou expérimentation. La réponseàn'est pas une fonction fixe demais plutôt la réalisation d'une variable aléatoire à valeurs réellesL'objectif est d'obtenir des informations sur la fonctionqui remplacedans le cadre déterministe. Pour deux élémentsles variables aléatoiresetne seront pas non corrélés, car siest trop proche deles expériences aléatoires décrites paretprésenteront souvent un comportement similaire. Ceci est décrit par un noyau de covariance.Un tel noyau existe et est défini positif sous des hypothèses supplémentaires faibles. On obtient alors une bonne estimation depeut être obtenu en utilisant l'interpolation par noyau avec le noyau de covariance, en ignorant complètement le fond probabiliste.
Supposons maintenant qu'une variable de bruit, avec une moyenne nulle et une variance, est ajouté à, de sorte que le bruit soit indépendant pour différentset indépendamment delà, se pose alors le problème de trouver une bonne estimation pourest identique à celle ci-dessus, mais avec un noyau modifié donné par.
Estimation de densité par noyaux : Le problème consiste à retrouver la densitéd'une distribution multivariée sur un domaine, à partir d'un large échantillony compris les répétitions. Lorsque les points d'échantillonnage sont denses, la fonction de densité réelle doit prendre des valeurs élevées. Une estimation simple de la densité est possible en comptant le nombre d'échantillons dans chaque cellule d'une grille et en traçant l'histogramme résultant, ce qui donne une estimation de densité constante par morceaux. Une meilleure estimation peut être obtenue en utilisant un noyau invariant par translation non négatif., avec une intégrale totale égale à un, et définircomme une estimation lissée.
Résolution numérique des équations aux dérivées partielles
Autres applications
Dans la littérature sur les expériences informatiques et autres expériences d'ingénierie, on rencontre de plus en plus de modèles basés sur des noyaux PD, des RBF ou le krigeage . La méthodologie des surfaces de réponse en est un exemple . Parmi les autres applications qui se résument à l'ajustement de données, on peut citer le prototypage rapide et l'infographie . Dans ces domaines, on utilise souvent des modèles de surface implicites pour approximer ou interpoler des données de nuages de points.
Les applications des noyaux pd dans diverses autres branches des mathématiques se trouvent dans l'intégration multivariée, l'optimisation multivariée, l'analyse numérique et le calcul scientifique, où l'on étudie des algorithmes rapides, précis et adaptatifs, idéalement implémentés dans des environnements de calcul haute performance.