Algorithme de Hebb généralisé

L' algorithme de Hebb généralisé , également connu sous le nom de règle de Sanger , est un réseau de neurones linéaire à propagation avant pour l'apprentissage non supervisé , principalement utilisé en analyse en composantes principales . Défini pour la première fois en 1989 , il est similaire à la règle d'Oja par sa formulation et sa stabilité, à la différence qu'il peut être appliqué à des réseaux à sorties multiples. Son nom provient de la similarité entre cet algorithme et une hypothèse de Donald Hebb concernant la modification des forces synaptiques dans le cerveau en réponse à l'expérience : ces modifications seraient proportionnelles à la corrélation entre l'activité des neurones pré- et post-synaptiques .

Théorie

Considérons le problème de l'apprentissage d'un code linéaire pour des données. Chaque donnée est un vecteur multidimensionnel ${\displaystyle x\in \mathbb {R} ^{n <semantics><mrow><mstyle><mi>x</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>n</mi></mrow></msup></mstyle></mrow><annotation>{\displaystyle x\in \mathbb {R} ^{n}}</annotation></semantics></math><img src=$ ${\displaystyle w_{1},\dots ,w_{m}\in \mathbb {R} ^{n <semantics><mrow><mstyle><msub><mi>w</mi><mrow><mn>1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mi>w</mi><mrow><mi>m</mi></mrow></msub><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>n</mi></mrow></msup></mstyle></mrow><annotation>{\displaystyle w_{1},\dots ,w_{m}\in \mathbb {R} ^{n}}</annotation></semantics></math><img src=$ ${\displaystyle m=n <semantics><mrow><mstyle><mi>m</mi><mo>=</mo><mi>n</mi></mstyle></mrow><annotation>{\displaystyle m=n}</annotation></semantics></math><img src=$ ${\displaystyle m<n <semantics><mrow><mstyle><mi>m</mi><mo><</mo><mi>n</mi></mstyle></mrow><annotation>{\displaystyle m<n}</annotation></semantics></math><img src=$ ${\displaystyle w_{1},\dots ,w_{m <semantics><mrow><mstyle><msub><mi>w</mi><mrow><mn>1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mi>w</mi><mrow><mi>m</mi></mrow></msub></mstyle></mrow><annotation>{ displaystyle w_ {1}, dots, w_ {m}}</annotation></semantics></math><img src=$

L'algorithme hebbien généralisé est un algorithme itératif permettant de trouver les vecteurs de composantes principales les plus élevés, sous une forme algorithmique qui ressemble à l'apprentissage hebbien non supervisé dans les réseaux neuronaux.

Considérons un réseau neuronal à une seule couche avec ${\displaystyle n <semantics><mrow><mstyle><mi>n</mi></mstyle></mrow><annotation>{\displaystyle n}</annotation></semantics></math><img src=$ ${\displaystyle m <semantics><mrow><mstyle><mi>m</mi></mstyle></mrow><annotation>{\displaystyle m}</annotation></semantics></math><img src=$ ${\displaystyle y_{1},\dots ,y_{m <semantics><mrow><mstyle><msub><mi>y</mi><mrow><mn>1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mi>y</mi><mrow><mi>m</mi></mrow></msub></mstyle></mrow><annotation>{ displaystyle y_ {1}, dots, y_ {m}}</annotation></semantics></math><img src=$ ${\displaystyle w_{ij <semantics><mrow><mstyle><msub><mi>w</mi><mrow><mi>je</mi><mi>j</mi></mrow></msub></mstyle></mrow><annotation>{\displaystyle w_{ij}}</annotation></semantics></math><img src=$ ${\displaystyle j <semantics><mrow><mstyle><mi>j</mi></mstyle></mrow><annotation>{\displaystyle j}</annotation></semantics></math><img src=$ ${\displaystyle i <semantics><mrow><mstyle><mi>je</mi></mstyle></mrow><annotation>{\displaystyle i}</annotation></semantics></math><img src=$

La règle d'apprentissage de l'algorithme hebbien généralisé est de la forme suivante :

{\displaystyle \,\Delta w_{ij}~=~\eta y_{i}\left(x_{j}-\sum _{k=1}^{i}w_{kj}y_{k} ight) <semantics><mrow><mstyle><mspace></mspace><mi>Δ</mi><msub><mi>w</mi><mrow><mi>je</mi><mi>j</mi></mrow></msub><mtext> </mtext><mo>=</mo><mtext> </mtext><mi>η</mi><msub><mi>y</mi><mrow><mi>je</mi></mrow></msub><mrow><mo>(</mo><mrow><msub><mi>x</mi><mrow><mi>j</mi></mrow></msub><mo>−</mo><munderover><mo>∑</mo><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>je</mi></mrow></munderover><msub><mi>w</mi><mrow><mi>k</mi><mi>j</mi></mrow></msub><msub><mi>y</mi><mrow><mi>k</mi></mrow></msub></mrow><mo>)</mo></mrow></mstyle></mrow><annotation>{\displaystyle \,\Delta w_{ij}~=~\eta y_{i}\left(x_{j}-\sum _{k=1}^{i}w_{kj}y_{k} ight)}</annotation></semantics></math></span><img src=

où ${\displaystyle \eta <semantics><mrow><mstyle><mi>η</mi></mstyle></mrow><annotation>{\displaystyle \eta }</annotation></semantics></math><img src=$ de taux d'apprentissage .

Dérivation

Sous forme matricielle, la règle d'Oja peut s'écrire

{\displaystyle \,{\frac {{ ext{d}}w(t)}{{ ext{d}}t}}~=~w(t)Q-\mathrm {diag} [w(t)Qw(t)^{\mathrm {T} }]w(t) <semantics><mrow><mstyle><mspace></mspace><mrow><mfrac><mrow><mrow><mtext>d</mtext></mrow><mi>w</mi><mo>(</mo><mi>t</mi><mo>)</mo></mrow><mrow><mrow><mtext>d</mtext></mrow><mi>t</mi></mrow></mfrac></mrow><mtext> </mtext><mo>=</mo><mtext> </mtext><mi>w</mi><mo>(</mo><mi>t</mi><mo>)</mo><mi>Q</mi><mo>−</mo><mrow><mi>d</mi><mi>je</mi><mi>un</mi><mi>g</mi></mrow><mo>[</mo><mi>w</mi><mo>(</mo><mi>t</mi><mo>)</mo><mi>Q</mi><mi>w</mi><mo>(</mo><mi>t</mi><msup><mo>)</mo><mrow><mrow><mi>T</mi></mrow></mrow></msup><mo>]</mo><mi>w</mi><mo>(</mo><mi>t</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \,{\frac {{ ext{d}}w(t)}{{ ext{d}}t}}~=~w(t)Q-\mathrm {diag} [w(t)Qw(t)^{\mathrm {T} }]w(t)}</annotation></semantics></math></span><img src=

et l'algorithme de Gram-Schmidt est

{\displaystyle \,\Delta w(t)~=~-\mathrm {lower} [w(t)w(t)^{\mathrm {T} }]w(t) <semantics><mrow><mstyle><mspace></mspace><mi>Δ</mi><mi>w</mi><mo>(</mo><mi>t</mi><mo>)</mo><mtext> </mtext><mo>=</mo><mtext> </mtext><mo>−</mo><mrow><mi>l</mi><mi>o</mi><mi>w</mi><mi>e</mi><mi>r</mi></mrow><mo>[</mo><mi>w</mi><mo>(</mo><mi>t</mi><mo>)</mo><mi>w</mi><mo>(</mo><mi>t</mi><msup><mo>)</mo><mrow><mrow><mi>T</mi></mrow></mrow></msup><mo>]</mo><mi>w</mi><mo>(</mo><mi>t</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \,\Delta w(t)~=~-\mathrm {inférieur} [w(t)w(t)^{\mathrm {T} }]w(t)}</annotation></semantics></math></span><img src=

où est une matrice quelconque, représentant ici les poids synaptiques, est la matrice d'autocorrélation, soit le produit extérieur des entrées, éléments de la matrice hors de la diagonale, et ${\displaystyle \,\Delta w(t)~=~\eta (t)\left(\mathbf {y} (t)\mathbf {x} (t)^{\mathrm {T} }-\mathrm {LT} [\mathbf {y} (t)\mathbf {y} (t)^{\mathrm {T} }]w(t) ight) </span referrerpolicy=$ ,

où la fonction est un neurone linéaire.

Analyse de stabilité et en composantes principales

La règle d'Oja est le cas particulier où ${\displaystyle m=1 <semantics><mrow><mstyle><mi>m</mi><mo>=</mo><mn>1</mn></mstyle></mrow><annotation>{\displaystyle m=1}</annotation></semantics></math><img src=$

Sous le règne d'Oja, ${\displaystyle w_{1 <semantics><mrow><mstyle><msub><mi>w</mi><mrow><mn>1</mn></mrow></msub></mstyle></mrow><annotation>{\displaystyle w_{1}}</annotation></semantics></math><img src=$ ${\displaystyle E[x_{j}]=E[w_{1j}y_{1}] <semantics><mrow><mstyle><mi>E</mi><mo>[</mo><msub><mi>x</mi><mrow><mi>j</mi></mrow></msub><mo>]</mo><mo>=</mo><mi>E</mi><mo>[</mo><msub><mi>w</mi><mrow><mn>1</mn><mi>j</mi></mrow></msub><msub><mi>y</mi><mrow><mn>1</mn></mrow></msub><mo>]</mo></mstyle></mrow><annotation>{\displaystyle E[x_{j}]=E[w_{1j}y_{1}]}</annotation></semantics></math><img src=$ ${\displaystyle j <semantics><mrow><mstyle><mi>j</mi></mstyle></mrow><annotation>{\displaystyle j}</annotation></semantics></math><img src=$ ${\displaystyle w_{1 <semantics><mrow><mstyle><msub><mi>w</mi><mrow><mn>1</mn></mrow></msub></mstyle></mrow><annotation>{\displaystyle w_{1}}</annotation></semantics></math><img src=$ ${\displaystyle y_{1}=\sum _{i}w_{1i}x_{i <semantics><mrow><mstyle><msub><mi>y</mi><mrow><mn>1</mn></mrow></msub><mo>=</mo><munder><mo>∑</mo><mrow><mi>je</mi></mrow></munder><msub><mi>w</mi><mrow><mn>1</mn><mi>je</mi></mrow></msub><msub><mi>x</mi><mrow><mi>je</mi></mrow></msub></mstyle></mrow><annotation>{\displaystyle y_{1}=\sum _{i}w_{1i}x_{i}}</annotation></semantics></math><img src=$ ${\displaystyle E[\|x-y_{1}w_{1}\|^{2}] <semantics><mrow><mstyle><mi>E</mi><mo>[</mo><mo>‖</mo><mi>x</mi><mo>−</mo><msub><mi>y</mi><mrow><mn>1</mn></mrow></msub><msub><mi>w</mi><mrow><mn>1</mn></mrow></msub><msup><mo>‖</mo><mrow><mn>2</mn></mrow></msup><mo>]</mo></mstyle></mrow><annotation>{\displaystyle E[\|x-y_{1}w_{1}\|^{2}]}</annotation></semantics></math><img src=$

Quand ${\displaystyle m=2 <semantics><mrow><mstyle><mi>m</mi><mo>=</mo><mn>2</mn></mstyle></mrow><annotation>{\displaystyle m=2}</annotation></semantics></math><img src=$ ${\displaystyle w_{1 <semantics><mrow><mstyle><msub><mi>w</mi><mrow><mn>1</mn></mrow></msub></mstyle></mrow><annotation>{\displaystyle w_{1}}</annotation></semantics></math><img src=$ ${\displaystyle x'=x-y_{1}w_{1 <semantics><mrow><mstyle><msup><mi>x</mi><mo>′</mo></msup><mo>=</mo><mi>x</mi><mo>−</mo><msub><mi>y</mi><mrow><mn>1</mn></mrow></msub><msub><mi>w</mi><mrow><mn>1</mn></mrow></msub></mstyle></mrow><annotation>{\displaystyle x'=x-y_{1}w_{1}}</annotation></semantics></math><img src=$

Par induction, cela permet de trouver le top- ${\displaystyle m <semantics><mrow><mstyle><mi>m</mi></mstyle></mrow><annotation>{\displaystyle m}</annotation></semantics></math><img src=$ ${\displaystyle m <semantics><mrow><mstyle><mi>m</mi></mstyle></mrow><annotation>{\displaystyle m}</annotation></semantics></math><img src=$

Applications

L'algorithme de Hebb généralisé est utilisé dans les applications nécessitant une carte auto-organisatrice ou une analyse des caractéristiques ou des composantes principales . L'intelligence artificielle , le traitement de la parole et le traitement d'images en sont des exemples .

Son importance réside dans le fait que l'apprentissage est un processus monocouche : le poids synaptique ne change qu'en fonction de la réponse des entrées et des sorties de cette couche, évitant ainsi la dépendance multicouche associée à l' algorithme de rétropropagation . Il présente également un compromis simple et prévisible entre la vitesse d'apprentissage et la précision de la convergence, déterminé par le paramètre de taux d'apprentissage ${\displaystyle 64 imes 64 </span referrerpolicy=$ La matrice de variance des échantillons de zones de 8 × 8 pixels est déterminée par les statistiques du second ordre des pixels des images. Cette approche a été critiquée, car jugée insuffisante pour appréhender les statistiques d'ordre supérieur nécessaires à l'explication des propriétés de type Gabor des cellules simples du cortex visuel primaire .