Perte de Huber

En statistique , la perte de Huber est une fonction de perte utilisée en régression robuste , moins sensible aux valeurs aberrantes que la perte quadratique . Une variante pour la classification est parfois employée.

Définition

La fonction de perte de Huber décrit la pénalité encourue par une procédure d'estimation ${\displaystyle L_{\delta }(a)={\begin{cases}{\frac {1}{2}}{a^{2}}&{ ext{pour }}|a|\leq \delta ,\\[4pt]\delta \cdot \left(|a|-{\frac {1}{2}}\delta ight),&{ ext{sinon.}}\end{cases </span referrerpolicy=$

Cette fonction est quadratique pour les petites valeurs de ${\displaystyle |a|=\delta </span referrerpolicy=$ La variable ${\displaystyle a=yf(x) </span referrerpolicy=$ , donc le premier peut être étendu à

${\displaystyle L_{\delta }(y,f(x))={\begin{cases}{\frac {1}{2}}{\left(y-f(x) ight)}^{2}&{ ext{for }}\left|y-f(x) ight|\leq \delta ,\\[4pt]\delta \ \cdot \left(\left|y-f(x) ight|-{\frac {1}{2}}\delta ight),&{ ext{otherwise.}}\end{cases <semantics><mrow><mstyle><msub><mi>L</mi><mrow><mi>δ</mi></mrow></msub><mo>(</mo><mi>y</mi><mo>,</mo><mi>f</mi><mo>(</mo><mi>x</mi><mo>)</mo><mo>)</mo><mo>=</mo><mrow><mrow><mo>{</mo><mtable><mtr><mtd><mrow><mfrac><mn>1</mn><mn>2</mn></mfrac></mrow><msup><mrow><mrow><mo>(</mo><mrow><mi>y</mi><mo>−</mo><mi>f</mi><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>)</mo></mrow></mrow><mrow><mn>2</mn></mrow></msup></mtd><mtd><mrow><mtext>pour </mtext></mrow><mrow><mo>|</mo><mrow><mi>y</mi><mo>−</mo><mi>f</mi><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo></mrow><mo>≤</mo><mi>δ</mi><mo>,</mo></mtd></mtr><mtr><mtd><mi>δ</mi><mtext> </mtext><mo>⋅</mo><mrow><mo>(</mo><mrow><mrow><mo>|</mo><mrow><mi>y</mi><mo>−</mo><mi>f</mi><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo></mrow><mo>−</mo><mrow><mfrac><mn>1</mn><mn>2</mn></mfrac></mrow><mi>δ</mi></mrow><mo>)</mo></mrow><mo>,</mo></mtd><mtd><mrow><mtext>sinon.</mtext></mrow></mtd></mtr></mtable><mo></mo></mrow></mrow></mstyle></mrow><annotation>{\displaystyle L_{\delta }(y,f(x))={\begin{cases}{\frac {1}{2}}{\left(y-f(x) ight)}^{2}&{ ext{for }}\left|y-f(x) ight|\leq \delta ,\\[4pt]\delta \ \cdot \left(\left|y-f(x) ight|-{\frac {1}{2}}\delta ight),&{ ext{otherwise.}}\end{cases}}}</annotation></semantics></math><img src=$

La fonction de perte de Huber est la convolution de la fonction valeur absolue avec la fonction rectangulaire , mise à l'échelle et translatée. Elle « lisse » ainsi le bord de la première à l'origine.

Motivation

Deux fonctions de perte très couramment utilisées sont la perte au carré , ${\displaystyle L(a)=a^{2 <semantics><mrow><mstyle><mi>L</mi><mo>(</mo><mi>un</mi><mo>)</mo><mo>=</mo><msup><mi>un</mi><mrow><mn>2</mn></mrow></msup></mstyle></mrow><annotation>{\displaystyle L(a)=a^{2}}</annotation></semantics></math><img src=$ ${\displaystyle L(a)=|a| <semantics><mrow><mstyle><mi>L</mi><mo>(</mo><mi>un</mi><mo>)</mo><mo>=</mo><mrow><mo>|</mo></mrow><mi>un</mi><mrow><mo>|</mo></mrow></mstyle></mrow><annotation>{\displaystyle L(a)=|a|}</annotation></semantics></math><img src=$ ${\displaystyle a <semantics><mrow><mstyle><mi>un</mi></mstyle></mrow><annotation>{\displaystyle a}</annotation></semantics></math><img src=$ ${ extstyle \sum _{i=1}^{n}L(a_{i}) <semantics><mrow><mstyle><munderover><mo>∑</mo><mrow><mi>je</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mi>L</mi><mo>(</mo><msub><mi>un</mi><mrow><mi>je</mi></mrow></msub><mo>)</mo></mstyle></mrow><annotation>{ extstyle \sum _{i=1}^{n}L(a_{i})}</annotation></semantics></math><img src=$ ${\displaystyle a <semantics><mrow><mstyle><mi>un</mi></mstyle></mrow><annotation>{\displaystyle a}</annotation></semantics></math><img src=$

Comme défini ci-dessus, la fonction de perte de Huber est fortement convexe dans un voisinage uniforme de son minimum ${\displaystyle a=0 <semantics><mrow><mstyle><mi>un</mi><mo>=</mo><mn>0</mn></mstyle></mrow><annotation>{\displaystyle a=0}</annotation></semantics></math><img src=$ ${\displaystyle a=-\delta <semantics><mrow><mstyle><mi>un</mi><mo>=</mo><mo>−</mo><mi>δ</mi></mstyle></mrow><annotation>{\displaystyle a=-\delta }</annotation></semantics></math><img src=$ ${\displaystyle a=\delta <semantics><mrow><mstyle><mi>un</mi><mo>=</mo><mi>δ</mi></mstyle></mrow><annotation>{\displaystyle a=\delta }</annotation></semantics></math><img src=$

Fonction de perte pseudo-Huber

La fonction de perte pseudo-Huber peut être utilisée comme une approximation lisse de la fonction de perte Huber. Elle combine les meilleures propriétés des pertes L2 au carré et L1 absolue : elle est fortement convexe au voisinage de la cible/du minimum et moins abrupte pour les valeurs extrêmes. L’échelle à laquelle la fonction de perte pseudo-Huber passe d’ une perte L2 pour les valeurs proches du minimum à une perte L1 pour les valeurs extrêmes, ainsi que la pente de cette dernière, peuvent être contrôlées par… ${\displaystyle \delta <semantics><mrow><mstyle><mi>δ</mi></mstyle></mrow><annotation>{\displaystyle \delta }</annotation></semantics></math><img src=$ fonction de perte pseudo-Huber garantit la continuité des dérivées pour tous les degrés. Elle est définie comme

${\displaystyle L_{\delta }(a)=\delta ^{2}\left({\sqrt {1+(a/\delta )^{2}}}-1 ight). <semantics><mrow><mstyle><msub><mi>L</mi><mrow><mi>δ</mi></mrow></msub><mo>(</mo><mi>un</mi><mo>)</mo><mo>=</mo><msup><mi>δ</mi><mrow><mn>2</mn></mrow></msup><mrow><mo>(</mo><mrow><mrow><msqrt><mn>1</mn><mo>+</mo><mo>(</mo><mi>un</mi><mrow><mo>/</mo></mrow><mi>δ</mi><msup><mo>)</mo><mrow><mn>2</mn></mrow></msup></msqrt></mrow><mo>−</mo><mn>1</mn></mrow><mo>)</mo></mrow><mo>.</mo></mstyle></mrow><annotation>{\displaystyle L_{\delta }(a)=\delta ^{2}\left({\sqrt {1+(a/\delta )^{2}}}-1 ight).}</annotation></semantics></math><img src=$

Ainsi, cette fonction approxime ${\displaystyle a^{2}/2 <semantics><mrow><mstyle><msup><mi>un</mi><mrow><mn>2</mn></mrow></msup><mrow><mo>/</mo></mrow><mn>2</mn></mstyle></mrow><annotation>{\displaystyle a^{2}/2}</annotation></semantics></math><img src=$ ${\displaystyle a <semantics><mrow><mstyle><mi>un</mi></mstyle></mrow><annotation>{\displaystyle a}</annotation></semantics></math><img src=$ ${\displaystyle \delta <semantics><mrow><mstyle><mi>δ</mi></mstyle></mrow><annotation>{\displaystyle \delta }</annotation></semantics></math><img src=$ ${\displaystyle a <semantics><mrow><mstyle><mi>un</mi></mstyle></mrow><annotation>{\displaystyle a}</annotation></semantics></math><img src=$

Bien que la forme ci-dessus soit la plus courante, d'autres approximations lisses de la fonction de perte de Huber existent également.

Variante pour la classification

Pour la classification , on utilise parfois une variante de la perte de Huber appelée perte de Huber modifiée . Étant donné une prédiction ${\displaystyle f(x) <semantics><mrow><mstyle><mi>f</mi><mo>(</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle f(x)}</annotation></semantics></math><img src=$ ${\displaystyle y\in \{+1,-1\ <semantics><mrow><mstyle><mi>y</mi><mo>∈</mo><mo>{</mo><mo>+</mo><mn>1</mn><mo>,</mo><mo>−</mo><mn>1</mn><mo>}</mo></mstyle></mrow><annotation>{\displaystyle y\in \{+1,-1\}}</annotation></semantics></math><img src=$

$-1,\\[4pt]-4y\,f(x)&{ ext{otherwise.}}\end{cases L (y, f (x)) = {\begin{matrix} max (0, 1 - y f (x))^{2} & pour y f (x) > - 1, \\ - 4 y f (x) & sinon. \end{matrix}$ -1,\\[4pt]-4y\,f(x)&{ ext{sinon.}}\end{cases

Le terme ${\displaystyle \max(0,1-y\,f(x)) <semantics><mrow><mstyle><mo>max</mo><mo>(</mo><mn>0</mn><mo>,</mo><mn>1</mn><mo>−</mo><mi>y</mi><mspace></mspace><mi>f</mi><mo>(</mo><mi>x</mi><mo>)</mo><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \max(0,1-y\,f(x))}</annotation></semantics></math><img src=$ ${\displaystyle L <semantics><mrow><mstyle><mi>L</mi></mstyle></mrow><annotation>{\displaystyle L}</annotation></semantics></math><img src=$

Applications

La fonction de perte de Huber est utilisée dans les statistiques robustes , l'estimation M et la modélisation additive .