Logit

En statistique , la fonction logit ( / ˈ l oʊ dʒ ɪ t / LOH -jit ) est la fonction quantile associée à la distribution logistique standard . Elle a de nombreuses utilisations dans l'analyse de données et l'apprentissage automatique , en particulier dans les transformations de données .

Mathématiquement, le logit est l' inverse de la fonction logistique standard , donc le logit est défini comme

De ce fait, le logit est également appelé log-odds car il est égal au logarithme des probabilités où p est une probabilité. Ainsi, le logit est un type de fonction qui mappe les valeurs de probabilité de à des nombres réels dans , apparenté à la fonction probit .

Si p est une probabilité , alors p /(1 − p ) est la cote correspondante ; le logit de la probabilité est le logarithme de la cote, soit :

La base de la fonction logarithme utilisée importe peu dans le présent article, pourvu qu'elle soit supérieure à 1, mais le logarithme népérien de base e est celui le plus souvent utilisé. Le choix de la base correspond au choix de l'unité logarithmique de la valeur : la base 2 correspond à un shannon , la base e à un nat , et la base 10 à un hartley ; ces unités sont particulièrement utilisées dans les interprétations de la théorie de l'information. Pour chaque choix de base, la fonction logit prend des valeurs comprises entre moins et plus l'infini.

La fonction « logistique » de tout nombre est donnée par le logit inverse :

La différence entre les logit de deux probabilités est le logarithme du rapport de cotes ( R ), fournissant ainsi un raccourci pour écrire la combinaison correcte de rapports de cotes uniquement en additionnant et en soustrayant :

Plusieurs approches ont été explorées pour adapter les méthodes de régression linéaire à un domaine où la sortie est une valeur de probabilité , au lieu d'un nombre réel . Dans de nombreux cas, ces efforts se sont concentrés sur la modélisation de ce problème en mappant la plage sur puis en exécutant la régression linéaire sur ces valeurs transformées.

En 1934, Chester Ittner Bliss a utilisé la fonction de distribution normale cumulative pour réaliser cette application et a appelé son modèle probit , une abréviation de « probabilité unitaire » . Cette méthode est cependant plus coûteuse en termes de calcul.

En 1944, Joseph Berkson a utilisé le logarithme des cotes et a appelé cette fonction logit , une abréviation de « unité logistique » , suivant l'analogie avec le probit :

« J'utilise ce terme [logit] pour suivre Bliss, qui a appelé la fonction analogue qui est linéaire sur ⁠ ⁠ pour la courbe normale 'probit'. »

—  Joseph Berkson (1944)

Le logarithme des cotes a été largement utilisé par Charles Sanders Peirce (fin du 19e siècle). GA Barnard a inventé en 1949 le terme couramment utilisé log-odds ; le log-odds d'un événement est le logit de la probabilité de l'événement. Barnard a également inventé le terme lods comme une forme abstraite de « log-odds », mais a suggéré que « dans la pratique, le terme « cotes » devrait normalement être utilisé, car il est plus familier dans la vie de tous les jours ».

• Le logit en régression logistique est un cas particulier de fonction de lien dans un modèle linéaire généralisé : c'est la fonction de lien canonique pour la distribution de Bernoulli .
• De manière plus abstraite, le logit est le paramètre naturel de la distribution binomiale ; voir Famille exponentielle § Distribution binomiale .
• La fonction logit est l'inverse de la dérivée de la fonction d'entropie binaire .
• Le logit est également au cœur du modèle probabiliste de Rasch pour la mesure , qui a des applications dans l’évaluation psychologique et éducative, entre autres domaines.
• La fonction logit inverse (c'est-à-dire la fonction logistique ) est également parfois appelée fonction expit .
• En épidémiologie des maladies des plantes, les modèles logistiques, de Gompertz et monomoléculaires sont collectivement connus sous le nom de modèles de la famille Richards.
• La fonction log-odds des probabilités est souvent utilisée dans les algorithmes d'estimation d'état en raison de ses avantages numériques dans le cas de faibles probabilités. Au lieu de multiplier de très petits nombres à virgule flottante, les probabilités log-odds peuvent simplement être additionnées pour calculer la probabilité conjointe (log-odds).

La fonction probit et le modèle probit sont étroitement liés à la fonction logit (et au modèle logit ) . Le logit et le probit sont tous deux des fonctions sigmoïdes avec un domaine compris entre 0 et 1, ce qui en fait tous deux des fonctions quantiles , c'est-à-dire des inverses de la fonction de distribution cumulative (CDF) d'une distribution de probabilité . En fait, le logit est la fonction quantile de la distribution logistique , tandis que le probit est la fonction quantile de la distribution normale . La fonction probit est notée , où est la CDF de la distribution normale standard, comme mentionné ci-dessus :

Comme le montre le graphique de droite, les fonctions logit et probit sont extrêmement similaires lorsque la fonction probit est mise à l'échelle, de sorte que sa pente à y = 0 correspond à la pente du logit . Par conséquent, les modèles probit sont parfois utilisés à la place des modèles logit car pour certaines applications (par exemple, dans la théorie de la réponse aux items ), la mise en œuvre est plus simple.