tf–idf

où représente le nombre brut d'occurrences d'un terme dans un document, c'est-à-dire le nombre de fois où ce terme . Le dénominateur correspond simplement au nombre total de termes dans le document (chaque occurrence du même terme étant comptée séparément). Il existe différentes autres façons de définir la fréquence d'un terme :

• le nombre brut lui-même :
• "fréquences" booléennes : si et 0 sinon ;
• Fréquence à échelle logarithmique : ;
• fréquence augmentée, afin d'éviter un biais en faveur des documents plus longs, par exemple la fréquence brute divisée par la fréquence brute du terme le plus fréquent dans le document :

Fréquence inverse des documents

La fréquence inverse de document mesure la quantité d'information qu'un mot apporte, c'est-à-dire sa fréquence d'apparition dans l'ensemble des documents. Il s'agit de la fraction inverse, à l'échelle logarithmique, des documents contenant le mot (obtenue en divisant le nombre total de documents par le nombre de documents contenant le terme, puis en prenant le logarithme du quotient).

avec

Fréquence des termes – fréquence inverse des documents

Ensuite, le tf–idf est calculé comme suit :

Un poids élevé dans le TF-IDF est attribué lorsque le terme a une fréquence élevée dans le document considéré et une faible fréquence d'apparition de ce terme dans l'ensemble des documents ; les poids tendent donc à éliminer les termes fréquents. Le rapport dans la fonction logarithmique de l'IDF étant toujours supérieur ou égal à 1, la valeur de l'IDF (et du TF-IDF) est supérieure ou égale à 0. Plus un terme apparaît dans de documents, plus le rapport dans le logarithme se rapproche de 1, ce qui rapproche l'IDF et le TF-IDF de 0.

Justification de l'IDF

L'IDF a été introduit comme « spécificité des termes » par Karen Spärck Jones dans un article de 1972. Bien qu'il ait bien fonctionné comme heuristique , ses fondements théoriques ont été problématiques pendant au moins trois décennies par la suite, de nombreux chercheurs essayant de lui trouver des justifications informationnelles .

L'explication de Spärck Jones elle-même ne proposait pas beaucoup de théorie, hormis un lien avec la loi de Zipf . Des tentatives ont été faites pour donner à l'idf une base probabiliste , en estimant la probabilité qu'un document donné comme la fréquence relative du document,

afin que nous puissions définir idf comme

Plus précisément, la fréquence inverse des documents est le logarithme de la fréquence relative inverse des documents.

Cette interprétation probabiliste prend alors la même forme que celle de l'auto-information . Cependant, l'application de telles notions informationnelles aux problèmes de recherche d'information pose problème lorsqu'il s'agit de définir les espaces d'événements appropriés pour les distributions de probabilité requises : il faut tenir compte non seulement des documents, mais aussi des requêtes et des termes.

La fréquence des termes et la fréquence inverse des documents peuvent toutes deux être formulées en termes de théorie de l'information ; cela permet de comprendre pourquoi leur produit a une signification en termes de contenu informationnel conjoint d'un document. Une hypothèse caractéristique concernant la distribution

Cette hypothèse et ses implications, selon Aizawa : « représentent l’heuristique que tf–idf utilise ».

L' entropie conditionnelle d'un document « choisi au hasard » dans le corpus

En termes de notation,

La dernière étape consiste à étendre

Cette expression montre que la somme des TF-IDF de tous les termes et documents possibles permet de retrouver l'information mutuelle entre les documents et les termes, en tenant compte de toutes les spécificités de leur distribution conjointe. Chaque TF-IDF contient donc le « bit d'information » associé à une paire terme x document.

Le TF-IDF est étroitement lié à la p -valeur transformée logarithmiquement négative d'une formulation unilatérale du test exact de Fisher lorsque les documents du corpus sous-jacent satisfont certaines hypothèses idéales. Plus récemment, il a été démontré que des variantes du TF-IDF apparaissent comme composantes de la statistique de test d'un test du rapport de vraisemblance pénalisé pour la variabilité lexicale, basé sur un modèle statistique de langage bêta-binomial. Dans ce cadre, l' hypothèse nulle modélise les occurrences de termes à l'aide d'une distribution binomiale , tandis que l' hypothèse alternative modélise la variabilité lexicale à l'aide d'une distribution bêta-binomiale avec un terme de pénalité gamma appliqué au paramètre de précision bêta-binomial. La statistique de test résultante contient les variantes TF-IDF : fréquence binaire des termes – fréquence inverse des documents (BTF-IDF) et fréquence des termes – fréquence inverse des collections (TF-ICF), établissant ainsi un lien direct entre les schémas de pondération des termes de la famille TF-IDF et les tests d'hypothèses statistiques .

Supposons que nous disposions de tableaux de comptage des termes d'un corpus composé de seulement deux documents :

"Ceci est un exemple A."

«Voici un autre exemple, un autre exemple, un exemple.»

Le calcul du tf–idf pour le terme « ceci » est effectué comme suit :

Sous sa forme brute, tf représente simplement la fréquence du mot « this » dans chaque document. Dans chaque document, le mot « this » apparaît une fois ; mais comme le document 2 contient plus de mots, sa fréquence relative est plus faible.

L'IDF est constant pour chaque corpus et représente la proportion de documents contenant le mot « this ». Dans ce cas précis, notre corpus ne comporte que deux documents, et tous contiennent le mot « this ».

Le tf-idf est donc nul pour le mot « this », ce qui implique que ce mot n'est pas très informatif puisqu'il apparaît dans tous les documents.

Le mot « exemple » est plus intéressant : il apparaît trois fois, mais seulement dans le deuxième document :

Enfin,

(en utilisant le logarithme en base 10 ).

Le principe du TF-IDF s'applique également à d'autres entités que les termes. En 1998, le concept d'IDF a été appliqué aux citations . Les auteurs ont avancé que « si une citation très rare est partagée par deux documents, elle devrait avoir un poids plus important qu'une citation présente dans un grand nombre de documents ». De plus, le TF-IDF a été appliqué aux « mots visuels » afin de réaliser une correspondance d'objets dans des vidéos , ainsi qu'à des phrases entières . Cependant, le concept de TF-IDF ne s'est pas avéré plus efficace dans tous les cas qu'un système TF simple (sans IDF). Lorsqu'il a été appliqué aux citations, les chercheurs n'ont constaté aucune amélioration par rapport à une simple pondération par le nombre de citations, sans composante IDF

Plusieurs méthodes de pondération des termes dérivent du TF-IDF. L'une d'elles est le TF-PDF (fréquence du terme * fréquence proportionnelle du document) . Introduit en 2001 pour identifier les sujets émergents dans les médias, le TF-PDF mesure la différence de fréquence d'apparition d'un terme dans différents domaines. Une autre méthode dérivée est le TF-IDuF. Dans ce dernier , l'IDF n'est pas calculé à partir du corpus documentaire à rechercher ou à recommander, mais à partir des collections documentaires personnelles des utilisateurs. Les auteurs indiquent que le TF-IDuF est aussi efficace que le TF-IDF et peut également être appliqué lorsque, par exemple, un système de modélisation des utilisateurs n'a pas accès à un corpus documentaire global. La méthode dérivée DELTA TF-IDF exploite la différence d'importance d'un terme entre deux classes spécifiques, comme le sentiment positif et le sentiment négatif. Par exemple, il peut attribuer une note élevée à un mot comme « excellent » dans les avis positifs et une note faible à ce même mot dans les avis négatifs. Cela permet d'identifier les mots qui reflètent fidèlement le sentiment exprimé dans un document, ce qui peut améliorer la précision des tâches de classification de texte.