Fonctionnalité (apprentissage automatique)

En apprentissage automatique et en reconnaissance de formes , une caractéristique est une propriété ou une caractéristique individuelle mesurable d'un phénomène. Le choix de caractéristiques informatives, discriminantes et indépendantes est crucial pour produire des algorithmes efficaces pour les tâches de reconnaissance de formes , de classification et de régression . Les caractéristiques sont généralement numériques, mais d'autres types tels que les chaînes et les graphiques sont utilisés dans la reconnaissance de formes syntaxiques , après une étape de prétraitement telle que l'encodage one-hot . Le concept de « caractéristiques » est lié à celui de variables explicatives utilisées dans les techniques statistiques telles que la régression linéaire .

En ingénierie des fonctionnalités, deux types de fonctionnalités sont couramment utilisés : numériques et catégorielles.

Les caractéristiques numériques sont des valeurs continues qui peuvent être mesurées sur une balance. L'âge, la taille, le poids et le revenu sont des exemples de caractéristiques numériques. Les caractéristiques numériques peuvent être utilisées directement dans les algorithmes d'apprentissage automatique.

Les caractéristiques catégorielles sont des valeurs discrètes qui peuvent être regroupées en catégories. Le sexe, la couleur et le code postal sont des exemples de caractéristiques catégorielles. Les caractéristiques catégorielles doivent généralement être converties en caractéristiques numériques avant de pouvoir être utilisées dans les algorithmes d'apprentissage automatique. Cela peut être réalisé à l'aide de diverses techniques, telles que le codage one-hot, le codage d'étiquettes et le codage ordinal.

Le type de fonctionnalité utilisé dans l'ingénierie des fonctionnalités dépend de l'algorithme d'apprentissage automatique spécifique utilisé. Certains algorithmes d'apprentissage automatique, tels que les arbres de décision, peuvent gérer à la fois les fonctionnalités numériques et catégorielles. D'autres algorithmes d'apprentissage automatique, tels que la régression linéaire, ne peuvent gérer que les fonctionnalités numériques.

Une caractéristique numérique peut être décrite de manière pratique par un vecteur de caractéristiques. Une façon d'obtenir une classification binaire consiste à utiliser une fonction de prédiction linéaire (liée au perceptron ) avec un vecteur de caractéristiques en entrée. La méthode consiste à calculer le produit scalaire entre le vecteur de caractéristiques et un vecteur de poids, en qualifiant les observations dont le résultat dépasse un seuil.

Les algorithmes de classification à partir d'un vecteur de caractéristiques incluent la classification des voisins les plus proches , les réseaux neuronaux et les techniques statistiques telles que les approches bayésiennes .

Dans la reconnaissance de caractères , les fonctionnalités peuvent inclure des histogrammes comptant le nombre de pixels noirs dans les directions horizontale et verticale, le nombre de trous internes, la détection des traits et bien d'autres.

En reconnaissance vocale , les fonctionnalités de reconnaissance des phonèmes peuvent inclure les rapports de bruit, la longueur des sons, la puissance relative, les correspondances de filtres et bien d'autres.

Dans les algorithmes de détection de spam , les caractéristiques peuvent inclure la présence ou l'absence de certains en-têtes de courrier électronique, la structure du courrier électronique, la langue, la fréquence de termes spécifiques et l'exactitude grammaticale du texte.

En vision par ordinateur , il existe un grand nombre de fonctionnalités possibles , telles que des bords et des objets.

En reconnaissance de formes et en apprentissage automatique , un vecteur de caractéristiques est un vecteur n-dimensionnel de caractéristiques numériques qui représentent un objet. De nombreux algorithmes d'apprentissage automatique nécessitent une représentation numérique des objets, car de telles représentations facilitent le traitement et l'analyse statistique. Lors de la représentation d'images, les valeurs des caractéristiques peuvent correspondre aux pixels d'une image, tandis que lors de la représentation de textes, les caractéristiques peuvent être les fréquences d'occurrence de termes textuels. Les vecteurs de caractéristiques sont équivalents aux vecteurs de variables explicatives utilisés dans les procédures statistiques telles que la régression linéaire . Les vecteurs de caractéristiques sont souvent combinés avec des pondérations à l'aide d'un produit scalaire afin de construire une fonction de prédiction linéaire qui est utilisée pour déterminer un score pour faire une prédiction.

L' espace vectoriel associé à ces vecteurs est souvent appelé espace des caractéristiques . Afin de réduire la dimensionnalité de l'espace des caractéristiques, un certain nombre de techniques de réduction de la dimensionnalité peuvent être utilisées.

Des caractéristiques de niveau supérieur peuvent être obtenues à partir de caractéristiques déjà disponibles et ajoutées au vecteur de caractéristiques ; par exemple, pour l'étude des maladies, la caractéristique « Âge » est utile et est définie comme Âge = « Année de décès » moins « Année de naissance » . Ce processus est appelé construction de caractéristiques . La construction de caractéristiques est l'application d'un ensemble d'opérateurs constructifs à un ensemble de caractéristiques existantes, ce qui entraîne la construction de nouvelles caractéristiques. Des exemples de tels opérateurs constructifs incluent la vérification des conditions d'égalité {=, ≠}, les opérateurs arithmétiques {+,−,×, /}, les opérateurs de tableau {max(S), min(S), average(S)} ainsi que d'autres opérateurs plus sophistiqués, par exemple count(S,C) qui compte le nombre de caractéristiques dans le vecteur de caractéristiques S satisfaisant une certaine condition C ou, par exemple, les distances à d'autres classes de reconnaissance généralisées par un dispositif d'acceptation. La construction de caractéristiques a longtemps été considérée comme un outil puissant pour augmenter à la fois la précision et la compréhension de la structure, en particulier dans les problèmes de grande dimension. Les applications incluent les études sur la maladie et la reconnaissance des émotions à partir de la parole.

L'ensemble initial de caractéristiques brutes peut être redondant et suffisamment grand pour que l'estimation et l'optimisation soient difficiles ou inefficaces. Par conséquent, une étape préliminaire dans de nombreuses applications d' apprentissage automatique et de reconnaissance de formes consiste à sélectionner un sous-ensemble de caractéristiques ou à construire un nouvel ensemble réduit de caractéristiques pour faciliter l'apprentissage et améliorer la généralisation et l'interprétabilité.

L'extraction ou la sélection de caractéristiques est une combinaison d'art et de science. Le développement de systèmes permettant de le faire est connu sous le nom d'ingénierie des caractéristiques . Cela nécessite l'expérimentation de multiples possibilités et la combinaison de techniques automatisées avec l'intuition et les connaissances de l' expert du domaine . L'automatisation de ce processus est l'apprentissage des caractéristiques , où une machine non seulement utilise les caractéristiques pour l'apprentissage, mais apprend également les caractéristiques elle-même.