apprentissage automatique

Les algorithmes d'apprentissage supervisé construisent un modèle mathématique d'un ensemble de données contenant à la fois les entrées et les sorties souhaitées. Ces données, appelées données d'entraînement , sont constituées d'un ensemble d'exemples d'entraînement. Chaque exemple d'entraînement possède une ou plusieurs entrées et la sortie souhaitée, également appelée signal de supervision. Dans le modèle mathématique, chaque exemple d'entraînement est représenté par un tableau ou un vecteur, parfois appelé vecteur de caractéristiques , et les données d'entraînement sont représentées par une matrice . Par l'optimisation itérative d'une fonction objectif , les algorithmes d'apprentissage supervisé apprennent une fonction permettant de prédire la sortie associée à de nouvelles entrées. Une fonction optimale permet à l'algorithme de déterminer correctement la sortie pour des entrées qui ne faisaient pas partie des données d'entraînement. Un algorithme qui améliore la précision de ses sorties ou de ses prédictions au fil du temps est dit avoir appris à effectuer cette tâche.

Les algorithmes d'apprentissage supervisé comprennent notamment l'apprentissage actif , la classification et la régression . Les algorithmes de classification sont utilisés lorsque les sorties sont limitées à un ensemble restreint de valeurs, tandis que les algorithmes de régression sont utilisés lorsque les sorties peuvent prendre n'importe quelle valeur numérique dans un intervalle donné. Par exemple, dans un algorithme de classification qui filtre les courriels, l'entrée est un courriel entrant et la sortie est le dossier dans lequel le classer. En revanche, la régression est utilisée pour des tâches telles que la prédiction de la taille d'une personne en fonction de facteurs comme l'âge et la génétique, ou la prévision des températures futures à partir de données historiques.

L'apprentissage par similarité est un domaine de l'apprentissage automatique supervisé étroitement lié à la régression et à la classification. Son objectif est d'apprendre à partir d'exemples grâce à une fonction de similarité qui mesure le degré de ressemblance ou de relation entre deux objets. Il trouve des applications dans le classement , les systèmes de recommandation , le suivi d'identité visuelle, la vérification faciale et la vérification vocale.

L'analyse de clusters consiste à répartir un ensemble d'observations en sous-ensembles (appelés clusters ) de sorte que les observations appartenant à un même cluster soient similaires selon un ou plusieurs critères prédéfinis, tandis que les observations provenant de clusters différents sont dissemblables. Les différentes techniques de clustering reposent sur différentes hypothèses concernant la structure des données, souvent définie par une métrique de similarité et évaluée, par exemple, par la compacité interne (la similarité entre les membres d'un même cluster) et la séparation (la différence entre les clusters). D'autres méthodes sont basées sur l'estimation de la densité et de la connectivité du graphe .

Un type particulier d'apprentissage non supervisé appelé apprentissage auto-supervisé consiste à entraîner un modèle en générant le signal de supervision à partir des données elles-mêmes.

Dans l'apprentissage faiblement supervisé , les étiquettes d'entraînement sont bruitées, limitées ou imprécises ; cependant, ces étiquettes sont souvent moins coûteuses à obtenir, ce qui donne des ensembles d'entraînement effectifs plus grands.

L'apprentissage par renforcement est un domaine de l'apprentissage automatique qui étudie comment les agents logiciels doivent agir dans un environnement pour maximiser une certaine notion de récompense cumulative. De par sa généralité, ce domaine est étudié dans de nombreuses autres disciplines, telles que la théorie des jeux , la théorie du contrôle , la recherche opérationnelle , la théorie de l'information , l'optimisation par simulation , les systèmes multi-agents , l'intelligence collective , les statistiques et les algorithmes génétiques . En apprentissage par renforcement, l'environnement est généralement représenté par un processus de décision markovien (MDP). De nombreux algorithmes d'apprentissage par renforcement utilisent des techniques de programmation dynamique . Ces algorithmes ne supposent pas la connaissance d'un modèle mathématique exact du MDP et sont utilisés lorsque les modèles exacts sont irréalisables. Ils sont utilisés dans les véhicules autonomes ou pour apprendre à jouer à un jeu contre un adversaire humain.

Les réseaux de neurones artificiels (RNA), ou systèmes connexionnistes , sont des systèmes informatiques vaguement inspirés des réseaux neuronaux biologiques qui constituent le cerveau des animaux . Ces systèmes « apprennent » à réaliser des tâches en considérant des exemples, généralement sans être programmés avec des règles spécifiques à la tâche.

Un réseau de neurones artificiels (RNA) est un modèle basé sur un ensemble d'unités ou nœuds interconnectés appelés « neurones artificiels », qui modélisent de manière simplifiée les neurones du cerveau biologique. Chaque connexion, à l'instar des synapses dans le cerveau biologique, peut transmettre une information, un « signal », d'un neurone artificiel à un autre. Un neurone artificiel qui reçoit un signal peut le traiter, puis le transmettre à d'autres neurones artificiels qui lui sont connectés. Dans les implémentations courantes de RNA, le signal à une connexion entre neurones artificiels est un nombre réel , et la sortie de chaque neurone artificiel est calculée par une fonction non linéaire de la somme de ses entrées. Les connexions entre neurones artificiels sont appelées « arêtes ». Les neurones artificiels et les arêtes possèdent généralement un poids qui s'ajuste au cours de l'apprentissage. Ce poids augmente ou diminue l'intensité du signal à une connexion. Les neurones artificiels peuvent avoir un seuil : le signal n'est transmis que si le signal agrégé dépasse ce seuil. Généralement, les neurones artificiels sont regroupés en couches. Différentes couches peuvent effectuer différents types de transformations sur leurs entrées. Les signaux circulent de la première couche (la couche d'entrée) à la dernière couche (la couche de sortie), éventuellement après avoir traversé les couches plusieurs fois.

L'objectif initial des réseaux de neurones artificiels était de résoudre des problèmes à l'instar du cerveau humain . Cependant, au fil du temps, l'attention s'est portée sur l'exécution de tâches spécifiques, entraînant des écarts par rapport au fonctionnement biologique . Les réseaux de neurones artificiels ont été utilisés dans de nombreux domaines, tels que la vision par ordinateur , la reconnaissance vocale , la traduction automatique , le filtrage des réseaux sociaux , les jeux de société et vidéo, ainsi que le diagnostic médical .

L’apprentissage profond est constitué de plusieurs couches cachées au sein d’un réseau neuronal artificiel. Cette approche tente de modéliser la façon dont le cerveau humain traite la lumière et le son pour produire la vision et l’ouïe. La vision par ordinateur et la reconnaissance vocale comptent parmi les applications réussies de l’apprentissage profond.

L'apprentissage par arbres de décision utilise un arbre de décision comme modèle prédictif pour passer des observations relatives à un élément (représentées par les branches) aux conclusions concernant sa valeur cible (représentée par les feuilles). Il s'agit d'une des approches de modélisation prédictive utilisées en statistique, en exploration de données et en apprentissage automatique. Les modèles arborescents où la variable cible peut prendre un ensemble discret de valeurs sont appelés arbres de classification ; dans ces structures arborescentes, les feuilles représentent les étiquettes de classe et les branches représentent les conjonctions de caractéristiques qui conduisent à ces étiquettes. Les arbres de décision où la variable cible peut prendre des valeurs continues (généralement des nombres réels ) sont appelés arbres de régression. En analyse décisionnelle, un arbre de décision peut être utilisé pour représenter visuellement et explicitement les décisions et le processus décisionnel . En exploration de données, un arbre de décision décrit les données, mais l'arbre de classification résultant peut servir d'entrée pour la prise de décision.

L'analyse de régression englobe une grande variété de méthodes statistiques permettant d'estimer la relation entre les variables d'entrée et leurs caractéristiques associées. Sa forme la plus courante est la régression linéaire , où une droite est tracée pour ajuster au mieux les données selon un critère mathématique tel que la méthode des moindres carrés ordinaires . Cette dernière est souvent étendue par des méthodes de régularisation afin d'atténuer le surapprentissage et les biais, comme dans la régression ridge . Pour les problèmes non linéaires, les modèles de référence incluent la régression polynomiale (par exemple, utilisée pour l'ajustement de courbes de tendance dans Microsoft Excel ), la régression logistique (souvent utilisée en classification statistique ) ou encore la régression à noyau , qui introduit la non-linéarité en exploitant la technique du noyau pour projeter implicitement les variables d'entrée dans un espace de dimension supérieure.

La régression linéaire multivariée étend le concept de régression linéaire pour traiter simultanément plusieurs variables dépendantes. Cette approche estime les relations entre un ensemble de variables d'entrée et plusieurs variables de sortie en ajustant un modèle linéaire multidimensionnel . Elle est particulièrement utile lorsque les sorties sont interdépendantes ou partagent des schémas sous-jacents, comme la prédiction de plusieurs indicateurs économiques ou la reconstruction d'images , qui sont par nature multidimensionnelles.

Un réseau bayésien, également appelé réseau de croyances ou modèle graphique acyclique orienté, est un modèle graphique probabiliste qui représente un ensemble de variables aléatoires et leur indépendance conditionnelle par un graphe acyclique orienté (DAG). Par exemple, un réseau bayésien peut représenter les relations probabilistes entre maladies et symptômes. Connaissant des symptômes, le réseau permet de calculer les probabilités de présence de différentes maladies. Des algorithmes efficaces existent pour réaliser l'inférence et l'apprentissage. Les réseaux bayésiens qui modélisent des séquences de variables, comme des signaux vocaux ou des séquences protéiques , sont appelés réseaux bayésiens dynamiques . Les généralisations des réseaux bayésiens capables de représenter et de résoudre des problèmes de décision en situation d'incertitude sont appelées diagrammes d'influence .

Un processus gaussien est un processus stochastique dans lequel chaque ensemble fini de variables aléatoires du processus suit une distribution normale multivariée , et il repose sur une fonction de covariance prédéfinie , ou noyau, qui modélise la façon dont les paires de points sont liées entre elles en fonction de leur emplacement.

Étant donné un ensemble de points observés, ou d'exemples d'entrée-sortie, la distribution de la sortie (non observée) d'un nouveau point en fonction de ses données d'entrée peut être calculée directement en examinant les points observés et les covariances entre ces points et le nouveau point non observé.

Les processus gaussiens sont des modèles de substitution populaires dans l'optimisation bayésienne utilisés pour effectuer l'optimisation des hyperparamètres .