Worldlex Wiki Étant donné que l'apprentissage par transfert utilise un entraînement avec plusieurs fonctions objectives, il est lié à l'apprentissage automatique sensible aux coûts et à l'optimisation multi-objectif .
des réseaux de neurones . Cet article présente un modèle mathématique et géométrique du sujet. En 1981, un rapport a examiné l'application de l'apprentissage par transfert à un ensemble de données d'images représentant les lettres de terminaux informatiques, démontrant expérimentalement l'apprentissage par transfert positif et négatif.En 1992, Lorien Pratt a formulé l'algorithme de transfert basé sur la discriminabilité (DBT).
En 1998, le domaine avait progressé pour inclure l'apprentissage multitâche , ainsi que des fondements théoriques plus formels . Parmi les publications influentes sur l'apprentissage par transfert, on peut citer l'ouvrage *Learning to Learn* (1998) , une enquête de 2009 et une enquête de 2019
Ng a déclaré dans son tutoriel NIPS 2016 que TL deviendrait le prochain moteur du succès commercial de l'apprentissage automatique après l'apprentissage supervisé .
Dans l'article de 2020 intitulé « Repenser la préformation et l'autoformation », Zoph et al. ont indiqué que la préformation peut nuire à la précision et préconisent plutôt l'autoformation.
Définition
La définition de l'apprentissage par transfert est donnée en termes de domaines et de tâches. Un domaine est composé d'un espace de caractéristiques et d'une distribution de probabilité marginale , où . Étant donné un domaine spécifique , une tâche comprend deux composantes : un espace d'étiquettes et une fonction prédictive objective . Cette fonction sert à prédire l'étiquette correspondante d'une nouvelle instance . Cette tâche, notée , est apprise à partir des données d'entraînement constituées de paires , où et .
Étant donné un domaine source et une tâche d'apprentissage , un domaine cible et une tâche d'apprentissage , où , ou , l'apprentissage par transfert vise à aider à améliorer l'apprentissage de la fonction prédictive cible en utilisant les connaissances de et .
Applications
Des algorithmes d'apprentissage par transfert sont disponibles dans les réseaux logiques de Markov et les réseaux bayésiens . L'apprentissage par transfert a été appliqué à la découverte de sous-types de cancer, à l'utilisation des bâtiments, aux jeux en général , à la classification de textes , à la reconnaissance de chiffres, à l'imagerie médicale et au filtrage des spams .
En 2020, il a été découvert que, du fait de leurs similitudes physiques, l'apprentissage par transfert est possible entre les signaux électromyographiques (EMG) provenant des muscles et la classification des ondes cérébrales électroencéphalographiques (EEG), du domaine de la reconnaissance gestuelle à celui de la reconnaissance des états mentaux. Il a été constaté que cette relation fonctionne dans les deux sens, démontrant que les ondes cérébrales EEG peuvent également être utilisées pour classifier les signaux EMG. Les expériences ont montré que la précision des réseaux de neurones et des réseaux de neurones convolutifs était améliorée grâce à l'apprentissage par transfert, aussi bien avant tout apprentissage (comparativement à une distribution aléatoire standard des poids) qu'à la fin du processus d'apprentissage (asymptote). Autrement dit, les résultats sont améliorés par l'exposition à un autre domaine. De plus, l'utilisateur final d'un modèle pré-entraîné peut modifier la structure des couches entièrement connectées pour améliorer ses performances.