Apprentissage d'ensemble

En statistique et en apprentissage automatique , les méthodes d'ensemble utilisent plusieurs algorithmes d'apprentissage pour obtenir de meilleures performances prédictives que celles qui pourraient être obtenues à partir de l'un quelconque des algorithmes d'apprentissage constitutifs seuls. Contrairement à un ensemble statistique en mécanique statistique, qui est généralement infini, un ensemble d'apprentissage automatique se compose uniquement d'un ensemble fini concret de modèles alternatifs, mais permet généralement l'existence d'une structure beaucoup plus flexible parmi ces alternatives.

Les algorithmes d'apprentissage supervisé parcourent un espace d'hypothèses pour trouver une hypothèse appropriée qui permettra de faire de bonnes prédictions pour un problème particulier. Même si cet espace contient des hypothèses très bien adaptées à un problème particulier, il peut être très difficile d'en trouver une bonne. Les ensembles combinent plusieurs hypothèses pour en former une qui devrait être théoriquement meilleure.

L'apprentissage d'ensemble entraîne deux ou plusieurs algorithmes d'apprentissage automatique sur une tâche de classification ou de régression spécifique . Les algorithmes du modèle d'ensemble sont généralement appelés « modèles de base », « apprenants de base » ou « apprenants faibles » dans la littérature. Ces modèles de base peuvent être construits à l'aide d'un seul algorithme de modélisation ou de plusieurs algorithmes différents. L'idée est d'entraîner un ensemble diversifié de modèles faibles sur la même tâche de modélisation, de sorte que les sorties de chaque apprenant faible aient une faible capacité prédictive (c'est-à-dire un biais élevé ) et que parmi tous les apprenants faibles, les valeurs de résultat et d'erreur présentent une variance élevée . Fondamentalement, un modèle d'apprentissage d'ensemble entraîne au moins deux modèles à biais élevé (faibles) et à variance élevée (divers) à combiner en un modèle plus performant. L'ensemble des modèles faibles, qui ne produiraient pas de résultats prédictifs satisfaisants individuellement, est combiné ou moyenné pour produire un modèle unique, performant, précis et à faible variance adapté à la tâche selon les besoins.

L'apprentissage d'ensemble fait généralement référence aux techniques de bagging ( agrégation bootstrap ), de boosting ou d'empilement/mélange pour induire une variance élevée parmi les modèles de base. Le bagging crée de la diversité en générant des échantillons aléatoires à partir des observations d'apprentissage et en ajustant le même modèle à chaque échantillon différent - également connu sous le nom d'ensembles parallèles homogènes . Le boosting suit un processus itératif en entraînant séquentiellement chaque modèle de base sur les erreurs pondérées du modèle de base précédent, produisant un modèle additif pour réduire les erreurs du modèle final - également connu sous le nom d' apprentissage d'ensemble séquentiel . L'empilement ou le mélange consiste en différents modèles de base, chacun entraîné indépendamment (c'est-à-dire diversifié/à variance élevée) pour être combiné dans le modèle d'ensemble - produisant un ensemble parallèle hétérogène . Les applications courantes de l'apprentissage d'ensemble comprennent les forêts aléatoires (une extension du bagging), les modèles Boosted Tree et les modèles Gradient Boosted Tree. Les modèles dans les applications d'empilement sont généralement plus spécifiques à la tâche - comme la combinaison de techniques de clustering avec d'autres techniques paramétriques et/ou non paramétriques.

Le terme plus large de systèmes de classification multiples couvre également l'hybridation d'hypothèses qui ne sont pas induites par le même apprenant de base.

L'évaluation de la prédiction d'un ensemble nécessite généralement plus de calculs que l'évaluation de la prédiction d'un modèle unique. Dans un sens, l'apprentissage d'ensemble peut être considéré comme un moyen de compenser les algorithmes d'apprentissage médiocres en effectuant beaucoup de calculs supplémentaires. D'un autre côté, l'alternative consiste à faire beaucoup plus d'apprentissage avec un modèle non-ensemble. Un ensemble peut être plus efficace pour améliorer la précision globale pour la même augmentation des ressources de calcul, de stockage ou de communication en utilisant cette augmentation sur deux méthodes ou plus, que ce qui aurait été amélioré en augmentant l'utilisation des ressources pour une seule méthode. Les algorithmes rapides tels que les arbres de décision sont couramment utilisés dans les méthodes d'ensemble (par exemple, les forêts aléatoires), bien que les algorithmes plus lents puissent également bénéficier des techniques d'ensemble.

Par analogie, les techniques d’ensemble ont également été utilisées dans des scénarios d’apprentissage non supervisé , par exemple dans le clustering de consensus ou dans la détection d’anomalies .

Empiriquement, les ensembles ont tendance à produire de meilleurs résultats lorsqu'il existe une diversité significative entre les modèles. De nombreuses méthodes d'ensemble cherchent donc à promouvoir la diversité entre les modèles qu'elles combinent. Bien que peut-être non intuitifs, des algorithmes plus aléatoires (comme les arbres de décision aléatoires) peuvent être utilisés pour produire un ensemble plus fort que des algorithmes très délibérés (comme les arbres de décision réduisant l'entropie). Cependant, l'utilisation d'une variété d'algorithmes d'apprentissage puissants s'est avérée plus efficace que l'utilisation de techniques qui tentent de simplifier les modèles afin de promouvoir la diversité. Il est possible d'accroître la diversité dans la phase d'apprentissage du modèle en utilisant la corrélation pour les tâches de régression ou en utilisant des mesures d'information telles que l'entropie croisée pour les tâches de classification.

Théoriquement, on peut justifier le concept de diversité car la limite inférieure du taux d'erreur d'un système d'ensemble peut être décomposée en précision, diversité et l'autre terme.

L'apprentissage d'ensemble, qui comprend à la fois les tâches de régression et de classification, peut être expliqué à l'aide d'un cadre géométrique. Dans ce cadre, la sortie de chaque classificateur ou régresseur individuel pour l'ensemble des données peut être considérée comme un point dans un espace multidimensionnel. De plus, le résultat cible est également représenté comme un point dans cet espace, appelé « point idéal ».

La distance euclidienne est utilisée comme métrique pour mesurer à la fois la performance d'un classificateur ou d'un régresseur unique (la distance entre son point et le point idéal) et la dissemblance entre deux classificateurs ou régresseurs (la distance entre leurs points respectifs). Cette perspective transforme l'apprentissage d'ensemble en un problème déterministe.

Par exemple, dans ce cadre géométrique, il peut être prouvé que la moyenne des résultats (scores) de tous les classificateurs ou régresseurs de base peut conduire à des résultats égaux ou meilleurs que la moyenne de tous les modèles individuels. Il peut également être prouvé que si le système de pondération optimal est utilisé, une approche de moyenne pondérée peut surpasser n'importe lequel des classificateurs ou régresseurs individuels qui composent l'ensemble ou au moins être aussi performant que le meilleur.

Bien que le nombre de classificateurs de composants d'un ensemble ait un impact important sur la précision de la prédiction, il existe un nombre limité d'études traitant de ce problème. La détermination a priori de la taille de l'ensemble ainsi que du volume et de la vitesse des flux de données volumineuses rend cet aspect encore plus crucial pour les classificateurs d'ensemble en ligne. La plupart des tests statistiques ont été utilisés pour déterminer le nombre approprié de composants. Plus récemment, un cadre théorique a suggéré qu'il existe un nombre idéal de classificateurs de composants pour un ensemble tel qu'avoir plus ou moins que ce nombre de classificateurs détériorerait la précision. C'est ce qu'on appelle « la loi des rendements décroissants dans la construction d'ensembles ». Leur cadre théorique montre que l'utilisation du même nombre de classificateurs de composants indépendants comme étiquettes de classe donne la plus grande précision.

Le classificateur optimal de Bayes est une technique de classification. Il s'agit d'un ensemble de toutes les hypothèses dans l'espace des hypothèses. En moyenne, aucun autre ensemble ne peut le surpasser. Le classificateur Bayes naïf est une version de celui-ci qui suppose que les données sont conditionnellement indépendantes de la classe et rend le calcul plus faisable. Chaque hypothèse reçoit un vote proportionnel à la probabilité que l'ensemble de données d'apprentissage soit échantillonné à partir d'un système si cette hypothèse était vraie. Pour faciliter l'apprentissage des données de taille finie, le vote de chaque hypothèse est également multiplié par la probabilité a priori de cette hypothèse. Le classificateur optimal de Bayes peut être exprimé avec l'équation suivante :

où est la classe prédite, est l'ensemble de toutes les classes possibles, est l'espace des hypothèses, fait référence à une probabilité et sont les données d'apprentissage. En tant qu'ensemble, le classificateur optimal de Bayes représente une hypothèse qui n'est pas nécessairement dans . L'hypothèse représentée par le classificateur optimal de Bayes est cependant l'hypothèse optimale dans l'espace d'ensemble (l'espace de tous les ensembles possibles constitués uniquement d'hypothèses dans ).

Cette formule peut être reformulée en utilisant le théorème de Bayes , qui dit que le postérieur est proportionnel à la vraisemblance multipliée par le prieur :

ainsi,

L'agrégation bootstrap ( bagging ) consiste à entraîner un ensemble sur des ensembles de données bootstrap . Un ensemble bootstrap est créé en sélectionnant dans l'ensemble de données d'entraînement d'origine avec remplacement. Ainsi, un ensemble bootstrap peut contenir un exemple donné zéro, une ou plusieurs fois. Les membres de l'ensemble peuvent également avoir des limites sur les fonctionnalités (par exemple, les nœuds d'un arbre de décision), pour encourager l'exploration de diverses fonctionnalités. La variance des informations locales dans les ensembles bootstrap et les considérations sur les fonctionnalités favorisent la diversité dans l'ensemble et peuvent renforcer l'ensemble. Pour réduire le surajustement, un membre peut être validé à l'aide de l'ensemble out-of-bag (les exemples qui ne sont pas dans son ensemble bootstrap).

L'inférence est effectuée par vote des prédictions des membres de l'ensemble, appelée agrégation . Elle est illustrée ci-dessous avec un ensemble de quatre arbres de décision. L'exemple de requête est classé par chaque arbre. Étant donné que trois des quatre prédisent la classe positive , la classification globale de l'ensemble est positive . Les forêts aléatoires comme celle illustrée sont une application courante du bagging.

Le boosting consiste à entraîner des modèles successifs en mettant l'accent sur les données d'entraînement mal classées par les modèles précédemment appris. Au départ, toutes les données (D1) ont le même poids et sont utilisées pour apprendre un modèle de base M1. Les exemples mal classés par M1 se voient attribuer un poids supérieur à celui des exemples correctement classés. Ces données boostées (D2) sont utilisées pour entraîner un deuxième modèle de base M2, et ainsi de suite. L'inférence se fait par vote.

Dans certains cas, le boosting a donné une meilleure précision que le bagging, mais a tendance à sur-ajuster davantage. L'implémentation la plus courante du boosting est Adaboost , mais certains algorithmes plus récents sont censés obtenir de meilleurs résultats.

La moyenne du modèle bayésien (BMA) fait des prédictions en faisant la moyenne des prédictions des modèles pondérés par leurs probabilités postérieures compte tenu des données. On sait que le BMA donne généralement de meilleures réponses qu'un modèle unique, obtenu, par exemple, via une régression pas à pas , en particulier lorsque des modèles très différents ont des performances presque identiques dans l'ensemble d'entraînement mais peuvent par ailleurs avoir des performances assez différentes.

La question qui se pose avec toute utilisation du théorème de Bayes est la priorité, c'est-à-dire la probabilité (peut-être subjective) que chaque modèle soit le meilleur à utiliser pour un objectif donné. Conceptuellement, BMA peut être utilisé avec n'importe quelle priorité. Les packages R ensembleBMA et BMA utilisent la priorité impliquée par le critère d'information bayésien (BIC), suivant Raftery (1995). R BAS prend en charge l'utilisation des priorités impliquées par le critère d'information d'Akaike (AIC) et d'autres critères sur les modèles alternatifs ainsi que les priorités sur les coefficients.

La différence entre BIC et AIC est la force de la préférence pour la parcimonie. La pénalité de BIC pour la complexité du modèle est de , tandis que celle de AIC est de . La théorie asymptotique des grands échantillons établit que s'il existe un meilleur modèle, alors avec des tailles d'échantillons croissantes, BIC est fortement cohérent, c'est-à-dire qu'il le trouvera presque certainement, tandis que AIC ne le trouvera peut-être pas, car AIC peut continuer à placer une probabilité postérieure excessive sur des modèles qui sont plus compliqués qu'ils ne devraient l'être. D'un autre côté, AIC et AICc sont asymptotiquement « efficaces » (c'est-à-dire avec une erreur de prédiction quadratique moyenne minimale), tandis que BIC ne l'est pas.

Haussler et al. (1994) ont montré que lorsque BMA est utilisé pour la classification, son erreur attendue est au plus deux fois l'erreur attendue du classificateur optimal de Bayes. Burnham et Anderson (1998, 2002) ont grandement contribué à faire découvrir à un public plus large les idées de base du modèle bayésien moyen et à populariser la méthodologie. La disponibilité de logiciels, y compris d'autres packages open source gratuits pour R au-delà de ceux mentionnés ci-dessus, a contribué à rendre les méthodes accessibles à un public plus large.

La combinaison de modèles bayésiens (BMC) est une correction algorithmique de la moyenne des modèles bayésiens (BMA). Au lieu d'échantillonner chaque modèle de l'ensemble individuellement, elle échantillonne à partir de l'espace des ensembles possibles (avec des pondérations de modèle tirées aléatoirement d'une distribution de Dirichlet ayant des paramètres uniformes). Cette modification surmonte la tendance de la BMA à converger vers l'attribution de toute la pondération à un seul modèle. Bien que la BMC soit un peu plus coûteuse en termes de calcul que la BMA, elle tend à produire des résultats nettement meilleurs. Il a été démontré que la BMC est meilleure en moyenne (avec une signification statistique) que la BMA et le bagging.

L'utilisation de la loi de Bayes pour calculer les pondérations des modèles nécessite de calculer la probabilité des données pour chaque modèle. En règle générale, aucun des modèles de l'ensemble ne correspond exactement à la distribution à partir de laquelle les données d'apprentissage ont été générées, de sorte qu'ils reçoivent tous correctement une valeur proche de zéro pour ce terme. Cela fonctionnerait bien si l'ensemble était suffisamment grand pour échantillonner l'intégralité de l'espace modèle, mais c'est rarement possible. Par conséquent, chaque modèle dans les données d'apprentissage entraînera un déplacement de la pondération de l'ensemble vers le modèle de l'ensemble le plus proche de la distribution des données d'apprentissage. Cela se réduit essentiellement à une méthode inutilement complexe de sélection de modèles.

Les pondérations possibles pour un ensemble peuvent être visualisées comme reposant sur un simplexe. À chaque sommet du simplexe, tout le poids est attribué à un seul modèle de l'ensemble. BMA converge vers le sommet le plus proche de la distribution des données d'apprentissage. En revanche, BMC converge vers le point où cette distribution se projette sur le simplexe. En d'autres termes, au lieu de sélectionner le modèle le plus proche de la distribution génératrice, il recherche la combinaison de modèles la plus proche de la distribution génératrice.

Les résultats de la BMA peuvent souvent être approximés en utilisant la validation croisée pour sélectionner le meilleur modèle parmi un ensemble de modèles. De même, les résultats de la BMC peuvent être approximés en utilisant la validation croisée pour sélectionner la meilleure combinaison d'ensemble à partir d'un échantillonnage aléatoire de pondérations possibles.

Un « ensemble de modèles » est une technique d'ensemble dans laquelle un algorithme de sélection de modèles est utilisé pour choisir le meilleur modèle pour chaque problème. Lorsqu'il est testé avec un seul problème, un ensemble de modèles ne peut pas produire de meilleurs résultats que le meilleur modèle de l'ensemble, mais lorsqu'il est évalué sur de nombreux problèmes, il produira généralement de bien meilleurs résultats, en moyenne, que n'importe quel modèle de l'ensemble.

L'approche la plus courante utilisée pour la sélection de modèles est la sélection par validation croisée (parfois appelée « concours de sélection »). Elle est décrite avec le pseudo-code suivant :

Pour chaque modèle m dans le bucket : Faites c fois : (où 'c' est une constante) Divisez aléatoirement l'ensemble de données d'entraînement en deux ensembles : A et B Entraînez-moi avec A Test m avec B Sélectionnez le modèle qui obtient la note moyenne la plus élevée 

La sélection par validation croisée peut être résumée ainsi : « essayez-les tous avec l'ensemble d'entraînement et choisissez celui qui fonctionne le mieux ».

Le gating est une généralisation de la sélection par validation croisée. Il consiste à entraîner un autre modèle d'apprentissage pour décider lequel des modèles du bucket est le mieux adapté pour résoudre le problème. Souvent, un perceptron est utilisé pour le modèle de gating. Il peut être utilisé pour choisir le « meilleur » modèle, ou pour donner un poids linéaire aux prédictions de chaque modèle du bucket.

Lorsqu'un ensemble de modèles est utilisé avec un grand nombre de problèmes, il peut être souhaitable d'éviter d'entraîner certains des modèles qui prennent beaucoup de temps à entraîner. L'apprentissage par repères est une approche de méta-apprentissage qui cherche à résoudre ce problème. Il consiste à entraîner uniquement les algorithmes rapides (mais imprécis) dans le groupe, puis à utiliser les performances de ces algorithmes pour aider à déterminer quel algorithme lent (mais précis) est le plus susceptible de fonctionner le mieux.

L'approche la plus courante pour la formation des classificateurs consiste à utiliser la fonction de coût d'entropie croisée . Cependant, on aimerait former un ensemble de modèles présentant une diversité afin que, lorsque nous les combinons, cela fournisse les meilleurs résultats. En supposant que nous utilisions un ensemble simple de classificateurs de moyenne. Le coût d'entropie croisée modifié est alors

où est la fonction de coût du classificateur, est la probabilité du classificateur, est la vraie probabilité que nous devons estimer et est un paramètre entre 0 et 1 qui définit la diversité que nous souhaitons établir. Lorsque nous voulons que chaque classificateur fasse de son mieux quel que soit l'ensemble et lorsque nous souhaitons que le classificateur soit aussi diversifié que possible.

L'empilement (parfois appelé généralisation empilée ) implique l'entraînement d'un modèle pour combiner les prédictions de plusieurs autres algorithmes d'apprentissage. Tout d'abord, tous les autres algorithmes sont entraînés à l'aide des données disponibles, puis un algorithme de combinaison (estimateur final) est entraîné pour faire une prédiction finale en utilisant toutes les prédictions des autres algorithmes (estimateurs de base) comme entrées supplémentaires ou en utilisant des prédictions validées par recoupement à partir des estimateurs de base qui peuvent empêcher le surajustement. Si un algorithme de combinaison arbitraire est utilisé, l'empilement peut théoriquement représenter l'une des techniques d'ensemble décrites dans cet article, bien que, dans la pratique, un modèle de régression logistique soit souvent utilisé comme combinateur.

L'empilement produit généralement de meilleures performances que n'importe lequel des modèles formés individuellement. Il a été utilisé avec succès à la fois sur des tâches d'apprentissage supervisé (régression, classification et apprentissage à distance ) et sur l'apprentissage non supervisé (estimation de la densité). Il a également été utilisé pour estimer le taux d'erreur de bagging. Il a été rapporté qu'il surpassait la moyenne des modèles bayésiens. Les deux meilleurs résultats du concours Netflix ont utilisé le mélange, qui peut être considéré comme une forme d'empilement.

Le vote est une autre forme d'assemblage. Voir par exemple l'algorithme de majorité pondérée (apprentissage automatique) .

• R : au moins trois packages offrent des outils de calcul de moyenne de modèles bayésiens, notamment le package BMS (acronyme de Bayesian Model Selection), le package BAS (acronyme de Bayesian Adaptive Sampling), et le package BMA .
• Python : scikit-learn , un package pour l'apprentissage automatique en Python propose des packages pour l'apprentissage d'ensemble, notamment des packages pour les méthodes de bagging, de vote et de moyenne.
• MATLAB : les ensembles de classification sont implémentés dans Statistics and Machine Learning Toolbox.

Ces dernières années, en raison de la puissance de calcul croissante, qui permet de s'entraîner à l'apprentissage d'ensembles de grande envergure dans un délai raisonnable, le nombre d'applications d'apprentissage d'ensembles a augmenté de manière croissante. Certaines des applications des classificateurs d'ensembles comprennent :

La cartographie de la couverture terrestre est l'une des principales applications des capteurs de satellites d'observation de la Terre , utilisant la télédétection et les données géospatiales , pour identifier les matériaux et les objets qui se trouvent à la surface des zones cibles. En général, les classes de matériaux cibles comprennent les routes, les bâtiments, les rivières, les lacs et la végétation. Différentes approches d'apprentissage d'ensemble basées sur les réseaux neuronaux artificiels , l'analyse en composantes principales du noyau (KPCA), les arbres de décision avec boosting , la forêt aléatoire et la conception automatique de systèmes de classification multiples, sont proposées pour identifier efficacement les objets de couverture terrestre .

La détection des changements est un problème d'analyse d'images , consistant à identifier les endroits où la couverture terrestre a changé au fil du temps. La détection des changements est largement utilisée dans des domaines tels que la croissance urbaine , la dynamique des forêts et de la végétation , l'utilisation des terres et la surveillance des catastrophes . Les premières applications des classificateurs d'ensemble dans la détection des changements sont conçues avec le vote majoritaire , la moyenne du modèle bayésien , et la probabilité postérieure maximale . Compte tenu de la croissance des données satellitaires au fil du temps, la dernière décennie a vu une utilisation accrue des méthodes de séries chronologiques pour la détection continue des changements à partir de piles d'images. Un exemple est une méthode de détection de point de changement d'ensemble bayésien appelée BEAST, avec le logiciel disponible sous forme de package Rbeast dans R, Python et Matlab.

Le déni de service distribué est l'une des cyberattaques les plus menaçantes qui puissent survenir à un fournisseur de services Internet . foules flash légitimes .

La classification des codes malveillants tels que les virus informatiques , les vers informatiques , les chevaux de Troie , les ransomwares et les logiciels espions à l'aide de techniques d'apprentissage automatique , s'inspire du problème de catégorisation des documents . Les systèmes d'apprentissage d'ensemble ont montré une efficacité appropriée dans ce domaine.

Un système de détection d'intrusion surveille un réseau informatique ou des systèmes informatiques pour identifier les codes d'intrusion comme un processus de détection d'anomalie . L'apprentissage d'ensemble aide avec succès ces systèmes de surveillance à réduire leur erreur totale.

La reconnaissance faciale , qui est récemment devenue l'un des domaines de recherche les plus populaires en matière de reconnaissance de formes , permet d'identifier ou de vérifier une personne à partir de ses images numériques .

Les ensembles hiérarchiques basés sur le classificateur Gabor Fisher et les techniques de prétraitement d'analyse des composants indépendants sont parmi les premiers ensembles utilisés dans ce domaine.

Bien que la reconnaissance vocale soit principalement basée sur l'apprentissage profond , car la plupart des acteurs de l'industrie dans ce domaine comme Google , Microsoft et IBM révèlent que la technologie de base de leur reconnaissance vocale est basée sur cette approche, la reconnaissance des émotions basée sur la parole peut également avoir des performances satisfaisantes avec l'apprentissage d'ensemble.

Il est également utilisé avec succès dans la reconnaissance des émotions faciales .

La détection des fraudes concerne l'identification des fraudes bancaires , telles que le blanchiment d'argent , la fraude à la carte de crédit et la fraude aux télécommunications, qui ont de vastes domaines de recherche et d'application de l'apprentissage automatique . Étant donné que l'apprentissage d'ensemble améliore la robustesse de la modélisation du comportement normal, il a été proposé comme une technique efficace pour détecter de tels cas et activités frauduleuses dans les systèmes bancaires et de cartes de crédit.

La précision de la prédiction de la faillite d'une entreprise est un élément crucial dans la prise de décision financière. Par conséquent, différents classificateurs d'ensemble sont proposés pour prédire les crises financières et les difficultés financières . De plus, dans le problème de manipulation basée sur les transactions , où les traders tentent de manipuler les cours des actions en achetant et en vendant des activités, les classificateurs d'ensemble sont nécessaires pour analyser les changements dans les données du marché boursier et détecter les symptômes suspects de manipulation du cours des actions .

Les classificateurs d'ensemble ont été appliqués avec succès en neurosciences , en protéomique et en diagnostic médical comme dans la détection des troubles neurocognitifs (c'est-à -dire la maladie d'Alzheimer ou la dystrophie myotonique ) basée sur des ensembles de données IRM, et la classification cytologique cervicale.