Langage de balisage de modèle prédictif

Le langage PMML ( Predictive Model Markup Language ) est un format d'échange de modèles prédictifs basé sur XML conçu par Robert Lee Grossman , alors directeur du National Center for Data Mining de l' Université de l'Illinois à Chicago . PMML permet aux applications analytiques de décrire et d'échanger des modèles prédictifs produits par des algorithmes d'exploration de données et d'apprentissage automatique . Il prend en charge des modèles courants tels que la régression logistique et d'autres réseaux neuronaux à propagation directe . La version 0.9 a été publiée en 1998. Des versions ultérieures ont été développées par le Data Mining Group.

PMML étant une norme basée sur XML, la spécification se présente sous la forme d'un schéma XML . PMML lui-même est une norme mature avec plus de 30 organisations ayant annoncé des produits prenant en charge PMML.

Un fichier PMML peut être décrit par les composants suivants :

• En-tête : contient des informations générales sur le document PMML, telles que les informations de copyright du modèle, sa description et des informations sur l'application utilisée pour générer le modèle, telles que le nom et la version. Il contient également un attribut pour un horodatage qui peut être utilisé pour spécifier la date de création du modèle.
• Dictionnaire de données : contient les définitions de tous les champs possibles utilisés par le modèle. C'est ici qu'un champ est défini comme continu, catégorique ou ordinal (attribut optype). En fonction de cette définition, les plages de valeurs appropriées sont ensuite définies ainsi que le type de données (par exemple, chaîne ou double).
• Transformations de données : les transformations permettent de mapper les données utilisateur dans une forme plus souhaitable pour être utilisée par le modèle d'exploration. PMML définit plusieurs types de transformations de données simples.
  • Normalisation : mapper les valeurs aux nombres, l'entrée peut être continue ou discrète.
  • Discrétisation : mapper des valeurs continues sur des valeurs discrètes.
  • Mappage de valeurs : mapper des valeurs discrètes à des valeurs discrètes.
  • Fonctions (personnalisées et intégrées) : dérivez une valeur en appliquant une fonction à un ou plusieurs paramètres.
  • Agrégation : utilisé pour résumer ou collecter des groupes de valeurs.
• Modèle : contient la définition du modèle d'exploration de données. Par exemple, un réseau neuronal à propagation avant multicoucheest représenté dans PMML par un élément « NeuralNetwork » qui contient des attributs tels que :
  • Nom du modèle (attribut modelName)
  • Nom de la fonction (attribut functionName)
  • Nom de l'algorithme (attribut algorithmName)
  • Fonction d'activation (attribut activationFunction)
  • Nombre de couches (attribut numberOfLayers)

Ces informations sont ensuite suivies de trois types de couches neuronales qui spécifient l'architecture du modèle de réseau neuronal représenté dans le document PMML. Ces attributs sont NeuralInputs, NeuralLayer et NeuralOutputs. Outre les réseaux neuronaux, PMML permet la représentation de nombreux autres types de modèles, notamment les machines à vecteurs de support , les règles d'association , le classificateur naïf de Bayes , les modèles de clustering, les modèles de texte , les arbres de décision et différents modèles de régression .

• Schéma de minage : liste de tous les champs utilisés dans le modèle. Il peut s'agir d'un sous-ensemble des champs tels que définis dans le dictionnaire de données. Il contient des informations spécifiques sur chaque champ, telles que :
  • Nom (nom d'attribut) : doit faire référence à un champ dans le dictionnaire de données
  • Type d'utilisation (attribut usageType) : définit la manière dont un champ doit être utilisé dans le modèle. Les valeurs typiques sont : active, predicted et supplementary. Les champs prédits sont ceux dont les valeurs sont prédites par le modèle.
  • Traitement des valeurs aberrantes (valeurs aberrantes d'attribut) : définit le traitement des valeurs aberrantes à utiliser. Dans PMML, les valeurs aberrantes peuvent être traitées comme des valeurs manquantes, comme des valeurs extrêmes (sur la base de la définition des valeurs hautes et basses pour un champ particulier) ou telles quelles.
  • Politique de remplacement de valeur manquante (attribut missingValueReplacement) : si cet attribut est spécifié, une valeur manquante est automatiquement remplacée par les valeurs données.
  • Traitement de la valeur manquante (attribut missingValueTreatment) : indique comment le remplacement de la valeur manquante a été dérivé (par exemple en tant que valeur, moyenne ou médiane).
• Targets : permet de post-traiter la valeur prédite au format de mise à l'échelle si la sortie du modèle est continue. Les cibles peuvent également être utilisées pour des tâches de classification. Dans ce cas, l'attribut priorProbability spécifie une probabilité par défaut pour la catégorie cible correspondante. Il est utilisé si la logique de prédiction elle-même n'a pas produit de résultat. Cela peut se produire, par exemple, si une valeur d'entrée est manquante et qu'il n'existe aucune autre méthode pour traiter les valeurs manquantes.
• Sortie : cet élément peut être utilisé pour nommer tous les champs de sortie souhaités attendus du modèle. Il s'agit des caractéristiques du champ prédit et donc généralement de la valeur prédite elle-même, de la probabilité, de l'affinité de cluster (pour les modèles de clustering), de l'erreur standard, etc. La dernière version de PMML, PMML 4.1, a étendu la sortie pour permettre le post-traitement générique des sorties du modèle. Dans PMML 4.1, toutes les fonctions intégrées et personnalisées qui étaient initialement disponibles uniquement pour le prétraitement sont également disponibles pour le post-traitement.

PMML 4.0 est sorti le 16 juin 2009.

Voici quelques exemples de nouvelles fonctionnalités :

• Capacités de prétraitement améliorées : les ajouts aux fonctions intégrées incluent une gamme d’ opérations booléennes et une fonction If-Then-Else .
• Modèles de séries chronologiques : nouveaux modèles de lissage exponentiel ; également espaces réservés pour ARIMA , la décomposition des tendances saisonnières et l'estimation de la densité spectrale , qui seront pris en charge dans un avenir proche.
• Explication du modèle : Enregistrement des mesures d’évaluation et de performance du modèle dans le fichier PMML lui-même.
• Modèles multiples : capacités de composition de modèles, d'ensembles et de segmentation (par exemple, combinaison d' arbres de régression et de décision).
• Extensions des éléments existants : ajout d' une classification multi-classes pour les machines à vecteurs de support , représentation améliorée pour les règles d'association et ajout de modèles de régression de Cox .

PMML 4.1 est sorti le 31 décembre 2011.

Nouvelles fonctionnalités incluses :

• Nouveaux éléments de modèle pour représenter les tableaux de bord, les k-plus proches voisins ( KNN ) et les modèles de base.
• Simplification de plusieurs modèles. Dans PMML 4.1, le même élément est utilisé pour représenter la segmentation, l'ensemble et le chaînage du modèle.
• Définition globale de la portée du champ et des noms de champ.
• Un nouvel attribut qui identifie pour chaque élément de modèle si le modèle est prêt ou non pour un déploiement en production.
• Capacités de post-traitement améliorées (via l'élément de sortie).

PMML 4.2 est sorti le 28 février 2014.

Les nouvelles fonctionnalités incluent :

• Transformations : Nouveaux éléments pour la mise en œuvre du text mining
• Nouvelles fonctions intégrées pour la mise en œuvre d'expressions régulières : correspondances, concaténation et remplacement
• Sorties simplifiées pour le post-traitement
• Améliorations apportées aux éléments du modèle Scorecard et Naive Bayes

PMML 4.3 est sorti le 23 août 2016.

Les nouvelles fonctionnalités incluent :

• Nouveaux types de modèles :
  • Processus gaussien
  • Réseau bayésien
• Nouvelles fonctions intégrées
• Précisions sur l'utilisation
• Améliorations de la documentation

La version 4.4 est sortie en novembre 2019.

Le Data Mining Group est un consortium géré par le Center for Computational Science Research, Inc., une organisation à but non lucratif fondée en 2008. Le Data Mining Group a également développé une norme appelée Portable Format for Analytics , ou PFA, qui est complémentaire de PMML.