Palmier

PaLM ( Pathways Language Model ) est un modèle de langage à grande échelle (LLM) basé sur un transformateur de 540 milliards de paramètres développé par Google AI . Les chercheurs ont également formé des versions plus petites de PaLM (avec 8 et 62 milliards de paramètres) pour tester les effets de l'échelle du modèle.

PaLM est capable d'effectuer une large gamme de tâches, notamment le raisonnement de bon sens , le raisonnement arithmétique , l'explication de blagues , la génération de code et la traduction . Lorsqu'il est combiné à une invite de chaîne de pensée , PaLM a obtenu des performances nettement meilleures sur des ensembles de données nécessitant un raisonnement en plusieurs étapes, tels que des problèmes de mots et des questions basées sur la logique .

Le modèle a été annoncé pour la première fois en avril 2022 et est resté privé jusqu'en mars 2023, date à laquelle Google a lancé une API pour PaLM et plusieurs autres technologies. L'API était initialement disponible pour un nombre limité de développeurs qui ont rejoint une liste d'attente avant d'être rendue publique.

Google et DeepMind ont développé une version de PaLM 540B (le nombre de paramètres, 540 milliards), appelée Med-PaLM , qui est affinée sur les données médicales et surpasse les modèles précédents sur les critères de réponse aux questions médicales . Med-PaLM a été le premier à obtenir une note de passage aux questions de licence médicale aux États-Unis, et en plus de répondre avec précision aux questions à choix multiples et aux questions ouvertes, il fournit également un raisonnement et est capable d'évaluer ses propres réponses.

Google a également étendu PaLM en utilisant un transformateur de vision pour créer PaLM-E , un modèle de langage de vision de pointe qui peut être utilisé pour la manipulation robotique . Le modèle peut effectuer des tâches en robotique de manière compétitive sans avoir besoin de recyclage ou de réglage fin .

En mai 2023, Google a annoncé PaLM 2 lors du discours annuel de Google I/O . PaLM 2 serait un modèle de 340 milliards de paramètres formé sur 3,6 billions de jetons.

En juin 2023, Google a annoncé AudioPaLM pour la traduction parole-parole, qui utilise l'architecture et l'initialisation PaLM-2.

PaLM est pré-entraîné sur un corpus de haute qualité de 780 milliards de jetons qui comprennent diverses tâches en langage naturel et cas d'utilisation. Cet ensemble de données comprend des pages Web filtrées, des livres, des articles de Wikipédia , des articles de presse, du code source obtenu à partir de référentiels open source sur GitHub et des conversations sur les réseaux sociaux . Il est basé sur l'ensemble de données utilisé pour entraîner le modèle LaMDA de Google . La partie conversation sur les réseaux sociaux de l'ensemble de données représente 50 % du corpus, ce qui aide le modèle dans ses capacités conversationnelles.

Le PaLM 540B a été formé sur deux pods TPU v4 avec 3 072 puces TPU v4 dans chaque pod attaché à 768 hôtes, connectés à l'aide d'une combinaison de parallélisme de modèle et de données , qui était la plus grande configuration TPU. Cela a permis une formation efficace à grande échelle, en utilisant 6 144 puces, et a marqué un record pour l'efficacité de formation la plus élevée atteinte pour les LLM à cette échelle : une utilisation des FLOPs matériels de 57,8 %.