OrangeFS

OrangeFS est un système de fichiers parallèle open source , la nouvelle génération de Parallel Virtual File System (PVFS). Un système de fichiers parallèle est un type de système de fichiers distribué qui distribue les données de fichiers sur plusieurs serveurs et permet un accès simultané par plusieurs tâches d'une application parallèle. OrangeFS a été conçu pour être utilisé dans le calcul en cluster à grande échelle et est utilisé par des entreprises, des universités, des laboratoires nationaux et des sites similaires dans le monde entier.

2.8.5

• Infrastructure de communication de serveur à serveur
• Option SSD pour le stockage des métadonnées distribuées
• Prise en charge complète du client Windows natif
• Réplication pour les fichiers immuables

2.8.6

• Interface directe pour les applications
• Mise en cache client pour l'interface directe avec cohérence multi-processus mono-système
• Version initiale du webpack prenant en charge WebDAV et S3 via les modules Apache

2.8.7

• Mises à jour, correctifs et améliorations des performances

2.8.8

• Mises à jour, correctifs et améliorations des performances, prise en charge native de Hadoop via JNI shim, prise en charge des noyaux Linux plus récents

2.9

• Métadonnées distribuées pour les entrées d'annuaire
• Sécurité basée sur les capacités en 3 modes
  • Sécurité standard
  • Sécurité basée sur des clés
  • Sécurité basée sur les certificats avec prise en charge de l'interface LDAP
• Documentation étendue

2.10

• Corrections de bugs et modifications de build pour prendre en charge les distributions récentes.
• Le client du noyau Linux en amont est la principale méthode d'accès pour Linux, le module du noyau hors arborescence est obsolète.
• Le client Windows OrangeFS a été actualisé

OrangeFS est apparu comme une branche de développement de PVFS2, de sorte qu'une grande partie de son histoire est partagée avec celle de PVFS. S'étendant sur vingt ans, la longue histoire derrière OrangeFS est résumée dans la chronologie ci-dessous.

Une branche de développement est une nouvelle direction dans le développement. La branche OrangeFS a été créée en 2007, lorsque les dirigeants de la communauté des utilisateurs de PVFS2 ont déterminé que :

• Beaucoup étaient satisfaits des objectifs de conception de PVFS2 et souhaitaient qu'il reste relativement inchangé pour la stabilité future
• D’autres ont envisagé PVFS2 comme une base sur laquelle construire un tout nouvel ensemble d’objectifs de conception pour des applications plus avancées du futur.

C'est pourquoi OrangeFS est souvent décrit comme la prochaine génération de PVFS2.

1993

Le système de fichiers parallèles virtuels (PVFS) a été développé par Walt Ligon et Eric Blumer grâce à une subvention de la NASA pour étudier les schémas d'E/S des programmes parallèles. La version 0 de PVFS était basée sur le système de fichiers parallèles Vesta développé au Thomas J. Watson Research Center d'IBM , et son nom était dérivé de son développement pour fonctionner sur Parallel Virtual Machine (PVM).

1994

Rob Ross a réécrit PVFS pour utiliser TCP/IP, s'écartant considérablement de la conception originale de Vesta. La version 1 de PVFS était destinée à un cluster de stations de travail DEC Alpha sur FDDI, un prédécesseur du réseau Fast Ethernet. PVFS a réalisé des gains significatifs par rapport à Vesta dans le domaine de la planification des E/S de disque pendant que plusieurs clients accèdent à un fichier commun.

Fin 1994

Le Goddard Space Flight Center a choisi PVFS comme système de fichiers pour le premier Beowulf (premières implémentations d'ordinateurs grand public basés sur Linux fonctionnant en parallèle). Ligon et Ross ont travaillé avec des développeurs clés du GSFC, notamment Thomas Sterling, Donald Becker, Dan Ridge et Eric Hendricks au cours des années suivantes.

1997

PVFS publié en tant que package open source

1999

Ligon a proposé le développement d'une nouvelle version de PVFS. Initialement développée à l'Université de Clemson, la conception a été réalisée grâce à un effort conjoint entre des contributeurs de Clemson, du Laboratoire national d'Argonne et de l' Ohio Supercomputer Center , avec notamment des contributions majeures de Phil Carns, doctorant à Clemson.

2003

PVFS2 est disponible, avec des serveurs d'objets, des métadonnées distribuées, la prise en charge de plusieurs serveurs de métadonnées, des vues de fichiers basées sur MPI (Message Passing Interface, un protocole optimisé pour le calcul haute performance) pour plusieurs types de réseaux, et une architecture flexible pour une expérimentation et une extensibilité faciles. PVFS2 devient un projet « Open Community », avec des contributions de nombreuses universités et entreprises du monde entier.

2005

La version 1 de PVFS a été retirée. PVFS2 est toujours pris en charge par Clemson et Argonne. Ces dernières années, divers contributeurs (dont beaucoup sont des concepteurs et des développeurs de chartes) ont continué à améliorer les performances de PVFS.

2007

Argonne National Laboratories a choisi PVFS2 pour son IBM Blue Gene/P, un superordinateur sponsorisé par le ministère américain de l'Énergie.

2008

Ligon et d'autres chercheurs de Clemson ont commencé à explorer les possibilités de la prochaine génération de PVFS dans une feuille de route qui incluait les besoins croissants de l'informatique en cluster dans le secteur des entreprises. Alors qu'ils commençaient à développer des extensions pour prendre en charge de grands répertoires de petits fichiers, des améliorations de sécurité et des capacités de redondance, bon nombre de ces objectifs entraient en conflit avec le développement de Blue Gene. Avec des priorités divergentes, le code source de PVFS a été divisé en deux branches. La branche pour la nouvelle feuille de route est devenue « Orange » en l'honneur des couleurs de l'école de Clemson, et la branche pour les systèmes hérités a été surnommée « Blue » pour son installation client pionnière à Argonne. OrangeFS est devenue la nouvelle marque de systèmes ouverts pour représenter ce système de fichiers virtuel de nouvelle génération, en mettant l'accent sur la sécurité, la redondance et une gamme d'applications plus large.

Automne 2010

OrangeFS est devenu la branche principale de PVFS et Omnibond a commencé à offrir un support commercial pour OrangeFS/PVFS, les demandes de nouvelles fonctionnalités des clients payants recevant la plus haute priorité de développement. Lancement de la première version de production d'OrangeFS.

Printemps 2011

Sortie d'OrangeFS 2.8.4

Septembre 2011

OrangeFS ajoute un client Windows

Février 2012

Sortie d'OrangeFS 2.8.5

Juin 2012

OrangeFS 2.8.6 est disponible, offrant des performances améliorées, des clients Web et des bibliothèques à interface directe. Le nouveau pack Web d'OrangeFS fournit un support intégré pour WebDAV et S3.

Janvier 2013

Sortie d'OrangeFS 2.8.7

Mai 2013

OrangeFS est disponible sur la marketplace Amazon Web Services . Version bêta d'OrangeFS 2.9 disponible, ajoutant deux nouveaux modes de sécurité et permettant la distribution des entrées d'annuaire entre plusieurs serveurs de données.

Avril 2014

OrangeFS 2.8.8 publié, ajoutant la prise en charge mmap partagée , la prise en charge JNI pour les applications de l'écosystème Hadoop prenant en charge le remplacement direct de HDFS

Novembre 2014

OrangeFS 2.9.0 a été publié en ajoutant la prise en charge des métadonnées distribuées pour les entrées de répertoire à l'aide d'un algorithme de hachage extensible modélisé d'après giga+, une sécurité de base de capacité rétrocompatible POSIX prenant en charge plusieurs modes.

Janvier 2015

Sortie d'OrangeFS 2.9.1

Mars 2015

Sortie d'OrangeFS 2.9.2

Juin 2015

Sortie d'OrangeFS 2.9.3

Novembre 2015

OrangeFS inclus dans la version CloudyCluster 1.0 sur AWS

Mai 2016

OrangeFS pris en charge dans le noyau Linux 4.6

Octobre 2017

Version 2.9.6 publiée

Janvier 2018

2.9.7 publié, le rpm OrangeFS sera désormais inclus dans la distribution Fedora

Février 2019

CloudyCluster v2 publié sur la place de marché AWS avec OrangeFS

Juin 2019

CloudyCluster v2 publié sur GCP avec OrangeFS

Juillet 2019

OrangeFS est intégré au cache de pages Linux dans le noyau Linux 5.2

Janvier 2020

Correctif provisoire OrangeFS pour les problèmes d'écriture après ouverture, intégré au noyau Linux 5.5

Août 2020

correctif du noyau de retour à 5.4lts qui corrige les problèmes avec les tailles de blocs non standard.

Septembre 2020

Version 2.9.8 publiée

Juin 2021

Noyau Linux 5.13 : la lecture anticipée d'OrangeFS dans le noyau Linux a été retravaillée pour tirer parti de la nouvelle logique xarray et readahead_expand. Cela a considérablement amélioré les performances de lecture.

Juillet 2021

Bug des résultats df - df sur OrangeFS signalait des valeurs bien trop petites par rapport à la réalité et causait des problèmes d'installateur en conserve (et d'humain confus). Cela a été rétroporté vers plusieurs noyaux précédents en plus d'être intégré dans le dernier.

Octobre 2022

(Noyau) remplacez .iterate par .iterate_shared dans orangefs_dir_operations. Étant donné qu'iterate est un appel obsolète.

Novembre 2022

(Noyau) Les ACL ont été retravaillées dans le noyau principal avec la gestion du mode OrangeFS mise à jour pour refléter le changement.

Décembre 2022

(Kernel) a corrigé une fuite de mémoire à la sortie dans le code sysfs et debufs d'OrangeFS.

Février 2023

(Kernel) Utilisez les assistants bvec_set_page et bvec_set_folio pour initialiser les bvecs. De plus, ils ont été mis à jour pour utiliser les folios dans le code de cache de page OrangeFS. Une « page folio » est un nouveau type de page de cache de page du noyau principal lié aux pages composées. De nombreux correctifs liés aux folios ont été envoyés par les développeurs principaux.

Avril 2023

OrangeFS 2.10.0 a été publié, fournissant de nombreuses corrections de bugs et mises à jour pour prendre en charge les dernières distributions ainsi qu'un client Windows actualisé.