Traces6 : notre serveur principal

Depuis le mois d’août 2020, l’équipe ALMAnaCH s’est dotée d’un nouveau serveur de calcul, nommé Traces6. Ce serveur est  mieux dimensionné pour le déploiement de l’application de transcription automatique eScriptorium. Il remplace le serveur “Lectaurep”,  un serveur initial matérialisé par une machine virtuelle ouverte dans le cadre de l’offre de services informatiques d’Inria et qui était dédié comme son nom l’indique au projet LECTAUREP.

Alors que le serveur Lectaurep ne disposait pas de carte graphique (GPU), l’architecture du serveur Traces6 a été conçue autour de ce composant essentiel pour une utilisation optimale de la plateforme. En effet, les GPUs accélèrent les calculs nécessaires aux technologies de machine learning en prenant en charge leur parallélisation. En quelques mots : un entraînement dont les calculs prendraient plusieurs heures sur CPU peut ne prendre que quelques minutes à peine lorsqu’ils sont effectués sur un GPU.

Ce gain de vitesse suppose de s’appuyer sur un processeur capable de suivre la charge pour éviter les effets de goulot (bottle neck), où le chargement en mémoire des données prend plus de temps que le calcul lui-même. Il ne suffit donc pas d’ajouter simplement des cartes graphiques à une machine : cela suppose de mener une réflexion complète sur la configuration de la machine. Cette configuration est donc élaborée dans le cadre d’échanges avec le service informatique du centre Inria qui a ensuite réceptionné, monté et maintenant héberge la machine, en en assurant le bon fonctionnement matériel.

Le serveur Lectaurep avait été mis en place dans le cadre du projet LECTAUREP pour le déploiement d’une instance d’eScriptorium principalement dédiée au projet. Ce n’est pas le cas du serveur Traces6 qui a été financé par l’enveloppe du DAHN (Dispositif de soutien à l’Archivistique et aux Humanités Numériques). Ainsi si c’est encore une fois une instance d’eScriptorium qui est déployée sur Traces6, le serveur accueille désormais davantage d’utilisateurs. Cela explique le gonflement considérable de la capacité de stockage : nous sommes ainsi passé d’un peu moins de 100 Go de disque dur à un peu plus de 23,5 To, couplant HDD et SSD (plus rapide à l’écriture). Même gonflement du côté de la mémoire : le serveur Lectaurep ne disposait que de 8 Go de RAM pour faire tourner l’application et ses tâches d’arrière-plan, tandis que le serveur Traces6 dispose désormais d’une confortable mémoire vive de 128 Go.

Dans la mesure où eScriptorium n’utilise pas les GPUs à chaque instant, ce serveur est aussi utilisé en ligne de commande (via un accès en SSH réservé) pour certains calculs réalisés hors application. C’est en particulier le cas lorsque nous comparons les entraînements menés à l’aide du logiciel Kraken seul par rapport à ceux effectués par l’intermédiaire d’eScriptorium.

Le serveur Lectaurep n’est pour autant pas tombé en désuétude : il nous permet de disposer d’un bac à sable où tester certaines features sur lesquelles nous travaillons avant de les intégrer dans le code source du projet SCRIPTA, ou bien de vérifier le fonctionnement d’une nouvelle version de l’application avant de l’installer sur le serveur Traces6. Le serveur Lectaurep est donc devenu notre serveur de test avant la mise en production sur Traces6.

A l’heure actuelle, Traces6 accueille un peu plus de 100 utilisateurs et utilisatrices, dont 30 participent au projet LECTAUREP. Parmi les projets de recherche bénéficiant d’un accès à eScriptorium par le biais du serveur Traces6, que ce soit pour un usage avancé ou simplement pour expérimenter l’outil, on compte les projet suivants :

• BASNUM
• DAHN – Edition de la Correspondance de Paul d’Estournelles
• TIME US
• Archival City
• Artl@s
• DISHAS
• e-NDP
• MSS-ABBADIE (BnF)
• Paris Time Machine – Annuaires de Paris
• Puppet Plays

Ce sont autant de projets qui, à l’occasion d’échanges au sujet de l’application, font émerger des questions et des cas d’usage, alimentant ainsi une partie des réflexions menées conjointement avec l’équipe SCRIPTA et ses partenaires pour améliorer la plateforme. Le projet LECTAUREP contribue en effet directement au projet SCRIPTA en mettant à contribution la force de travail de son développeur, Yves Tadjo. Le but est alors de généraliser autant que possible les scénarios utilisateurs identifiés par le projet LECTAUREP pour participer à l’accélération du développement de l’application.

Dans les mois à venir l’architecture de Traces6 est amenée à évoluer dans le cadre du financement du projet d’équipement CREMMA par le DIM MAP, dont l’un des objectifs est de continuer à construire un environnement équilibré et robuste pour le déploiement de l’application eScriptorium et sa mise à disposition pour la communauté des humanités numériques. Traces6 constituera alors l’un des serveurs sur lesquels s’appuiera l’architecture CREMMA.

---

---