Submitted by vloux on
infrastructure update

Bonjour,

(English below)

Comme annoncé précédemment nous faisons évoluer notre infrastructure informatique  en ce début d’année.

Pour les plus pressés d’entre vous, voici les éléments essentiels :

Interruption des accès en ligne de commande et de RSstudio jeudi 3 février de 8h à 10h.

  • Le cluster de calcul est renouvelé de moitié avec des nœuds de calcul plus récents.

  • Le stockage global va être étendu. Certains espaces (sous les répertoires /projet) seront migrés courant janvier.Les utilisateurs concernés seront prévenus avant l’interruption de services.

  • La migration sera transparente pour les utilisateurs, l’élément le plus visible étant  le changement d’URL du serveur frontal pour les accès ssh en « ssh front.migale.inrae.fr »

  • Le changement aura lieu le 3 février de 8h à 10h du matin. L’accès en ligne de commande et à Rstudio sera interrompu, les accès aux autres site web (Galaxy, site web de Migale…) seront maintenus.

 

 

Plus de détails :

 

Changements matériels :

La plateforme Migale fait évoluer son infrastructure pour répondre au mieux aux besoins de ses utilisateurs. Le cluster de calcul de la plateforme est actuellement composé de 60 nœuds de calcul, représentants 1377 cœurs , de 4 générations différentes. Les nœuds les plus anciens datent de plus de 10 ans  et ne sont donc plus sous garantie depuis des années.

 

Les nœuds de calcul les plus anciens vont donc être remplacés par 24 nœuds de calcul DELL C6525, 64 cœurs, 256 Go de RAM. Ces serveurs sont équipés de  processeurs AMD 7452 à 2,35 Ghz.

 

Avec la mise en service de ces machines, nous allons ainsi passer à 2481 cœurs de calcul associés à plus de 11 To de RAM, tout en gardant une consommation électrique équivalente à l’ancien cluster de calcul.

 

Nous profitons de la mise à jour du cluster pour étendre le stockage disponible sur Migale en ajoutant plus de 400 To à notre solution NetApp. Les quotas utilisateurs (save/ et work/) restent inchangés. 

 

Les évolutions de notre infrastructure représentent un investissement d’environ 300 k€ financé à hauteur de 100 k€ par l’appel d’offre équipement lourd INRAE. Le reste de l’investissement est supporté par la plateforme et l’unité MaIAGE.

 

 

Changements systèmes :

 

L’ensemble de notre infrastructure est actuellement sous système Centos 7. Migale a fait le choix de longue date de ce système, clone libre de RedHat Entreprise Edition supporté  par nos fournisseurs de matériel. 

L’installation de nouveaux matériels et le vieillissement de Centos7 nous a poussés à réfléchir à la mise à jour de notre système. Centos a changé sa politique de mise à jour au cours de l’année dernière, en basculant sur une version « Stream », sans politique de mise à jour longue, qui ne convient plus  à nos besoins. Nous avons donc fait le choix de basculer sous Ubuntu Server, version LTS 20.04. Ubunutu étant, comme Centos, une distribution Linux, ce changement sera transparent pour l’utilisateur.

 

Nous avons donc du réinstaller l’ensemble des outils disponibles (conda, paquets R) sur un nouveau serveur frontal connecté au nouveau cluster.

Ce frontal sera accessible par ssh à partir de l’adresse front.migale.inrae.fr . Les adresses des accès web (sites web, Galaxy, RSstudio) restent inchangées.

La bascule vers le nouveau cluster aura lieu le jeudi 3 février entre 8h00 et 10h00. 

Concrètement, pour vous utilisateurs, cette bascule devrait être transparente  en dehors des points suivants :

 

Jeudi 8h00

  • L’accès ssh au frontal migale.jouy.inrae.fr sera coupé.

  • L’accès à Rstudio sera coupé.

  • Les jobs en cours sur le cluster seront arrêtés.

 

Jeudi 10h00 :

  • Accès ssh au frontal par la nouvelle URL front.migale.inrae.fr

  • Accès Rstudio mis à jour (2021.09.1, R 4.1.1) par l’URL habituelle https://rstudio.migale.inrae.fr 

  • Accès et soumission des jobs au nouveau cluster depuis le serveur front .

 

Les nœuds les plus récents  de l’ancien cluster seront progressivement réinstallés sous Ubunutu et ajoutés au nouveau cluster de calcul au cours du mois de février.

Vos scripts de soumission devront éventuellement être mis à jour pour refléter la mise à jour des outils sous Conda.

 

N’hésitez pas à nous contacter (help-migale@inrae.fr) si vous avez des questions.

 

 

Subject: Computing infrastructure evolution

 

Hello Migale users,

As previously announced, we are progressively upgrading our IT infrastructure in the coming week.

 

For those of you who are in a hurry, here are the essential elements:

 

Interruption of command line access and RSstudio on Thursday, February 3rd from 8am to 10am.

- The computing cluster is being replaced by half with newer compute nodes.

- Global storage will be expanded. Some spaces (under the /project directories) will be migrated during January. The users concerned will be notified before the interruption of services.

- The migration will be transparent for the users, the most visible element being the change of the URL of the front-end server for ssh access to "ssh front.migale.inrae.fr".

- The change will take place on February 3rd from 8am to 10am. Command line access and Rstudio access will be interrupted, web access (Galaxy, websites…) will be maintained.

 

 

In details:

 

Hardware changes:

The Migale platform is planning an evolution of  its infrastructure to best meet the needs of its users. The platform's computing cluster is currently composed of 60 compute nodes, representing 1377 cores, of 4 different generations. The oldest nodes are more than 10 years old and have not been under warranty for years.

 

The oldest compute nodes will therefore be replaced by 24 DELL C6525 compute nodes, 64 cores, 256 GB RAM. These servers are equipped with AMD 7452 processors at 2.35 GHz.

 

With the commissioning of these machines, the computing cluster will thus be increased to 2481 computing cores associated with more than 11TB of RAM, while keeping a power consumption equivalent to the old computing cluster.

 

We are taking advantage of the cluster upgrade to expand the storage available on Migale by adding over 400 TB to our NetApp solution. The user quotas (save/ and work/) remain unchanged. 

 

The evolutions of our infrastructure represent an investment of about 300 k€ financed up to 100 k€ by the INRAE heavy equipment call for tender. The rest of the investment is supported by the platform and the MaIAGE unit.

 

 

Operating System changes :

 

The whole of our infrastructure is currently under Centos 7. Migale has long chosen this system, an open source clone of RedHat Enterprise Edition supported by our hardware suppliers. 

The installation of new hardware and the aging of Centos 7 has prompted us to consider upgrading our system. Centos has changed its upgrade policy over the last year, switching to a "Stream" version, without a long term support policy, which no longer suits our needs. We therefore chose to switch to a new Operating System, Ubuntu Server, version LTS 20.04.  Ubunut is a Linux distribution, as Centos, this change will be transparent for our users.

 

We had to reinstall all the available tools (conda, R packages) on a new front-end server connected to the new cluster.

This front-end will be accessible by ssh from the address front.migale.inrae.fr . The addresses of the web accesses (web sites, Galaxy, RSstudio) remain unchanged.

 

The switchover to the new cluster will take place on Thursday, February 3rd between 8:00 and 10:00. 

Concretely, for you users, this switchover should be transparent except for

following points:

 

Thursday 8:00 am

- The ssh access to the migale.jouy.inrae.fr frontend will be impossible

- Access to Rstudio will be cut.

- Jobs running on the cluster will be stopped.

 

Thursday 10:00 am:

- Ssh access to the frontend through the new address front.migale.inrae.fr

- Rstudio access updated (4.1) by the usual URL https ://rstudio.migale.inrae.fr 

- Access and submission to the new cluster from the front-end server.

 

The most recent nodes of the old cluster will be progressively reinstalled under Ubunutu and added to the new cluster during February.

Your submission scripts may need to be updated to reflect the updated tools in Conda.

 

Do not hesitate to contact us (help-migale@inrae.fr) if you have any questions.