1. Inicio
  2. Documentos
  3. Manual de uso
  4. 4. Sistema de almacenamie...
  5. Sistemas de ficheros

Sistemas de ficheros

Los sistemas de almacenamiento del servicio HPC de PROTEUS son los siguientes:

Punto montaje

Tipo

Propósito

Cuota

Tiempo de retención

Tolerancia a fallos

Variable de entorno para acceder

/home/USERNAME Ceph General 10TB¹ No tiene² SI $HOME
/mnt/lustre/USERNAME Lustre Alta demanda en ancho de banda e IOPs, scratch 7TB (compartido) 1 mes³ NO⁴ $LUSTRE

¹Cuota total calculada como la suma del espacio utilizado en la HOME de PROTEUS y Owncloud. Esta es la cuota que se puede ofrecer con el estado actual, pero puede disminuir en el futuro. Si necesita una mayor capacidad, puede aportar su propio hardware, que será añadida a la cuota general.

 

²Directorios y archivos que no han sido modificados en tres años se comprimirán y archivarán automáticamente.

 

³Borrado automático de ficheros no modificados durante dicho período. Es necesario mover los que se quieran conservar.

 

Con el fin de tener las máximas prestaciones, no se reserva ningún disco para añadir redundancia a los datos. Esto significa que cualquier fallo en uno de ellos puede prevocar la pérdida total de los datos.

Home

Las homes de los usuarios están almacenadas en un sistema Ceph. Se trata de un sistema distribuido y redundante que tiene tolerancia a fallos hardware. Tiene una cuota de 10TB (cuota relajada, se puede ampliar en caso de necesidad). Está diseñado para ofrecer unas características generales, haciendo un balance entre rendimiento y capacidad. Es el sistema de archivos por defecto y el apropiado para la mayoría de aplicaciones. Usa la red GigaEthernet. Aunque Ceph distribuye los datos en varios discos, para aplicaciones con alta demanda de IOPs, se debe usar el sistema de archivos Lustre.

Lustre

Lustre es el sistema de archivos más usado en HPC. Su principal característica es su escalabilidad, que permite aumentar proporcionalmente tanto su capacidad como su ancho de banda a medida que se añaden nuevos recursos de almacenamiento.

Se dispone de un sistema Lustre con discos son de tecnología flash y se conecta por la red Infiniband. Se ha sacrificado tolerancia a fallos en pos de rendimiento, por lo que este sistema es susceptible de fallos hardware.

En Lustre, los archivos se dividen en porciones y cada porción se escribe concurrentemente en varios discos. Además, permite elegir el tamaño de las porciones y el número de discos destino. Por defecto, cada fichero se escribe en un único disco (OST). Con el comando lfs es posible modificar este comportamiento:
usage: setstripe [–stripe-count|-c <stripe_count>]
[–stripe-index|-i <start_ost_idx>]
[–stripe-size|-S <stripe_size>]
[–pool|-p <pool_name>]
[–block|-b] <directory|filename>
stripe_size​ : Number of bytes on each OST (0 filesystem default)
Can be specified with ​ k ​ , ​ m ​ or ​ g ​ (in KB, MB and GB
respectively).
start_ost_idx​ : OST index of first stripe (-1 default).
stripe_count​ : Number of OSTs to stripe over (0 default, -1 all).
pool_name​ : Name of OST pool to use (default none).
block​ : Block file access during data migration.

Copias de seguridad

Debido al tamaño total de los datos almacenados en HOME y LUSTRE, actualmente no tenemos la capacidad de realizar copias de seguridad de los mismos. Por ello, cada usuario es responsable de volcar en sus dispositivos personales aquellos datos que quieran preservar.

¿Cómo podemos ayudarte?