Guida introduttiva ad Amazon FSx for Lustre - FSxper Lustre
PrerequisitiPassaggio 1: crea il tuo file FSx system for LustreInstalla il client LustreFase 3: Montare il file systemFase 4: Esegui il tuo flusso di lavoroFase 5: eliminazione delle risorse

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Guida introduttiva ad Amazon FSx for Lustre

Di seguito, puoi scoprire come iniziare a usare Amazon FSx for Lustre. Questi passaggi ti guidano nella creazione di un file system Amazon FSx for Lustre e nell'accesso ad esso dalle tue istanze di calcolo. Facoltativamente, mostrano come utilizzare il file system Amazon FSx for Lustre per elaborare i dati nel bucket Amazon S3 con le applicazioni basate su file.

Questo esercizio introduttivo include i seguenti passaggi.

Prerequisiti

Per eseguire questo esercizio introduttivo, è necessario quanto segue:

  • Un AWS account con le autorizzazioni necessarie per creare un file system Amazon FSx for Lustre e un'istanza AmazonEC2. Per ulteriori informazioni, consulta Configurazione di Amazon FSx for Lustre.

  • Crea un gruppo VPC di sicurezza Amazon da associare al file system FSx for Lustre e non modificarlo dopo la creazione del file system. Per ulteriori informazioni, consulta Creare un gruppo di sicurezza per il tuo FSx file system Amazon.

  • Un'EC2istanza Amazon che esegue una versione Linux supportata nel tuo cloud privato virtuale (VPC) basato sul VPC servizio Amazon. Per questo esercizio introduttivo, ti consigliamo di usare Amazon Linux 2023. Installerai il client Lustre su questa EC2 istanza, quindi monterai il file system FSx for Lustre sull'EC2istanza. Per ulteriori informazioni sulla creazione di un'EC2istanza, consulta Getting started: Launch an instance o Launch your instance nella Amazon EC2 User Guide.

    Il client Lustre supporta Amazon Linux; Amazon Linux 2; Amazon Linux 2023; Red Hat Enterprise Linux da 7.7 a 7.9, da 8.2 a 8.10 e 9.0, 9.3 e 9.4; CentOS da 7.7 a 7.9 e da 8.2 a 8.10; Rocky Linux da 8.4 a 8.10, 9.0, 9.3 e 9.4; Linux Enterprise Server 12 e; e Ubuntu 18.04, 20.04 e 22.04. SUSE SP3 SP4 SP5 Per ulteriori informazioni, consulta Compatibilità del file system Lustre e del kernel client.

    Quando crei l'EC2istanza Amazon per questo esercizio introduttivo, tieni presente quanto segue:

    • Ti consigliamo di creare l'istanza come impostazione predefinitaVPC.

    • Ti consigliamo di utilizzare il gruppo di sicurezza predefinito durante la creazione dell'EC2istanza.

  • Ogni file system FSx for Lustre richiede un indirizzo IP per ogni server di metadati (MDS) e un indirizzo IP per ogni server di storage (OSS).

    • Per i file system Persistent_2 con configurazione di metadati, ogni IOPS valore di 12000 Metadata richiede anche un indirizzo IP all'interno della sottorete in cui risiede il file system.

    • I SSD file system persistenti sono dotati di 2,4 TiB di storage per volta. OSS

    • I HDD file system persistenti con 12 MB/s/TiB di capacità di throughput vengono forniti con 6 TiB di storage ciascuno. OSS

    • I HDD file system persistenti con una capacità di throughput di 40 MB/s/TiB vengono forniti con 1,8 TiB di storage per volta. OSS

    • I file system Scratch_2 sono dotati di 2,4 TiB di storage per. OSS

    • I file system Scratch_1 sono dotati di 3,6 TiB di storage per. OSS

  • Un bucket Amazon S3 che archivia i dati per l'elaborazione del carico di lavoro. Il bucket S3 sarà il repository di dati durevole collegato per il file system for Lustre. FSx

  • Determina il tipo di file system Amazon FSx for Lustre che desideri creare, scratch o persistente. Per ulteriori informazioni, consulta Opzioni di implementazione per i file system FSx for Lustre.

Passaggio 1: crea il tuo file FSx system for Lustre

Crei il tuo file system nella FSx console Amazon.

Per creare il file system

  1. Apri la FSx console Amazon all'indirizzo https://console.aws.amazon.com/fsx/.

  2. Dalla dashboard, scegli Crea file system per avviare la procedura guidata di creazione del file system.

  3. Scegliete FSxLustre, quindi scegliete Avanti per visualizzare la pagina Crea file system.

  4. Fornite le informazioni nella sezione Dettagli del file system:

    • Per il nome del file system, facoltativo, fornite un nome per il file system. È possibile utilizzare fino a 256 lettere Unicode, spazi bianchi e numeri più i caratteri speciali + - =. _:/.

    • Per il tipo di distribuzione e archiviazione, scegli una delle opzioni:

      SSDlo storage fornisce carichi di lavoro IOPS intensivi e a bassa latenza che in genere prevedono operazioni casuali su file di piccole dimensioni. HDDlo storage fornisce carichi di lavoro ad alta intensità di throughput che in genere prevedono operazioni sequenziali su file di grandi dimensioni.

      Per ulteriori informazioni sui tipi di archiviazione, vedere. Diverse opzioni di archiviazione

      Per ulteriori informazioni sui tipi di distribuzione, vedereOpzioni di implementazione per i file system FSx for Lustre.

      Per ulteriori informazioni su Regioni AWS dove è disponibile la crittografia dei dati in transito, vedereCrittografia dei dati in transito.

      • Scegli il tipo di SSD implementazione Persistente per lo storage a lungo termine e per i carichi di lavoro sensibili alla latenza che richiedono i massimi livelli di /throughput. IOPS I file server sono altamente disponibili, i dati vengono replicati automaticamente all'interno della zona di disponibilità del file system e supportano la crittografia dei dati in transito. Persistent, SSD utilizza Persistent 2, il file system persistente di ultima generazione.

      • Scegli il tipo di HDD implementazione Persistente per lo storage a lungo termine e per carichi di lavoro incentrati sul throughput che non sono sensibili alla latenza. I file server sono altamente disponibili, i dati vengono replicati automaticamente all'interno della zona di disponibilità del file system e questo tipo supporta la crittografia dei dati in transito. Persistente, HDD utilizza il tipo di distribuzione Persistent 1.

        Scegliete con SSD cache per creare una SSD cache con dimensioni pari al 20% della capacità di HDD storage in modo da fornire latenze inferiori al millisecondo o superiori IOPS per i file a cui si accede di frequente.

      • Scegli Scratch, il tipo di SSD implementazione per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. Scratch, SSD utilizza i file system Scratch 2 e offre la crittografia in transito dei dati.

    • Scegliete la quantità di throughput per unità di storage che desiderate per il vostro file system. Questa opzione è valida solo per i tipi di distribuzione persistente.

      Il throughput per unità di storage è la quantità di velocità effettiva di lettura e scrittura per ogni 1 tebibyte (TiB) di storage fornito, in MB/s/TiB. Paghi in base alla quantità di throughput fornita:

      • Per SSD lo storage persistente, scegli un valore di 125, 250, 500 o 1.000 MB/s/TiB.

      • Per HDD Archiviazione persistente, scegli un valore di 12 o 40 MB/s/Tib.

      È possibile aumentare o diminuire la quantità di velocità effettiva per unità di storage in base alle esigenze dopo aver creato il file system. Per ulteriori informazioni, consulta Gestione della capacità di throughput.

    • Per Capacità di archiviazione, imposta la quantità di capacità di archiviazione per il file system, in TiB:

      • Per un tipo di SSD distribuzione Persistente, impostalo su un valore di 1,2 TiB, 2,4 TiB o incrementi di 2,4 TiB.

      • Per un tipo di HDD implementazione Persistent, questo valore può essere costituito da incrementi di 6,0 TiB per file system da 12 MB/s/TiB e incrementi di 1,8 TiB per file system da 40 MB/s/TiB.

      È possibile aumentare la capacità di storage in base alle esigenze dopo aver creato il file system. Per ulteriori informazioni, consulta Gestione della capacità di archiviazione.

    • Per la configurazione dei metadati, sono disponibili due opzioni per fornire il numero di metadati IOPS per il file system:

      • Scegli Automatico (impostazione predefinita) se desideri che Amazon FSx fornisca e ridimensioni automaticamente i metadati IOPS sul tuo file system in base alla capacità di storage del file system.

      • Scegli User-provisioned se desideri specificare il numero di metadati IOPS da fornire per il tuo file system. I valori validi sono1500,3000, 600012000, e multipli di12000, fino a un massimo di. 192000

      Per ulteriori informazioni sui metadatiIOPS, vedere. Configurazione delle prestazioni dei metadati Lustre

    • Per il tipo di compressione dei dati, scegli NONEdi disattivare la compressione dei dati o scegli LZ4di attivare la compressione dei dati con l'LZ4algoritmo. Per ulteriori informazioni, consulta Compressione dei dati Lustre.

    Tutti i file system FSx for Lustre sono basati sulla versione 2.15 di Lustre se creati utilizzando la console Amazon. FSx

  5. Nella sezione Rete e sicurezza, fornisci le seguenti informazioni sui gruppi di rete e sicurezza:

    • Per Virtual Private Cloud (VPC), scegliete VPC quello che desiderate associare al file system. Per questo esercizio introduttivo, scegli lo stesso VPC che hai scelto per la tua EC2 istanza Amazon.

    • Per i gruppi VPC di sicurezza, l'ID del gruppo di sicurezza predefinito per il tuo VPC dovrebbe essere già stato aggiunto. Se non utilizzi il gruppo di sicurezza predefinito, assicurati che la seguente regola in entrata venga aggiunta al gruppo di sicurezza che stai utilizzando per questo esercizio introduttivo.

      Type Protocollo Intervallo porte Origine Descrizione
      Tutto TCP TCP 0-65535 Personalizza Il_ID_di_questo_gruppo_di sicurezza Regola del traffico Lustre in entrata

      La schermata seguente mostra un esempio di modifica delle regole in entrata.

      Regola del traffico in entrata sul gruppo di sicurezza predefinito assegnato al file system FSx for Lustre.
      Importante

      Assicurati che il gruppo di sicurezza che stai utilizzando segua le istruzioni di configurazione fornite in. Controllo degli accessi ai file system con Amazon VPC È necessario configurare il gruppo di sicurezza per consentire il traffico in entrata sulle porte 988 e 1018-1023 dal gruppo di sicurezza stesso o dall'intera sottoreteCIDR, necessario per consentire agli host del file system di comunicare tra loro.

    • Per Subnet, scegliete qualsiasi valore dall'elenco delle sottoreti disponibili.

  6. Per la sezione Crittografia, le opzioni disponibili variano a seconda del tipo di file system che state creando:

    • Per un file system persistente, puoi scegliere una chiave di crittografia AWS Key Management Service (AWS KMS) per crittografare i dati del file system inattivo.

    • Per un file system scratch, i dati inattivi vengono crittografati utilizzando chiavi gestite da AWS.

    • Per i file system scratch 2 e persistenti, i dati in transito vengono crittografati automaticamente quando si accede al file system da un tipo di EC2 istanza Amazon supportato. Per ulteriori informazioni, consulta Crittografia dei dati in transito.

  7. Per la sezione Data Repository Import/Export - opzionale, il collegamento del file system agli archivi di dati di Amazon S3 è disabilitato per impostazione predefinita. Per informazioni sull'attivazione di questa opzione e sulla creazione di un'associazione di repository di dati a un bucket S3 esistente, consulta. Per collegare un bucket S3 durante la creazione di un file system (console)

    Importante

    • La selezione di questa opzione disabilita anche i backup e non sarà possibile abilitarli durante la creazione del file system.

    • Se colleghi uno o più file system Amazon FSx for Lustre a un bucket Amazon S3, non eliminare il bucket Amazon S3 finché tutti i file system collegati non sono stati eliminati.

  8. Per la registrazione: facoltativa, la registrazione è abilitata per impostazione predefinita. Se abilitato, gli errori e gli avvisi relativi all'attività di archiviazione dei dati sul tuo file system vengono registrati in Amazon Logs. CloudWatch Per informazioni sulla configurazione della registrazione, consulta. Gestione della registrazione

  9. In Backup e manutenzione, facoltativo, è possibile effettuare le seguenti operazioni.

    Per i backup automatici giornalieri:

    • Disattiva il backup automatico giornaliero. Questa opzione è abilitata per impostazione predefinita, a meno che non sia stata abilitata l'opzione Import/Export di Data Repository,.

    • Imposta l'ora di inizio per la finestra di backup automatico giornaliero.

    • Imposta il periodo di conservazione del backup automatico, da 1 a 35 giorni.

    Per ulteriori informazioni, consulta Utilizzo dei backup.

  10. Imposta l'ora di inizio della finestra di manutenzione settimanale o mantienila impostata sull'impostazione predefinita Nessuna preferenza.

  11. Per Root Squash: facoltativo, root squash è disabilitato per impostazione predefinita. Per informazioni sull'attivazione e la configurazione di root squash, consulta. Per abilitare root squash durante la creazione di un file system (console)

  12. Crea tutti i tag che desideri applicare al tuo file system.

  13. Scegli Avanti per visualizzare la pagina di riepilogo della creazione del file system.

  14. Controlla le impostazioni del tuo file system Amazon FSx for Lustre e scegli Create file system.

Ora che hai creato il tuo file system, annota il nome di dominio completo e il nome di montaggio per un passaggio successivo. Puoi trovare il nome di dominio completo e il nome di mount per un file system scegliendo il nome del file system nella dashboard Caches e quindi scegliendo Allega.

Passaggio 2: installare e configurare il client Lustre

Prima di poter accedere al file system Amazon FSx for Lustre dall'EC2istanza Amazon, devi fare quanto segue:

  • Verifica che l'EC2istanza soddisfi i requisiti minimi del kernel.

  • Aggiorna il kernel se necessario.

  • Scaricate e installate il client Lustre.

Per verificare la versione del kernel e scaricare il client Lustre

  1. Apri una finestra di terminale sulla tua EC2 istanza.

  2. Determina quale kernel è attualmente in esecuzione sulla tua istanza di calcolo eseguendo il comando seguente.

    uname -r

  3. Esegui una di queste operazioni:

    • Se il comando restituisce 6.1.79-99.167.amzn2023.x86_64 per le istanze basate su x86 6.1.79-99.167.amzn2023.aarch64 o una versione successiva per EC2 le istanze basate su Graviton2, scarica e EC2 installa il client Lustre con il seguente comando.

      sudo dnf install -y lustre-client

    • Se il comando restituisce un risultato inferiore a quello delle 6.1.79-99.167.amzn2023.x86_64 istanze basate su x86 o inferiore 6.1.79-99.167.amzn2023.aarch64 a quello EC2 delle istanze basate su Graviton2, aggiorna il kernel e riavvia l'EC2istanza Amazon eseguendo il comando seguente. EC2 

      sudo dnf -y update kernel && sudo reboot

      Conferma che il kernel è stato aggiornato utilizzando il comando. uname -r Quindi scarica e installa il client Lustre come descritto sopra.

    Per informazioni sull'installazione del client Lustre su altre distribuzioni Linux, consulta. Installazione del client Lustre

Fase 3: Montare il file system

Per montare il file system, è necessario creare una directory o un punto di montaggio, quindi montare il file system sul client e verificare che il client possa accedere al file system.

Per montare il file system

  1. Utilizzare il comando seguente per creare una cartella da usare come punto di montaggio.

    sudo mkdir -p /mnt/fsx

  2. Installa il file system Amazon FSx for Lustre nella directory che hai creato. Usa il seguente comando e sostituisci i seguenti elementi:

    • Sostituire file_system_dns_name con il nome Domain Name System (DNS) effettivo del file system.

    • Sostituiscilo mountname con il nome di mount del file system, che puoi ottenere eseguendo il describe-file-systems AWS CLI comando o l'DescribeFileSystemsAPIoperazione.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Questo comando monta il file system con due opzioni -o relatime eflock:

    • relatime— Sebbene l'atimeopzione mantenga atime (tempi di accesso agli inode) i dati per ogni accesso a un file, l'relatimeopzione mantiene anche atime i dati, ma non per ogni volta che si accede a un file. Con l'relatimeopzione abilitata, atime i dati vengono scritti su disco solo se il file è stato modificato dall'ultimo aggiornamento atime dei dati (mtime) o se l'ultimo accesso al file è avvenuto più di un certo periodo di tempo fa (6 ore per impostazione predefinita). L'utilizzo dell'atimeopzione relatime o ottimizzerà i processi di rilascio dei file.

      Nota

      Se il carico di lavoro richiede una precisione precisa nel tempo di accesso, puoi montarlo con l'opzione di atime montaggio. Tuttavia, ciò può influire sulle prestazioni del carico di lavoro aumentando il traffico di rete necessario per mantenere valori precisi del tempo di accesso.

      Se il carico di lavoro non richiede tempi di accesso ai metadati, l'utilizzo dell'opzione di noatime montaggio per disabilitare gli aggiornamenti al tempo di accesso può fornire un miglioramento delle prestazioni. Tieni presente che atime processi specifici come il rilascio dei file o il rilascio della validità dei dati saranno imprecisi al momento del rilascio.

    • flock— Abilita il blocco dei file per il file system. Se non vuoi abilitare il blocco dei file, usa il mount comando without. flock

  3. Verificate che il comando mount abbia avuto successo elencando il contenuto della directory in cui avete montato il file system/mnt/fsx, utilizzando il comando seguente.

    ls /mnt/fsx
import-path  lustre
$

    È inoltre possibile utilizzare il df comando seguente.

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    I risultati mostrano il FSx file system Amazon montato su /mnt/fsx.

Fase 4: Esegui il tuo flusso di lavoro

Ora che il file system è stato creato e montato su un'istanza di calcolo, puoi utilizzarlo per eseguire il tuo carico di lavoro di elaborazione ad alte prestazioni.

Puoi creare un'associazione di repository di dati per collegare il tuo file system a un repository di dati Amazon S3. Per ulteriori informazioni, consulta. Collegamento del file system a un bucket Amazon S3

Dopo aver collegato il file system a un repository di dati Amazon S3, puoi esportare i dati che hai scritto nel file system nel tuo bucket Amazon S3 in qualsiasi momento. Da un terminale su una delle tue istanze di calcolo, esegui il comando seguente per esportare un file nel tuo bucket Amazon S3.

sudo lfs hsm_archive file_name

Per ulteriori informazioni su come eseguire rapidamente questo comando su una cartella o su una grande raccolta di file, consulta. Esportazione di file tramite comandi HSM

Fase 5: eliminazione delle risorse

Dopo aver terminato questo esercizio, segui questi passaggi per ripulire le tue risorse e proteggere il tuo AWS account.

Per eliminare le risorse

  1. Se desideri eseguire un'esportazione finale, esegui il comando seguente.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. Sulla EC2 console Amazon, interrompi l'istanza. Per ulteriori informazioni, consulta Terminate Your Instance nella Amazon EC2 User Guide.

  3. Sulla console Amazon FSx for Lustre, elimina il file system con la seguente procedura:

    1. Nel pannello di navigazione, scegli File system.

    2. Scegli il file system che desideri eliminare dall'elenco dei file system sulla dashboard.

    3. In Azioni, seleziona Elimina file system.

    4. Nella finestra di dialogo che appare, scegli se desideri eseguire un backup finale del file system. Fornisci quindi l'ID del file system per confermare l'eliminazione. Scegli Elimina file system.

  4. Se hai creato un bucket Amazon S3 per questo esercizio e non desideri conservare i dati che hai esportato, ora puoi eliminarlo. Per ulteriori informazioni, consulta Eliminazione di un bucket nella Guida per l'utente di Amazon Simple Storage Service.