Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Guida introduttiva ad Amazon FSx for Lustre
Di seguito, puoi scoprire come iniziare a usare Amazon FSx for Lustre. Questi passaggi ti guidano nella creazione di un file system Amazon FSx for Lustre e nell'accesso ad esso dalle tue istanze di calcolo. Facoltativamente, mostrano come utilizzare il file system Amazon FSx for Lustre per elaborare i dati nel bucket Amazon S3 con le applicazioni basate su file.
Questo esercizio introduttivo include i seguenti passaggi.
Argomenti
Prerequisiti
Per eseguire questo esercizio introduttivo, è necessario quanto segue:
-
Un AWS account con le autorizzazioni necessarie per creare un file system Amazon FSx for Lustre e un'istanza Amazon EC2 . Per ulteriori informazioni, consulta Configurazione Amazon FSx for Lustre.
-
Crea un gruppo di sicurezza Amazon VPC da associare al file system FSx for Lustre e non modificarlo dopo la creazione del file system. Per ulteriori informazioni, consulta Creare un gruppo di sicurezza per il tuo FSx file system Amazon.
-
Un' EC2 istanza Amazon che esegue una versione Linux supportata nel tuo cloud privato virtuale (VPC) basato sul servizio Amazon VPC. Per questo esercizio introduttivo, ti consigliamo di usare Amazon Linux 2023. Installerai il Lustre client su questa EC2 istanza, quindi monta il file system FSx for Lustre sull' EC2 istanza. Per ulteriori informazioni sulla creazione di un' EC2 istanza, consulta Getting started: Launch an instance o Launch your instance nella Amazon EC2 User Guide.
Oltre ad Amazon Linux 2023, Lustre il client supporta i sistemi operativi Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server e Ubuntu. Per ulteriori informazioni, consulta Lustre compatibilità tra file system e kernel client.
-
Quando crei l' EC2 istanza Amazon per questo esercizio introduttivo, tieni presente quanto segue:
-
Ti consigliamo di creare l'istanza nel tuo VPC predefinito.
-
Ti consigliamo di utilizzare il gruppo di sicurezza predefinito durante la creazione dell' EC2 istanza.
-
Determina il tipo di file system Amazon FSx for Lustre che desideri creare, scratch o persistente. Per ulteriori informazioni, consulta Opzioni di implementazione FSx per i file system Lustre.
Ogni file system FSx for Lustre richiede un indirizzo IP per ogni server di metadati (MDS) e un indirizzo IP per ogni server di storage (OSS).
Tipo di file system Produttività, /TiB MBps Archiviazione per sistema operativo Persistente 2 EFA 125 38,4 TiB/OSS 250 19,2 TiB per sistema operativo 500 8,6 TiB per sistema operativo 1000 4,8 TiB per sistema operativo Persistente 2 non EFA 125, 250, 500, 1000 2,4 TiB per sistema operativo 1 SSD persistente 50, 100, 200 2,4 TiB per sistema operativo HDD persistente 12 6 TiB per sistema operativo 40 1,8 TiB per sistema operativo Scratch 2 200 2,4 TiB per sistema operativo Scratch 1 200 3,6 TiB per sistema operativo Un bucket Amazon S3 che archivia i dati per l'elaborazione del carico di lavoro. Il bucket S3 sarà il repository di dati durevole collegato per il file system for Lustre. FSx
Passaggio 1: crea il tuo FSx file system for Lustre
Crei il tuo file system nella FSx console Amazon.
Per creare il file system
-
Apri la FSx console Amazon all'indirizzo https://console.aws.amazon.com/fsx/
. -
Dalla dashboard, scegli Crea file system per avviare la procedura guidata di creazione del file system.
-
Scegliere FSx for Lustrequindi scegli Avanti per visualizzare la pagina Crea file system.
-
Fornisci le informazioni nella sezione Dettagli del file system:
Per il nome del file system, facoltativo, fornite un nome per il file system. È possibile utilizzare fino a 256 lettere Unicode, spazi bianchi e numeri più i caratteri speciali + - =. _:/.
-
Per la classe di distribuzione e archiviazione, scegli una delle opzioni:
Scegli il tipo di implementazione SSD persistente per lo storage a lungo termine e per i carichi di lavoro sensibili alla latenza che richiedono i massimi livelli di IOPS/throughput. Persistente, l'SSD utilizza Persistent 2, il file system persistente di ultima generazione.
Facoltativamente, scegli con il supporto EFA per abilitare il supporto Elastic Fabric Adapter (EFA) per il file system. Per ulteriori informazioni su EFA, consulta. Utilizzo di file system compatibili con EFA
Scegli il tipo di implementazione HDD persistente per lo storage a lungo termine e per carichi di lavoro incentrati sul throughput che non sono sensibili alla latenza. Persistente, l'HDD utilizza il tipo di distribuzione Persistent 1.
Opzionalmente, scegli la cache SSD per creare una cache SSD con dimensioni pari al 20% della capacità di archiviazione dell'HDD per fornire latenze inferiori al millisecondo e IOPS più elevati per i file a cui si accede di frequente.
Scegli il tipo di implementazione Scratch, SSD per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. Scratch, SSD utilizza i file system Scratch 2.
Scegli la quantità di velocità effettiva per unità di storage per il tuo file system. Questa opzione è valida solo per i tipi di distribuzione persistente.
Il throughput per unità di storage è la quantità di velocità effettiva di lettura e scrittura per ogni 1 tebibyte (TiB) di storage fornito, in /TiB. MBps Paghi in base alla quantità di velocità effettiva fornita:
Per l'archiviazione SSD persistente, scegli un valore di 125, 250, 500 o 1.000 MBps /TiB.
Per l'archiviazione su HDD persistente, scegli un valore di 12 o 40 /TiB. MBps
-
Per Capacità di archiviazione, imposta la quantità di capacità di archiviazione per il file system, in TiB:
Per un tipo di distribuzione SSD persistente, impostalo su un valore di 1,2 TiB, 2,4 TiB o incrementi di 2,4 TiB.
Per un tipo di implementazione SSD persistente abilitato per EFA, imposta questo valore in incrementi di 4,8 TiB, 8,6 TiB, 19,2 TiB e 38,4 TiB per i livelli di throughput rispettivamente di 1000, 500, 250 e 125 /TiB. MBps
Per un tipo di distribuzione su disco rigido persistente, questo valore può essere costituito da incrementi di 6,0 TiB per file system da MBps 12 /TiB e incrementi di 1,8 TiB per file system da 40 /TiB. MBps
È possibile aumentare la capacità di storage in base alle esigenze dopo aver creato il file system. Per ulteriori informazioni, consulta Gestione della capacità di archiviazione.
-
Per la configurazione dei metadati, sono disponibili due opzioni per assegnare il numero di IOPS di metadati per il file system:
-
Scegli Automatico (impostazione predefinita) se desideri che Amazon FSx esegua automaticamente il provisioning e ridimensioni gli IOPS dei metadati sul tuo file system in base alla capacità di storage del file system.
-
Scegli User-provisioned se desideri specificare il numero di IOPS di metadati da fornire per il tuo file system. I valori validi sono
1500
,3000
,6000
12000
, e multipli di12000
, fino a un massimo di.192000
Per ulteriori informazioni su Metadata IOPS, vedere. Lustre configurazione delle prestazioni dei metadati
-
-
Per il tipo di compressione dei dati, scegli NESSUNO per disattivare la compressione dei dati o scegli di LZ4attivare la compressione dei dati con l' LZ4 algoritmo. Per ulteriori informazioni, consulta Lustre compressione dei dati.
Tutti i file system FSx for Lustre sono basati su Lustre versione 2.15 se creata utilizzando la FSx console Amazon.
-
Nella sezione Rete e sicurezza, fornisci le seguenti informazioni sul gruppo di rete e sicurezza:
Per Virtual Private Cloud (VPC), scegli il VPC che desideri associare al tuo file system. Per questo esercizio introduttivo, scegli lo stesso VPC che hai scelto per la tua istanza Amazon EC2 .
Per i gruppi di sicurezza VPC, l'ID del gruppo di sicurezza predefinito per il tuo VPC dovrebbe essere già stato aggiunto.
Se non utilizzi il gruppo di sicurezza predefinito, assicurati di aggiungere la seguente regola in entrata al gruppo di sicurezza che stai utilizzando per questo esercizio introduttivo.
Tipo Protocollo Intervallo porte Origine Descrizione Tutte le regole TCP TCP 0-65535 Personalizzato the_ID_of_this_security_group
In entrata Lustre regola del traffico Importante
Assicurati che il gruppo di sicurezza che stai utilizzando segua le istruzioni di configurazione fornite inControllo degli accessi ai file system con Amazon VPC. È necessario configurare il gruppo di sicurezza per consentire il traffico in entrata sulle porte 988 e 1018-1023 dal gruppo di sicurezza stesso o dall'intera sottorete CIDR, necessaria per consentire agli host del file system di comunicare tra loro.
-
Per Subnet, scegliete un valore qualsiasi dall'elenco delle sottoreti disponibili.
-
Per la sezione Crittografia, le opzioni disponibili variano a seconda del tipo di file system che state creando:
-
Per un file system persistente, puoi scegliere una chiave di crittografia AWS Key Management Service (AWS KMS) per crittografare i dati del file system inattivo.
-
Per un file system scratch, i dati inattivi vengono crittografati utilizzando chiavi gestite da AWS.
-
Per i file system scratch 2 e persistenti, i dati in transito vengono crittografati automaticamente quando si accede al file system da un tipo di EC2 istanza Amazon supportato. Per ulteriori informazioni, consulta Crittografia dei dati in transito.
-
-
Per la sezione Data Repository Import/Export - opzionale, il collegamento del file system agli archivi di dati di Amazon S3 è disabilitato per impostazione predefinita. Per informazioni sull'attivazione di questa opzione e sulla creazione di un'associazione di repository di dati a un bucket S3 esistente, consulta. Per collegare un bucket S3 durante la creazione di un file system (console)
Importante
La selezione di questa opzione disabilita anche i backup e non sarà possibile abilitarli durante la creazione del file system.
Se colleghi uno o più file system Amazon FSx for Lustre a un bucket Amazon S3, non eliminare il bucket Amazon S3 finché tutti i file system collegati non sono stati eliminati.
-
Per la registrazione: facoltativa, la registrazione è abilitata per impostazione predefinita. Se abilitato, gli errori e gli avvisi relativi all'attività di archiviazione dei dati sul tuo file system vengono registrati in Amazon Logs. CloudWatch Per informazioni sulla configurazione della registrazione, consulta. Gestione della registrazione
-
In Backup e manutenzione, facoltativo, è possibile effettuare le seguenti operazioni.
Per i backup automatici giornalieri:
-
Disattiva il backup automatico giornaliero. Questa opzione è abilitata per impostazione predefinita, a meno che non sia stata abilitata l'opzione Import/Export di Data Repository,.
-
Imposta l'ora di inizio per la finestra di backup automatico giornaliero.
-
Imposta il periodo di conservazione del backup automatico, da 1 a 35 giorni.
Per ulteriori informazioni, consulta Utilizzo dei backup.
-
-
Imposta l'ora di inizio della finestra di manutenzione settimanale o mantienila impostata sull'impostazione predefinita Nessuna preferenza.
-
Per Root Squash: facoltativo, root squash è disabilitato per impostazione predefinita. Per informazioni sull'attivazione e la configurazione di root squash, consulta. Per abilitare root squash durante la creazione di un file system (console)
-
Crea tutti i tag che desideri applicare al tuo file system.
-
Scegli Avanti per visualizzare la pagina di riepilogo della creazione del file system.
-
Controlla le impostazioni del tuo file system Amazon FSx for Lustre e scegli Create file system.
Ora che hai creato il tuo file system, annota il nome di dominio completo e il nome di montaggio per un passaggio successivo. Puoi trovare il nome di dominio completo e il nome di mount per un file system scegliendo il nome del file system nella dashboard Caches e quindi scegliendo Allega.
Fase 2: Installare e configurare Lustre client
Prima di poter accedere al file system Amazon FSx for Lustre dall' EC2 istanza Amazon, devi fare quanto segue:
Verifica che l' EC2 istanza soddisfi i requisiti minimi del kernel.
Aggiorna il kernel se necessario.
Scaricate e installate il Lustre cliente.
Per verificare la versione del kernel e scaricare il Lustre client
-
Apri una finestra di terminale sulla tua EC2 istanza.
-
Determina quale kernel è attualmente in esecuzione sulla tua istanza di calcolo eseguendo il comando seguente.
uname -r
-
Esegui una di queste operazioni:
-
Se il comando viene restituito
6.1.79-99.167.amzn2023.x86_64
per le istanze basate su x866.1.79-99.167.amzn2023.aarch64
o una versione successiva per EC2 le istanze basate su EC2 Graviton2, scarica e installa il Lustre client con il seguente comando.sudo dnf install -y lustre-client
-
Se il comando restituisce un risultato inferiore a quello delle
6.1.79-99.167.amzn2023.x86_64
istanze basate su x86 o inferiore6.1.79-99.167.amzn2023.aarch64
a quello EC2 delle istanze basate su Graviton2, aggiorna il kernel e riavvia l' EC2 istanza Amazon eseguendo il comando seguente. EC2sudo dnf -y update kernel && sudo reboot
Conferma che il kernel è stato aggiornato utilizzando il comando. uname -r Quindi scarica e installa il Lustre client come descritto sopra.
Per informazioni sull'installazione di Lustre client su altre distribuzioni Linux, vedereInstallazione di Lustre client.
-
Fase 3: Montare il file system
Per montare il file system, è necessario creare una directory o un punto di montaggio, quindi montare il file system sul client e verificare che il client possa accedere al file system.
Per montare il file system
-
Utilizzare il comando seguente per creare una cartella da usare come punto di montaggio.
sudo mkdir -p /mnt/fsx
-
Installa il file system Amazon FSx for Lustre nella directory che hai creato. Usa il seguente comando e sostituisci i seguenti elementi:
Sostituire
con il nome DNS (Domain Name System) effettivo del file system.file_system_dns_name
Sostituiscilo
con il nome di mount del file system, che puoi ottenere eseguendo il describe-file-systems AWS CLI comando o l'operazione DescribeFileSystemsAPI.mountname
sudo mount -t lustre -o relatime,flock
file_system_dns_name
@tcp:/mountname
/mnt/fsxQuesto comando monta il file system con due opzioni
-o relatime
eflock
:-
relatime
— Sebbene l'atime
opzione mantengaatime
(tempi di accesso agli inode) i dati per ogni accesso a un file, l'relatime
opzione mantiene ancheatime
i dati, ma non per ogni volta che si accede a un file. Con l'relatime
opzione abilitata,atime
i dati vengono scritti su disco solo se il file è stato modificato dall'ultimo aggiornamentoatime
dei dati (mtime
) o se l'ultimo accesso al file è avvenuto più di un certo periodo di tempo fa (6 ore per impostazione predefinita). L'utilizzo dell'atime
opzionerelatime
o ottimizzerà i processi di rilascio dei file.Nota
Se il carico di lavoro richiede una precisione precisa nel tempo di accesso, puoi montarlo con l'opzione di
atime
montaggio. Tuttavia, ciò può influire sulle prestazioni del carico di lavoro aumentando il traffico di rete necessario per mantenere valori precisi del tempo di accesso.Se il carico di lavoro non richiede tempi di accesso ai metadati, l'utilizzo dell'opzione di
noatime
montaggio per disabilitare gli aggiornamenti al tempo di accesso può fornire un miglioramento delle prestazioni. Tieni presente cheatime
processi specifici come il rilascio dei file o il rilascio della validità dei dati saranno imprecisi al momento del rilascio. -
flock
— Abilita il blocco dei file per il file system. Se non vuoi abilitare il blocco dei file, usa ilmount
comando without.flock
-
Verificate che il comando mount abbia avuto successo elencando il contenuto della directory in cui avete montato il file system
/mnt/fsx
, utilizzando il comando seguente.ls /mnt/fsx
import-path lustre $È inoltre possibile utilizzare il
df
comando seguente.df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/
mountname
3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000I risultati mostrano che il FSx file system Amazon è stato montatoon /mnt/fsx.
Fase 4: Esegui il tuo flusso di lavoro
Ora che il file system è stato creato e montato su un'istanza di calcolo, puoi utilizzarlo per eseguire il tuo carico di lavoro di elaborazione ad alte prestazioni.
Puoi creare un'associazione di repository di dati per collegare il tuo file system a un repository di dati Amazon S3. Per ulteriori informazioni, consulta. Collegamento del file system a un bucket Amazon S3
Dopo aver collegato il file system a un repository di dati Amazon S3, puoi esportare i dati che hai scritto nel file system nel tuo bucket Amazon S3 in qualsiasi momento. Da un terminale su una delle tue istanze di calcolo, esegui il comando seguente per esportare un file nel tuo bucket Amazon S3.
sudo lfs hsm_archive
file_name
Per ulteriori informazioni su come eseguire rapidamente questo comando su una cartella o su una grande raccolta di file, consulta. Esportazione di file utilizzando i comandi HSM
Fase 5: eliminazione delle risorse
Dopo aver terminato questo esercizio, segui questi passaggi per ripulire le tue risorse e proteggere il tuo AWS account.
Per eliminare le risorse
-
Se desideri eseguire un'esportazione finale, esegui il comando seguente.
nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
-
Sulla EC2 console Amazon, interrompi l'istanza. Per ulteriori informazioni, consulta Terminate Your Instance nella Amazon EC2 User Guide.
-
Sulla console Amazon FSx for Lustre, elimina il file system con la seguente procedura:
-
Nel pannello di navigazione, scegli File system.
-
Scegli il file system che desideri eliminare dall'elenco dei file system sulla dashboard.
-
In Azioni, seleziona Elimina file system.
-
Nella finestra di dialogo che appare, scegli se desideri eseguire un backup finale del file system. Fornisci quindi l'ID del file system per confermare l'eliminazione. Scegli Elimina file system.
-
-
Se hai creato un bucket Amazon S3 per questo esercizio e non desideri conservare i dati che hai esportato, ora puoi eliminarlo. Per ulteriori informazioni, consulta Eliminare un bucket nella Guida per l'utente di Amazon Simple Storage Service.