Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
What is Amazon FSx for Lustre?
FSx for Lustre semplifica ed economica l'avvio e l'esecuzione del popolare file system ad alte prestazioni. Lustre Usi Lustre per carichi di lavoro in cui la velocità è importante, come l'apprendimento automatico, l'High Performance Computing (HPC), l'elaborazione video e la modellazione finanziaria.
Il Lustre file system è progettato per applicazioni che richiedono uno storage rapido, laddove si desidera che lo storage rimanga al passo con l'elaborazione. Lustreè stato creato per risolvere il problema dell'elaborazione rapida ed economica dei set di dati in continua crescita a livello mondiale. È un file system ampiamente utilizzato progettato per i computer più veloci al mondo. Fornisce latenze inferiori al millisecondo, fino a più TBps di throughput e fino a milioni di IOPS. Per ulteriori informazioni su, consulta il sito Web. LustreLustre
Essendo un servizio completamente gestito, Amazon FSx ne semplifica l'utilizzo Lustre per carichi di lavoro in cui la velocità di storage è importante. FSx for Lustre elimina la tradizionale complessità di configurazione Lustre e gestione dei file system, consentendoti di avviare ed eseguire in pochi minuti un file system ad alte prestazioni testato sul campo. Fornisce inoltre diverse opzioni di implementazione e classi di storage in modo da ottimizzare i costi in base alle proprie esigenze.
FSx for POSIX-compliant Lustre lo è, quindi puoi utilizzare le Linux-based tue applicazioni correnti senza dover apportare modifiche. FSx for Lustre fornisce un'interfaccia di file system nativa e funziona come qualsiasi file system con il sistema operativo Linux. Fornisce inoltre coerenza di lettura dopo scrittura e supporta il blocco dei file.
Diverse opzioni di implementazione e classi di archiviazione
Amazon FSx for Lustre offre una scelta di file system scratch e persistenti per soddisfare diverse esigenze di elaborazione dei dati. I file system temporanei sono l’ideale per l’archiviazione temporanea e l’elaborazione dei dati a breve termine. I dati non vengono replicati e non persistono in caso di errore del file server. I file system persistenti sono ideali per lo storage a lungo termine e per carichi di lavoro incentrati sul throughput. Nei file system persistenti, i dati vengono replicati e i file server vengono sostituiti in caso di guasto. Per ulteriori informazioni, consulta Opzioni di implementazione e classe di storage per i file system FSx for Lustre.
Amazon FSx for Lustre offre classi di storage per unità a stato solido (SSD Intelligent-Tiering) e unità disco rigido (HDD) ottimizzate per diversi requisiti di elaborazione dei dati:
La classe di storage SSD è ottimizzata per carichi di lavoro che richiedono operazioni casuali su file di piccole dimensioni e richiedono fino a TBps di throughput. Fornisce un accesso costante con latenza inferiore al millisecondo all'intero set di dati.
La classe Intelligent-Tiering di storage è adatta e consigliata per la maggior parte dei carichi di lavoro che non richiedono una latenza costante a bassa latenza nell'intero set di dati. Fornisce uno storage completamente elastico ed economico, fino a più TBps di throughput e accesso con latenza inferiore al millisecondo ai dati a cui si accede di frequente con una cache di lettura SSD opzionale.
La classe di storage HDD può essere utilizzata con carichi di lavoro che richiedono una latenza costante in ms a una cifra e un throughput fino a decine di GBps per l'intero set di dati. Opzionalmente, puoi fornire una cache di lettura SSD con dimensioni pari al 20% della capacità di archiviazione dell'HDD.
Per ulteriori informazioni, consulta Classi di storage FSx for Lustre.
FSx for Lustre e archivi di dati
Puoi collegare i file system FSx for Lustre ai repository di dati su Amazon S3 o agli archivi dati locali.
Integrazione del repository di dati FSx for Lustre S3
FSx for Lustre si integra con Amazon S3, semplificando l'elaborazione dei set di dati nel cloud Lustre utilizzando il file system ad alte prestazioni. Se collegato a un bucket Amazon S3, un file system FSx for Lustre presenta in modo trasparente gli oggetti S3 come file. Amazon FSx importa gli elenchi di tutti i file esistenti nel bucket S3 al momento della creazione del file system. Amazon FSx può anche importare elenchi di file aggiunti al repository di dati dopo la creazione del file system. Puoi impostare le preferenze di importazione in base alle tue esigenze di flusso di lavoro. Il file system consente inoltre di riscrivere i dati del file system su S3. Le attività di data repository semplificano il trasferimento di dati e metadati tra il file system FSx for Lustre e il suo durevole repository di dati su Amazon S3. Per ulteriori informazioni, consultare Utilizzo di repository di dati con Amazon FSx for Lustre e Attività di archiviazione dei dati.
FSx for Lustre e archivi di dati locali
Con Amazon FSx for Lustre, puoi Cloud AWS suddividere i carichi di lavoro di elaborazione dei dati da locale a importando dati utilizzando o. Direct Connect Site-to-Site VPN Per ulteriori informazioni, consulta Utilizzo di Amazon FSx con i dati locali.
Accesso ai file system FSx for Lustre
Puoi combinare i tipi di istanze di calcolo e le AMI (Amazon Machine Images) Linux collegati a un singolo file system FSx for Lustre.
I file system Amazon FSx for Lustre sono accessibili dai carichi di lavoro di calcolo in esecuzione su istanze Docker Amazon Elastic Compute Cloud (Amazon EC2), su contenitori Amazon Elastic Container Service (Amazon ECS) e contenitori in esecuzione su Amazon Elastic Kubernetes Service (Amazon EKS).
Amazon EC2: accedi al tuo file system dalle istanze di calcolo Amazon EC2 utilizzando il client open source. Lustre Le istanze Amazon EC2 possono accedere al file system da altre zone di disponibilità all'interno dello stesso Amazon Virtual Private Cloud (Amazon VPC), a condizione che la configurazione di rete preveda l'accesso tra sottoreti all'interno del VPC. Dopo aver montato il file system Amazon FSx for Lustre, puoi lavorare con i relativi file e directory proprio come se utilizzassi un file system locale.
Amazon EKS : accedi ad Amazon FSx for Lustre dai container in esecuzione su Amazon EKS utilizzando il driver CSI open source FSx for Lustre, come descritto nella Guida per l'utente di Amazon EKS. I contenitori in esecuzione su Amazon EKS possono utilizzare volumi persistenti (PV) ad alte prestazioni supportati da Amazon FSx for Lustre.
Amazon ECS: accedi ad Amazon FSx for Lustre dai contenitori Amazon ECS Docker su istanze Amazon EC2. Per ulteriori informazioni, consulta Montaggio da Amazon Elastic Container Service.
Amazon FSx for Lustre è compatibile con le AMI Linux-based più diffuse, tra cui Amazon Linux 2023 e Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu e SUSE Linux. Il Lustre client è incluso in Amazon Linux 2023 e Amazon Linux 2. Per RHEL, CentOS e Ubuntu, AWS Lustre un repository client fornisce client compatibili con questi sistemi operativi.
Utilizzando FSx for Lustre, è possibile suddividere i carichi di lavoro ad alta intensità di calcolo dall'ambiente locale Cloud AWS all'importazione di dati tramite o. Direct Connect AWS Virtual Private Network Puoi accedere al tuo file system Amazon FSx da locale, copiare i dati nel file system secondo necessità ed eseguire carichi di lavoro a elaborazione intensiva su istanze in-cloud.
Per ulteriori informazioni sui client, le istanze di calcolo e gli ambienti da cui è possibile accedere ai file system FSx for Lustre, vedere. Accesso ai file system
Integrazioni con AWS services
Amazon FSx for Lustre si integra con SageMaker Amazon AI come fonte di dati di input. Quando si utilizza l' SageMaker intelligenza artificiale con FSx for Lustre, i lavori di formazione sull'apprendimento automatico vengono accelerati eliminando la fase iniziale di download da Amazon S3. Inoltre, il costo totale di proprietà (TCO) viene ridotto evitando il download ripetitivo di oggetti comuni per lavori iterativi sullo stesso set di dati e risparmiando sui costi delle richieste S3. Per ulteriori informazioni, consulta Che cos'è l'IA? SageMaker nella Amazon SageMaker AI Developer Guide. Per una guida dettagliata su come usare Amazon FSx for Lustre come fonte SageMaker di dati per l'intelligenza artificiale, consulta Speed up training on Amazon AI using Amazon FSx for Lustre e i file system SageMaker Amazon EFS
FSx for Lustre si AWS Batch integra con l'utilizzo dei modelli di avvio EC2. AWS Batch consente di eseguire carichi di lavoro di elaborazione in batch su Cloud AWS, tra cui High Performance Computing (HPC), machine learning (ML) e altri carichi di lavoro asincroni. AWS Batch ridimensiona automaticamente e dinamicamente le istanze in base ai requisiti delle risorse lavorative. Per ulteriori informazioni, consulta What Is? AWS Batch nella Guida AWS Batch per l'utente.
FSx for AWS ParallelCluster Lustre si integra con. AWS ParallelCluster è uno strumento AWS di gestione dei cluster open source supportato utilizzato per implementare e gestire i cluster HPC. Può creare automaticamente i file system FSx for Lustre o utilizzare i file system esistenti durante il processo di creazione del cluster.
Conformità e sicurezza
I file system FSx for Lustre supportano la crittografia a riposo e in transito. Amazon FSx crittografa automaticamente i dati del file system inattivi utilizzando chiavi gestite in AWS Key Management Service ().AWS KMS I dati in transito vengono inoltre crittografati automaticamente sui file system, in alcuni casi Regioni AWS quando vi si accede da istanze Amazon EC2 supportate. Per ulteriori informazioni sulla crittografia dei dati in FSx for Lustre Regioni AWS , incluso dove è supportata la crittografia dei dati in transito, vedere. Crittografia dei dati in Amazon FSx per Lustre Amazon FSx è stato valutato come conforme alle certificazioni ISO e SOC ed è idoneo allo standard HIPAA. PCI-DSS Per ulteriori informazioni, consulta Sicurezza in Amazon FSx for Lustre.
Presupposti
In questa guida, facciamo i seguenti presupposti:
-
Se utilizzi Amazon Elastic Compute Cloud (Amazon EC2) Elastic Compute Cloud (Amazon EC2), supponiamo che tu conosca bene quel servizio. Per ulteriori informazioni su come usare Amazon EC2, consulta la documentazione di Amazon EC2.
-
Partiamo dal presupposto che tu abbia dimestichezza con l'uso di Amazon Virtual Private Cloud (Amazon VPC). Per ulteriori informazioni su come usare Amazon VPC, consulta la Amazon VPC User Guide.
-
Partiamo dal presupposto che tu non abbia cambiato le regole sul gruppo di sicurezza predefinito per il tuo VPC basato sul servizio Amazon VPC. In caso affermativo, assicurati di aggiungere le regole necessarie per consentire il traffico di rete dall'istanza Amazon EC2 al file system Amazon FSx for Lustre. Per ulteriori dettagli, consultare Controllo degli accessi ai file system con Amazon VPC.
Prezzi di Amazon FSx for Lustre
Con Amazon FSx for Lustre, non ci sono costi hardware o software iniziali. Paghi solo per le risorse utilizzate, senza impegni minimi, costi di configurazione o costi aggiuntivi. Per informazioni sui prezzi e le commissioni associati al servizio, consulta i prezzi di Amazon FSx for Lustre
Forum di Amazon FSx for Lustre
Se riscontri problemi durante l'utilizzo di Amazon FSx for Lustre, consulta i forum.
Sei un utente alle prime armi di Amazon FSx for Lustre?
Se sei un utente alle prime armi di Amazon FSx for Lustre, ti consigliamo di leggere le seguenti sezioni nell'ordine:
-
Se sei pronto a creare il tuo primo file system Amazon FSx for Lustre, prova. Guida introduttiva ad Amazon FSx for Lustre
-
Per ulteriori informazioni sulle prestazioni, consultare la pagina Prestazioni di Amazon FSx for Lustre.
-
Per informazioni sul collegamento del file system a un repository di dati di bucket Amazon S3, consulta. Utilizzo di repository di dati con Amazon FSx for Lustre
-
Per i dettagli sulla sicurezza di Amazon FSx for Lustre, consulta. Sicurezza in Amazon FSx for Lustre
-
Per informazioni sui limiti di scalabilità di Amazon FSx for Lustre, inclusi il throughput e le dimensioni del file system, consulta. Quote di servizio per Amazon FSx for Lustre
-
Per informazioni sull'API Amazon FSx for Lustre, consulta il riferimento all'API Amazon FSx for Lustre.
