Cos'è Amazon FSx for Lustre?

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

FSx for Lustre rende facile ed economico il lancio e l'esecuzione del popolare sistema ad alte prestazioni Lustre file system. Usi Lustre per carichi di lavoro in cui la velocità è importante, come l'apprendimento automatico, l'High Performance Computing (HPC), l'elaborazione video e la modellazione finanziaria.

L'open source Lustre il file system è progettato per applicazioni che richiedono uno storage rapido, in cui si desidera che lo storage rimanga al passo con l'elaborazione. Lustre è stato creato per risolvere il problema dell'elaborazione rapida ed economica dei set di dati in continua crescita a livello mondiale. È un file system ampiamente utilizzato progettato per i computer più veloci al mondo. Fornisce latenze inferiori al millisecondo, fino a centinaia di velocità effettiva e fino a milioni GBps di IOPS. Per ulteriori informazioni su Lustre, vedi il Lustre sito web.

Essendo un servizio completamente gestito, Amazon ne FSx semplifica l'utilizzo Lustre per carichi di lavoro in cui la velocità di archiviazione è importante. FSx for Lustre elimina la tradizionale complessità di configurazione e gestione Lustre file system, che consentono di avviare ed eseguire un file system ad alte prestazioni testato in battaglia in pochi minuti. Fornisce inoltre diverse opzioni di implementazione in modo da ottimizzare i costi in base alle proprie esigenze.

FSx for Lustre è conforme a POSIX, quindi puoi usare le tue attuali applicazioni basate su Linux senza dover apportare modifiche. FSx for Lustre fornisce un'interfaccia di file system nativa e funziona come qualsiasi file system con il sistema operativo Linux. Fornisce inoltre read-after-write coerenza e supporta il blocco dei file.

Molteplici opzioni di implementazione

Amazon FSx for Lustre offre una scelta di file system scratch e persistenti per soddisfare diverse esigenze di elaborazione dei dati. I file system Scratch sono ideali per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. I dati non vengono replicati e non persistono in caso di guasto di un file server. I file system persistenti sono ideali per lo storage a lungo termine e per carichi di lavoro incentrati sul throughput. Nei file system persistenti, i dati vengono replicati e i file server vengono sostituiti in caso di guasto. Per ulteriori informazioni, consulta Opzioni di implementazione FSx per i file system Lustre.

Diverse opzioni di archiviazione

Amazon FSx for Lustre offre una scelta di opzioni di archiviazione su unità a stato solido (SSD) e unità disco rigido (HDD) ottimizzate per diversi requisiti di elaborazione dei dati:

Se si esegue il provisioning di un file system con l'opzione di archiviazione HDD, è possibile, facoltativamente, fornire una cache SSD di sola lettura con dimensioni pari al 20 percento della capacità di archiviazione dell'HDD. Ciò fornisce latenze inferiori al millisecondo e IOPS più elevati per i file a cui si accede di frequente. Sia i file system basati su SSD che quelli basati su HDD sono dotati di server di metadati basati su SSD. Di conseguenza, tutte le operazioni sui metadati, che rappresentano la maggior parte delle operazioni del file system, vengono eseguite con latenze inferiori al millisecondo.

Per ulteriori informazioni sulle prestazioni di queste opzioni di archiviazione, vedere. Prestazioni FSx di Amazon for Lustre

FSx per Lustre e gli archivi di dati

Puoi collegare FSx i file system Lustre ai repository di dati su Amazon S3 o agli archivi dati locali.

FSx per l'integrazione del repository di dati Lustre S3

FSx for Lustre si integra con Amazon S3, semplificando l'elaborazione dei set di dati nel cloud utilizzando Lustre file system ad alte prestazioni. Se collegato a un bucket Amazon S3, un file system FSx for Lustre presenta in modo trasparente gli oggetti S3 come file. Amazon FSx importa gli elenchi di tutti i file esistenti nel tuo bucket S3 al momento della creazione del file system. Amazon FSx può anche importare elenchi di file aggiunti all'archivio dati dopo la creazione del file system. Puoi impostare le preferenze di importazione in base alle tue esigenze di flusso di lavoro. Il file system consente inoltre di riscrivere i dati del file system su S3. Le attività di data repository semplificano il trasferimento di dati e metadati tra il file system FSx for Lustre e il suo repository di dati durevole su Amazon S3. Per ulteriori informazioni, consulta Utilizzo di repository di dati con Amazon FSx for Lustre e Attività di archiviazione dei dati.

FSx per Lustre e gli archivi di dati locali

Con Amazon FSx for Lustre, puoi suddividere i carichi di lavoro di elaborazione dei dati da locale a Cloud AWS importando dati utilizzando o. AWS Direct Connect AWS VPN Per ulteriori informazioni, consulta Usare Amazon FSx con i tuoi dati locali.

Accesso ai file system Lustre FSx

Puoi combinare tipi di istanze di calcolo e Amazon Machine Images (AMIs) Linux collegati a un unico file system FSx for Lustre.

I file system Amazon FSx for Lustre sono accessibili dai carichi di lavoro di calcolo in esecuzione su istanze Amazon Elastic Compute Cloud (Amazon EC2), su contenitori Amazon Elastic Container Service (Amazon ECS) Docker e contenitori in esecuzione su Amazon Elastic Kubernetes Service (Amazon EKS).

Amazon FSx for Lustre è compatibile con i più diffusi sistemi basati su Linux, AMIs tra cui Amazon Linux 2023 e Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu e SUSE Linux. Il Lustre il client è incluso in Amazon Linux 2023 e Amazon Linux 2. Per RHEL, CentOS e Ubuntu, un AWS Lustre client repository fornisce client compatibili con questi sistemi operativi.

Con FSx for Lustre, puoi trasferire i tuoi carichi di lavoro ad alta intensità di calcolo da locali a importando dati tramite o. Cloud AWS AWS Direct Connect AWS Virtual Private Network Puoi accedere al tuo FSx file system Amazon da locale, copiare i dati nel file system secondo necessità ed eseguire carichi di lavoro a elaborazione intensiva su istanze in-cloud.

Per ulteriori informazioni sui client, le istanze di calcolo e gli ambienti da cui è possibile accedere ai file system Lustre, consulta. FSx Accesso ai file system

Integrazioni con i servizi AWS

Amazon FSx for Lustre si integra con Amazon SageMaker AI come fonte di dati di input. Quando utilizzi l' SageMaker intelligenza artificiale con FSx for Lustre, i tuoi lavori di formazione sull'apprendimento automatico vengono accelerati eliminando la fase iniziale di download da Amazon S3. Inoltre, il costo totale di proprietà (TCO) viene ridotto evitando il download ripetitivo di oggetti comuni per lavori iterativi sullo stesso set di dati e risparmiando sui costi delle richieste S3. Per ulteriori informazioni, consulta Che cos'è l'IA? SageMaker nella Amazon SageMaker AI Developer Guide. Per una guida dettagliata su come usare Amazon FSx for Lustre come fonte di dati per l' SageMaker intelligenza artificiale, consulta Speed up training on Amazon AI SageMaker using Amazon FSx for Lustre e i file system Amazon EFS sul Machine AWS Learning Blog.

FSx for Lustre si integra con l'utilizzo di Launch Templates. AWS Batch EC2 AWS Batch consente di eseguire carichi di lavoro di elaborazione in batch su Cloud AWS, tra cui High Performance Computing (HPC), machine learning (ML) e altri carichi di lavoro asincroni. AWS Batch ridimensiona automaticamente e dinamicamente le istanze in base ai requisiti delle risorse lavorative. Per ulteriori informazioni, consulta What Is? AWS Batch nella Guida AWS Batch per l'utente.

FSx for Lustre si integra con. AWS ParallelCluster AWS ParallelCluster è uno strumento AWS di gestione dei cluster open source supportato utilizzato per distribuire e gestire i cluster HPC. Può creare automaticamente file system FSx per Lustre o utilizzare file system esistenti durante il processo di creazione del cluster.

Conformità e sicurezza

FSx i file system for Lustre supportano la crittografia a riposo e in transito. Amazon crittografa FSx automaticamente i dati del file system inattivi utilizzando chiavi gestite in AWS Key Management Service (AWS KMS). I dati in transito vengono inoltre crittografati automaticamente sui file system, in alcuni casi Regioni AWS quando vi si accede da EC2 istanze Amazon supportate. Per ulteriori informazioni sulla crittografia dei dati in FSx for Lustre, incluso Regioni AWS dove è supportata la crittografia dei dati in transito, consulta. Crittografia dei dati in Amazon FSx for Lustre Amazon FSx è stata valutata come conforme alle certificazioni ISO, PCI-DSS e SOC ed è idonea allo standard HIPAA. Per ulteriori informazioni, consulta Sicurezza in Amazon FSx for Lustre.

Presupposti

In questa guida, facciamo i seguenti presupposti:

Prezzi di Amazon FSx for Lustre

Con Amazon FSx for Lustre, non ci sono costi hardware o software iniziali. Paghi solo per le risorse utilizzate, senza impegni minimi, costi di configurazione o costi aggiuntivi. Per informazioni sui prezzi e le commissioni associati al servizio, consulta la pagina dei prezzi di Amazon FSx for Lustre.

Forum Amazon FSx for Lustre

Se riscontri problemi durante l'utilizzo di Amazon FSx for Lustre, consulta i forum.

Sei un utente per la prima volta di Amazon FSx for Lustre?

Se sei un utente alle prime armi di Amazon FSx for Lustre, ti consigliamo di leggere le seguenti sezioni nell'ordine: