Utilizzo di tipi di distribuzione precedenti - FSxper Lustre

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo di tipi di distribuzione precedenti

Questa sezione si applica ai file system con tipo di distribuzione Scratch 1 e anche ai file system con Scratch 2 o tipi di Persistent 1 distribuzione che non utilizzano associazioni di repository di dati.

Quando crei un file system Amazon FSx for Lustre, puoi collegarlo a un repository di dati durevole in Amazon S3. Prima di creare il file system, assicurati di aver già creato il bucket Amazon S3 a cui ti stai collegando. Nella procedura guidata per la creazione del file system, si impostano le seguenti proprietà di configurazione del repository di dati nel riquadro opzionale Import/Export dell'archivio dati.

  • Scegli in che modo Amazon FSx mantiene aggiornato il tuo elenco di file e directory man mano che aggiungi o modifichi oggetti nel tuo bucket S3 dopo la creazione del file system. Per ulteriori informazioni, consulta Importa automaticamente gli aggiornamenti dal tuo bucket S3.

  • Bucket di importazione: inserisci il nome del bucket S3 che stai utilizzando per il repository collegato.

  • Prefisso di importazione: inserisci un prefisso di importazione opzionale se desideri importare nel tuo file system solo alcuni elenchi di file e directory di dati nel tuo bucket S3. Il prefisso di importazione definisce da dove importare i dati nel bucket S3.

  • Prefisso di esportazione: definisce dove Amazon FSx esporta il contenuto del tuo file system nel bucket S3 collegato.

Puoi creare una mappatura 1:1 in cui Amazon FSx esporta i dati dal tuo file system FSx for Lustre nelle stesse directory del bucket S3 da cui sono stati importati. Per avere una mappatura 1:1, specifica un percorso di esportazione verso il bucket S3 senza prefissi quando crei il file system.

  • Quando crei un file system utilizzando la console, scegli l'opzione Esporta prefisso > Un prefisso che specifichi e mantieni vuoto il campo del prefisso.

  • Quando crei un file system utilizzando AWS CLI oAPI, specifica il percorso di esportazione come nome del bucket S3 senza prefissi aggiuntivi, ad esempio. ExportPath=s3://amzn-s3-demo-bucket/

Utilizzando questo metodo, è possibile includere un prefisso di importazione quando si specifica il percorso di importazione e ciò non influisce sulla mappatura 1:1 per le esportazioni.

Creazione di file system collegati a un bucket S3

Le seguenti procedure illustrano il processo di creazione di un FSx file system Amazon collegato a un bucket S3 utilizzando la console di AWS gestione e l'interfaccia a riga di AWS comando ()AWS CLI.

Console
  1. Apri la FSx console Amazon all'indirizzo https://console.aws.amazon.com/fsx/.

  2. Dalla dashboard, scegli Crea file system.

  3. Per il tipo di file system, scegliete FSxLustre, quindi scegliete Avanti.

  4. Fornite le informazioni richieste per le sezioni Dettagli del file system e Rete e sicurezza. Per ulteriori informazioni, consulta Passaggio 1: crea il tuo file FSx system for Lustre.

  5. Utilizza il pannello di importazione/esportazione del repository di dati per configurare un repository di dati collegato in Amazon S3. Seleziona Importa dati da ed esporta dati su S3 per espandere la sezione Import/Export dell'archivio dati e configurare le impostazioni dell'archivio di dati.

    Il pannello di importazione ed esportazione dell'archivio dati per configurare un repository di dati collegato in Amazon S3.
  6. Scegli in che modo Amazon FSx mantiene aggiornato il tuo elenco di file e directory man mano che aggiungi o modifichi oggetti nel tuo bucket S3. Quando crei il file system, gli oggetti S3 esistenti vengono visualizzati come elenchi di file e directory.

    • Aggiorna il mio elenco di file e directory man mano che gli oggetti vengono aggiunti al mio bucket S3: (impostazione predefinita) Amazon aggiorna FSx automaticamente gli elenchi di file e directory di tutti i nuovi oggetti aggiunti al bucket S3 collegato che non esistono attualmente nel file system. FSx Amazon FSx non aggiorna gli elenchi di oggetti che sono stati modificati nel bucket S3. Amazon FSx non elimina gli elenchi di oggetti eliminati nel bucket S3.

      Nota

      L'impostazione predefinita delle preferenze di importazione per l'importazione di dati da un bucket S3 collegato utilizzando and è. CLI API NONE L'impostazione predefinita delle preferenze di importazione quando si utilizza la console consiste nell'aggiornare Lustre man mano che nuovi oggetti vengono aggiunti al bucket S3.

    • Aggiorna il mio elenco di file e directory man mano che gli oggetti vengono aggiunti o modificati nel mio bucket S3: Amazon aggiorna FSx automaticamente gli elenchi di file e directory di tutti i nuovi oggetti aggiunti al bucket S3 e di tutti gli oggetti esistenti che vengono modificati nel bucket S3 dopo aver scelto questa opzione. Amazon FSx non elimina gli elenchi di oggetti eliminati nel bucket S3.

    • Aggiorna il mio elenco di file e directory man mano che gli oggetti vengono aggiunti, modificati o eliminati dal mio bucket S3: Amazon aggiorna FSx automaticamente gli elenchi di file e directory di tutti i nuovi oggetti aggiunti al bucket S3, di tutti gli oggetti esistenti che vengono modificati nel bucket S3 e di tutti gli oggetti esistenti che vengono eliminati nel bucket S3 dopo aver scelto questa opzione.

    • Non aggiornare il mio file e la mia lista direttamente quando gli oggetti vengono aggiunti, modificati o eliminati dal mio bucket S3: Amazon aggiorna gli elenchi di file e directory dal bucket S3 collegato FSx solo quando viene creato il file system. FSxnon aggiorna gli elenchi di file e directory per oggetti nuovi, modificati o eliminati dopo aver scelto questa opzione.

  7. Inserisci un prefisso di importazione opzionale se desideri importare solo alcuni degli elenchi di file e directory dei dati nel tuo bucket S3 nel tuo file system. Il prefisso di importazione definisce da dove importare i dati nel bucket S3. Per ulteriori informazioni, consulta Importa automaticamente gli aggiornamenti dal tuo bucket S3.

  8. Scegli una delle opzioni di prefisso di esportazione disponibili:

    • Un prefisso unico che Amazon FSx crea nel tuo bucket: scegli questa opzione per esportare oggetti nuovi e modificati utilizzando un prefisso generato da FSx for Lustre. Il prefisso è simile al seguente:. /FSxLustrefile-system-creation- timestamp Il timestamp è in UTC formato, per esempio. FSxLustre20181105T222312Z

    • Lo stesso prefisso da cui avete importato (sostituite gli oggetti esistenti con quelli aggiornati): scegliete questa opzione per sostituire gli oggetti esistenti con quelli aggiornati.

    • Un prefisso specificato: scegliete questa opzione per conservare i dati importati ed esportare oggetti nuovi e modificati utilizzando un prefisso specificato dall'utente. Per ottenere una mappatura 1:1 durante l'esportazione dei dati nel bucket S3, scegli questa opzione e lascia vuoto il campo del prefisso. FSxesporterà i dati nelle stesse directory da cui sono stati importati.

  9. (Facoltativo) Imposta le preferenze di manutenzione o utilizza le impostazioni predefinite del sistema.

  10. Scegliete Avanti e controllate le impostazioni del file system. Apportate le modifiche necessarie.

  11. Scegliere Create file system (Crea file system).

AWS CLI

L'esempio seguente crea un FSx file system Amazon collegato aamzn-s3-demo-bucket, con una preferenza di importazione che importa tutti i file nuovi, modificati ed eliminati nel repository di dati collegato dopo la creazione del file system.

Nota

L'impostazione predefinita delle preferenze di importazione per l'importazione di dati da un bucket S3 collegato utilizzando CLI and API èNONE, che è diversa dal comportamento predefinito quando si utilizza la console.

Per creare un file system FSx for Lustre, usa il FSx CLI comando Amazon create-file-system, come illustrato di seguito. L'APIoperazione corrispondente è CreateFileSystem.

$ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.10 \ --lustre-configuration AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s 3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export, PerUnitStorageThroughput=50 \ --storage-capacity 2400 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2

Dopo aver creato correttamente il file system, Amazon FSx restituisce la descrizione del file system come mostrato nell'esempio seguente. JSON

{ "FileSystems": [ { "OwnerId": "owner-id-string", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.10", "Lifecycle": "CREATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 }, "PerUnitStorageThroughput": 50 } } ] }

Visualizzazione del percorso di esportazione di un file system

È possibile visualizzare il percorso di esportazione di un file system utilizzando la console FSx for Lustre, il AWS CLI, e ilAPI.

Console
  1. Apri la FSx console Amazon all'indirizzo https://console.aws.amazon.com/fsx/

  2. Scegli il nome del file system o l'ID del file system FSx for Lustre per il quale desideri visualizzare il percorso di esportazione.

    Viene visualizzata la pagina dei dettagli del file system per quel file system.

  3. Scegli la scheda Archivio dati.

    Viene visualizzato il pannello di integrazione dell'archivio dati, che mostra i percorsi di importazione ed esportazione.

I percorsi di importazione ed esportazione dell'archivio dati nel pannello di integrazione dell'archivio dati.
CLI

Per determinare il percorso di esportazione per il file system, utilizzate il describe-file-systems AWS CLIcomando.

aws fsx describe-file-systems

Cerca la ExportPath proprietà sotto LustreConfiguration nella risposta.

{ "OwnerId": "111122223333", "CreationTime": 1563382847.014, "FileSystemId": "", "FileSystemType": "LUSTRE", "Lifecycle": "AVAILABLE", "StorageCapacity": 2400, "VpcId": "vpc-6296a00a", "SubnetIds": [ "subnet-1111111" ], "NetworkInterfaceIds": [ "eni-0c288d5b8cc06c82d", "eni-0f38b702442c6918c" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre System" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": " NEW_CHANGED_DELETED", "Lifecycle": "AVAILABLE", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z", "ImportedFileChunkSize": 1024 } }, "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "6:09:30" }

Stato del ciclo di vita del repository di dati

Lo stato del ciclo di vita del data repository fornisce informazioni sullo stato del repository di dati collegato al file system. Un repository di dati può avere i seguenti stati del ciclo di vita.

  • Creazione: Amazon FSx sta creando la configurazione del repository di dati tra il file system e il repository di dati collegato. L'archivio di dati non è disponibile.

  • Disponibile: l'archivio di dati è disponibile per l'uso.

  • Aggiornamento: la configurazione dell'archivio dati è in fase di aggiornamento avviato dal cliente che potrebbe influire sulla sua disponibilità.

  • Configurato erroneamente: Amazon FSx non può importare automaticamente gli aggiornamenti dal bucket S3 finché la configurazione del repository di dati non viene corretta. Per ulteriori informazioni, consulta Risoluzione dei problemi relativi a un bucket S3 collegato non correttamente configurato.

Puoi visualizzare lo stato del ciclo di vita del repository di dati collegato di un file system utilizzando la FSx console Amazon, l'interfaccia a riga di AWS comando e Amazon. FSx API Nella FSx console Amazon, puoi accedere allo stato del ciclo di vita del repository di dati nel riquadro Data Repository Integration della scheda Data Repository per il file system. La Lifecycle proprietà si trova nell'DataRepositoryConfigurationoggetto nella risposta di un describe-file-systemsCLIcomando (l'azione equivalente è). API DescribeFileSystems

Importa automaticamente gli aggiornamenti dal tuo bucket S3

Per impostazione predefinita, quando crei un nuovo file system, Amazon FSx importa i metadati dei file (nome, proprietà, timestamp e autorizzazioni) degli oggetti nel bucket S3 collegato al momento della creazione del file system. Puoi configurare il file system FSx for Lustre per importare automaticamente i metadati degli oggetti aggiunti, modificati o eliminati dal bucket S3 dopo la creazione del file system. FSxfor Lustre aggiorna l'elenco di file e directory di un oggetto modificato dopo la creazione nello stesso modo in cui importa i metadati dei file durante la creazione del file system. Quando Amazon FSx aggiorna l'elenco di file e directory di un oggetto modificato, se l'oggetto modificato nel bucket S3 non contiene più i relativi metadati, Amazon FSx mantiene i valori correnti dei metadati del file, anziché utilizzare le autorizzazioni predefinite.

Nota

Le impostazioni di importazione sono disponibili FSx per i file system Lustre creati dopo le 15:00 del 23 luglio 2020. EDT

È possibile impostare le preferenze di importazione quando si crea un nuovo file system e aggiornare le impostazioni sui file system esistenti utilizzando la console di FSx gestione AWS CLI, il e il. AWS API Quando crei il file system, gli oggetti S3 esistenti vengono visualizzati come elenchi di file e directory. Dopo aver creato il file system, come intendi aggiornarlo man mano che il contenuto del tuo bucket S3 viene aggiornato? Un file system può avere una delle seguenti preferenze di importazione:

Nota

Il file system FSx for Lustre e il bucket S3 collegato devono trovarsi nella stessa AWS regione per importare automaticamente gli aggiornamenti.

  • Aggiorna il mio elenco di file e directory man mano che gli oggetti vengono aggiunti al mio bucket S3: (impostazione predefinita) Amazon aggiorna FSx automaticamente gli elenchi di file e directory di tutti i nuovi oggetti aggiunti al bucket S3 collegato che non esistono attualmente nel file system. FSx Amazon FSx non aggiorna gli elenchi di oggetti che sono stati modificati nel bucket S3. Amazon FSx non elimina gli elenchi di oggetti eliminati nel bucket S3.

    Nota

    L'impostazione predefinita delle preferenze di importazione per l'importazione di dati da un bucket S3 collegato utilizzando and è. CLI API NONE L'impostazione predefinita delle preferenze di importazione quando si utilizza la console consiste nell'aggiornare Lustre man mano che nuovi oggetti vengono aggiunti al bucket S3.

  • Aggiorna il mio elenco di file e directory man mano che gli oggetti vengono aggiunti o modificati nel mio bucket S3: Amazon aggiorna FSx automaticamente gli elenchi di file e directory di tutti i nuovi oggetti aggiunti al bucket S3 e di tutti gli oggetti esistenti che vengono modificati nel bucket S3 dopo aver scelto questa opzione. Amazon FSx non elimina gli elenchi di oggetti eliminati nel bucket S3.

  • Aggiorna il mio elenco di file e directory man mano che gli oggetti vengono aggiunti, modificati o eliminati dal mio bucket S3: Amazon aggiorna FSx automaticamente gli elenchi di file e directory di tutti i nuovi oggetti aggiunti al bucket S3, di tutti gli oggetti esistenti che vengono modificati nel bucket S3 e di tutti gli oggetti esistenti che vengono eliminati nel bucket S3 dopo aver scelto questa opzione.

  • Non aggiornare il mio file e la mia lista direttamente quando gli oggetti vengono aggiunti, modificati o eliminati dal mio bucket S3: Amazon aggiorna gli elenchi di file e directory dal bucket S3 collegato FSx solo quando viene creato il file system. FSxnon aggiorna gli elenchi di file e directory per oggetti nuovi, modificati o eliminati dopo aver scelto questa opzione.

Quando imposti le preferenze di importazione per aggiornare gli elenchi dei file system e delle directory in base alle modifiche nel bucket S3 collegato, Amazon FSx crea una configurazione di notifica degli eventi sul bucket S3 collegato denominato. FSx Non modificare o eliminare la configurazione di notifica degli FSx eventi sul bucket S3: in questo modo si evita l'importazione automatica di elenchi di file e directory nuovi o modificati nel file system.

Quando Amazon FSx aggiorna un elenco di file che è stato modificato nel bucket S3 collegato, sovrascrive il file locale con la versione aggiornata, anche se il file è bloccato in scrittura. Allo stesso modo, quando Amazon FSx aggiorna un elenco di file quando l'oggetto corrispondente è stato eliminato dal bucket S3 collegato, elimina il file locale, anche se il file è bloccato in scrittura.

Amazon FSx fa del suo meglio per aggiornare il file system. Amazon FSx non può aggiornare il file system apportando modifiche nelle seguenti situazioni:

  • Quando Amazon FSx non dispone dell'autorizzazione per aprire l'oggetto S3 nuovo o modificato.

  • Quando la configurazione di notifica FSx degli eventi sul bucket S3 collegato viene eliminata o modificata.

Entrambe queste condizioni causano una configurazione errata dello stato del ciclo di vita del repository di dati. Per ulteriori informazioni, consulta Stato del ciclo di vita del repository di dati.

Prerequisiti

Le seguenti condizioni sono necessarie per consentire FSx ad Amazon di importare automaticamente file nuovi, modificati o eliminati dal bucket S3 collegato:

  • Il file system e il bucket S3 collegato devono trovarsi nella stessa regione. AWS

  • Il bucket S3 non ha uno stato del ciclo di vita configurato in modo errato. Per ulteriori informazioni, consulta Stato del ciclo di vita del repository di dati.

  • Il tuo account deve disporre delle autorizzazioni necessarie per configurare e ricevere notifiche di eventi sul bucket S3 collegato.

Tipi di modifiche ai file supportati

Amazon FSx supporta l'importazione delle seguenti modifiche a file e cartelle che si verificano nel bucket S3 collegato:

  • Modifiche al contenuto dei file

  • Modifiche ai metadati di file o cartelle

  • Modifiche alla destinazione o ai metadati del collegamento simbolico

Aggiornamento delle preferenze di importazione

È possibile impostare le preferenze di importazione di un file system quando si crea un nuovo file system. Per ulteriori informazioni, consulta Collegamento del file system a un bucket Amazon S3.

Puoi anche aggiornare le preferenze di importazione di un file system dopo averlo creato utilizzando la Console di AWS gestione AWS CLI, e Amazon FSxAPI, come illustrato nella procedura seguente.

Console
  1. Apri la FSx console Amazon all'indirizzo https://console.aws.amazon.com/fsx/.

  2. Dalla dashboard, scegli File system.

  3. Seleziona il file system che desideri gestire per visualizzare i dettagli del file system.

  4. Scegli Archivio dati per visualizzare le impostazioni dell'archivio dati. È possibile modificare le preferenze di importazione se lo stato del ciclo di vita è o. AVAILABLEMISCONFIGURED Per ulteriori informazioni, consulta Stato del ciclo di vita del repository di dati.

  5. Scegliete Azioni, quindi scegliete Aggiorna preferenze di importazione per visualizzare la finestra di dialogo Aggiorna preferenze di importazione.

  6. Selezionate la nuova impostazione, quindi scegliete Aggiorna per apportare la modifica.

CLI

Per aggiornare le preferenze di importazione, utilizzate il update-file-systemCLIcomando. L'APIoperazione corrispondente è UpdateFileSystem.

Dopo aver aggiornato correttamente il file systemAutoImportPolicy, Amazon FSx restituisce la descrizione del file system aggiornato come JSON illustrato di seguito:

{ "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "Lifecycle": "UPDATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 } "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "2:04:30" } } ] }