Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Importa automaticamente gli aggiornamenti dal tuo bucket S3
Puoi configurare Lustre FSx per aggiornare automaticamente i metadati nel file system man mano che gli oggetti vengono aggiunti, modificati o eliminati dal tuo bucket S3. FSxfor Lustre crea, aggiorna o elimina l'elenco di file e directory, corrispondente alla modifica in S3. Se l'oggetto modificato nel bucket S3 non contiene più i relativi metadati, FSx for Lustre mantiene i valori correnti dei metadati del file, incluse le autorizzazioni correnti.
Nota
Il file system FSx for Lustre e il bucket S3 collegato devono trovarsi nello stesso per importare automaticamente gli aggiornamenti. Regione AWS
È possibile configurare l'importazione automatica quando si crea l'associazione del data repository e aggiornare le impostazioni di importazione automatica in qualsiasi momento utilizzando la console di FSx gestione, il o il AWS CLI. AWS API
Nota
È possibile configurare sia l'importazione automatica che l'esportazione automatica sulla stessa associazione di repository di dati. Questo argomento descrive solo la funzionalità di importazione automatica.
Importante
Se un oggetto viene modificato in S3 con tutte le politiche di importazione automatiche abilitate e l'esportazione automatica disabilitata, il contenuto di quell'oggetto viene sempre importato in un file corrispondente nel file system. Se un file esiste già nella posizione di destinazione, il file viene sovrascritto.
Se un file viene modificato sia nel file system che in S3, con tutte le politiche di importazione ed esportazione automatiche abilitate, il file nel file system o l'oggetto in S3 potrebbero essere sovrascritti dall'altro. Non è garantito che una modifica successiva in una posizione sovrascriva una modifica precedente in un'altra posizione. Se modifichi lo stesso file sia nel file system che nel bucket S3, dovresti garantire il coordinamento a livello di applicazione per prevenire tali conflitti. FSxfor Lustre non impedisce scritture in conflitto in più posizioni.
La politica di importazione specifica come desiderate che FSx Lustre aggiorni il file system man mano che il contenuto cambia nel bucket S3 collegato. Un'associazione di archivi di dati può avere una delle seguenti politiche di importazione:
-
Nuovo: FSx for Lustre aggiorna automaticamente i metadati di file e directory solo quando vengono aggiunti nuovi oggetti al repository di dati S3 collegato.
-
Modificato: FSx for Lustre aggiorna automaticamente i metadati di file e directory solo quando viene modificato un oggetto esistente nel data repository.
-
Eliminato — FSx for Lustre aggiorna automaticamente i metadati di file e directory solo quando viene eliminato un oggetto nel data repository.
-
Qualsiasi combinazione di New, Changed ed Deleted — FSx for Lustre aggiorna automaticamente i metadati di file e directory quando si verifica una delle azioni specificate nell'archivio di dati S3. Ad esempio, puoi specificare che il file system venga aggiornato quando un oggetto viene aggiunto a (Nuovo) o rimosso da (Eliminato) dal repository S3, ma non aggiornato quando un oggetto viene modificato.
-
Nessuna policy configurata: FSx for Lustre non aggiorna i metadati di file e directory sul file system quando gli oggetti vengono aggiunti, modificati o eliminati dal repository di dati S3. Se non configuri una politica di importazione, l'importazione automatica è disabilitata per l'associazione del repository di dati. È comunque possibile importare manualmente le modifiche ai metadati utilizzando un'attività di importazione dell'archivio dati, come descritto in. Utilizzo delle attività di archiviazione dei dati per importare le modifiche
Importante
L'importazione automatica non sincronizzerà le seguenti azioni S3 con il file system Linked FSx for Lustre:
Eliminazione di un oggetto utilizzando le scadenze del ciclo di vita degli oggetti S3
Eliminazione permanente della versione corrente dell'oggetto in un bucket abilitato al controllo delle versioni
Annullamento di un oggetto in un bucket abilitato al controllo delle versioni
Nella maggior parte dei casi d'uso, si consiglia di configurare una politica di importazione di Nuovo, Modificato ed Eliminato. Questa politica garantisce che tutti gli aggiornamenti effettuati nel repository di dati S3 collegato vengano importati automaticamente nel file system.
Quando imposti una politica di importazione per aggiornare i metadati dei file e delle directory del file system in base alle modifiche nel repository di dati S3 collegato, FSx for Lustre crea una configurazione di notifica degli eventi sul bucket S3 collegato. La configurazione della notifica degli eventi è denominata. FSx Non modificare o eliminare la configurazione della notifica FSx degli eventi nel bucket S3: in questo modo si impedirà l'importazione automatica di metadati aggiornati di file e directory nel file system.
Quando FSx for Lustre aggiorna un elenco di file che è stato modificato nel repository di dati S3 collegato, sovrascrive il file locale con la versione aggiornata, anche se il file è bloccato in scrittura.
FSxfor Lustre fa del suo meglio per aggiornare il file system. FSxfor Lustre non è in grado di aggiornare il file system nelle seguenti situazioni:
-
Se FSx for Lustre non dispone dell'autorizzazione per aprire l'oggetto S3 nuovo o modificato. In questo caso, FSx for Lustre salta l'oggetto e continua. Lo stato del DRA ciclo di vita non è influenzato.
-
Se FSx for Lustre non dispone di autorizzazioni a livello di bucket, ad esempio for.
GetBucketAclCiò causerà una configurazione errata dello stato del ciclo di vita del repository di dati. Per ulteriori informazioni, consulta Stato del ciclo di vita dell'associazione del repository di dati. -
Se la configurazione di notifica
FSxdegli eventi sul bucket S3 collegato viene eliminata o modificata. Ciò causerà una configurazione errata dello stato del ciclo di vita del repository di dati. Per ulteriori informazioni, consulta Stato del ciclo di vita dell'associazione del repository di dati.
Ti consigliamo di attivare la registrazione in CloudWatch Logs per registrare le informazioni su file o directory che non possono essere importati automaticamente. Gli avvisi e gli errori nel registro contengono informazioni sul motivo dell'errore. Per ulteriori informazioni, consulta Registri degli eventi del data repository.
Prerequisiti
FSxAffinché Lustre importi automaticamente file nuovi, modificati o eliminati dal bucket S3 collegato, sono necessarie le seguenti condizioni:
-
Il file system e il bucket S3 collegato si trovano nello stesso. Regione AWS
-
Il bucket S3 non ha uno stato del ciclo di vita configurato in modo errato. Per ulteriori informazioni, consulta Stato del ciclo di vita dell'associazione del repository di dati.
-
Il tuo account dispone delle autorizzazioni necessarie per configurare e ricevere notifiche di eventi sul bucket S3 collegato.
Tipi di modifiche ai file supportati
FSxfor Lustre supporta l'importazione delle seguenti modifiche ai file e alle directory che si verificano nel bucket S3 collegato:
-
Modifiche al contenuto dei file.
-
Modifiche ai metadati di file o directory.
-
Modifiche alla destinazione o ai metadati del collegamento simbolico.
-
Eliminazioni di file e cartelle. Se elimini un oggetto nel bucket S3 collegato che corrisponde a una directory nel file system (ovvero un oggetto con un nome chiave che termina con una barra), FSx for Lustre elimina la directory corrispondente sul file system solo se è vuota.
Aggiornamento delle impostazioni di importazione
Puoi configurare le impostazioni di importazione di un file system per un bucket S3 collegato quando crei l'associazione del repository di dati. Per ulteriori informazioni, consulta Creazione di un link a un bucket S3.
Puoi anche aggiornare le impostazioni di importazione in qualsiasi momento, inclusa la politica di importazione. Per ulteriori informazioni, consulta Aggiornamento delle impostazioni di associazione agli archivi di dati.
Monitoraggio dell'importazione automatica
Se la velocità di modifica nel bucket S3 supera la velocità con cui l'importazione automatica può elaborare queste modifiche, le corrispondenti modifiche ai metadati importate nel file system FSx for Lustre vengono ritardate. In tal caso, puoi utilizzare la AgeOfOldestQueuedMessage metrica per monitorare l'età della modifica più vecchia in attesa di essere elaborata mediante importazione automatica. Per ulteriori informazioni su questa metrica, consulta. FSxper le metriche del repository Lustre S3
Se il ritardo nell'importazione delle modifiche ai metadati supera i 14 giorni (in base alla AgeOfOldestQueuedMessage metrica), le modifiche nel bucket S3 che non sono state elaborate mediante l'importazione automatica non vengono importate nel file system. Inoltre, il ciclo di vita dell'associazione al repository di dati è contrassegnato come e l'importazione automatica viene interrotta. MISCONFIGURED Se hai abilitato l'esportazione automatica, l'esportazione automatica continua a monitorare le modifiche del file system FSx for Lustre. Tuttavia, le modifiche aggiuntive non vengono sincronizzate dal file system FSx for Lustre a S3.
Per riportare l'associazione del repository di dati dallo stato del MISCONFIGUREDciclo di vita allo stato del ciclo di vita, è necessario aggiornare l'AVAILABLEassociazione del repository di dati. È possibile aggiornare l'associazione del repository di dati utilizzando il update-data-repository-associationCLIcomando (o l'operazione corrispondente). UpdateDataRepositoryAssociationAPI L'unico parametro di richiesta di cui hai bisogno è l'associazione AssociationID del repository di dati che desideri aggiornare.
Dopo la modifica dello stato del ciclo di vita dell'associazione all'archivio di dati AVAILABLE, l'importazione automatica (e l'esportazione automatica se abilitata) vengono riavviate. Al riavvio, l'esportazione automatica riprende la sincronizzazione delle modifiche del file system su S3. Per sincronizzare i metadati degli oggetti nuovi e modificati in S3 con il file system FSx for Lustre che non sono stati importati o che provengono da quando l'associazione dell'archivio di dati era in uno stato configurato erroneamente, esegui un'attività di importazione dell'archivio dati. Le attività di importazione del repository di dati non sincronizzano le eliminazioni nel bucket S3 con il file system for Lustre. FSx Se desideri sincronizzare completamente S3 con il tuo file system (incluse le eliminazioni), devi ricreare il file system.
Per garantire che i ritardi nell'importazione delle modifiche ai metadati non superino i 14 giorni, ti consigliamo di impostare un allarme sulla AgeOfOldestQueuedMessage metrica e di ridurre l'attività nel tuo bucket S3 se la metrica supera la soglia di allarme. AgeOfOldestQueuedMessage Per un file system FSx for Lustre collegato a un bucket S3 con un singolo shard che invia continuamente il numero massimo di modifiche possibili da S3, con la sola importazione automatica in esecuzione sul file system FSx for Lustre, l'importazione automatica può elaborare un arretrato di 7 ore di modifiche S3 entro 14 giorni.
Inoltre, con una singola azione S3, puoi generare più modifiche di quante ne possa mai elaborare l'importazione automatica in 14 giorni. Esempi di questi tipi di azioni includono, a titolo esemplificativo, i AWS Snowball caricamenti su S3 e le eliminazioni su larga scala. Se apporti una modifica su larga scala al tuo bucket S3 che desideri sincronizzare con il file system FSx for Lustre, per evitare che le modifiche automatiche all'importazione superino i 14 giorni, dovresti eliminare il file system e ricrearlo una volta completata la modifica a S3.
Se la tua AgeOfOldestQueuedMessage metrica è in crescita, esamina il bucket GetRequests S3 e le DeleteRequests metriche per verificare se ci sono cambiamenti di attività che potrebbero causare un aumento della frequenza e/o del numero di modifiche inviate all'importazione automatica. PutRequests PostRequests Per informazioni sui parametri S3 disponibili, consulta Monitoring Amazon S3 nella Amazon S3 User Guide.
Per un elenco di tutte le metriche disponibili FSx per Lustre, consulta. Monitoraggio con Amazon CloudWatch
