Metadati copiati da AWS DataSync - AWS DataSync
Metadati copiati tra sistemi con strutture di metadati similiMetadati copiati tra sistemi con diverse strutture di metadatiComprendere quando e come vengono applicati i DataSync metadati POSIX predefiniti

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Metadati copiati da AWS DataSync

Il modo AWS DataSync in cui gestisci i metadati dei file o degli oggetti durante un trasferimento dipende dai sistemi di storage con cui stai lavorando.

Nota

DataSyncnon copia le impostazioni a livello di sistema. Ad esempio, quando si copiano oggetti, DataSync non copia le impostazioni di crittografia del sistema di storage. Se stai copiando da una condivisione SMB, DataSync non copia le autorizzazioni che hai configurato a livello di file system.

Metadati copiati tra sistemi con strutture di metadati simili

DataSyncconserva i metadati tra sistemi di storage con una struttura di metadati simile.

Trasferimenti NFS

La tabella seguente descrive quali metadati DataSync possono essere copiati tra posizioni che utilizzano Network File System (NFS).

Durante la copia tra queste posizioni DataSyncpuò copiare

  • NFS

  • Amazon EFS

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • Amazon FSx per NetApp ONTAP (tramite NFS)

  • Timestamp di modifica di file e cartelle

  • Timestamp di accesso a file e cartelle (DataSyncpuò farlo solo sulla base del miglior sforzo)

  • ID utente (UID) e ID gruppo (GID)

  • Autorizzazioni POSIX

Trasferimenti SMB

La tabella seguente descrive quali metadati DataSync possono essere copiati tra posizioni che utilizzano Server Message Block (SMB).

Durante la copia tra queste posizioni DataSyncpuò copiare

  • SMB

  • Amazon FSx per Windows File Server

  • FSx per ONTAP (utilizzando SMB)

  • Timestamp dei file: tempo di accesso, tempo di modifica e tempo di creazione

  • Identificatore di sicurezza (SID) del proprietario del file

  • Attributi di file standard: sola lettura (R), archivio (A), sistema (S), nascosto (H), compresso (C), contenuto non indicizzato (I), crittografato (E), temporaneo (T), offline (O) e sparso (P)

    DataSynctenta di copiare gli attributi archivio, compressi e sparsi. Se questi attributi non vengono applicati alla destinazione, vengono ignorati durante la verifica dell'attività.

    Nota: FSx for ONTAP non supporta l'indicizzazione. Durante il trasferimento su questo tipo di file system, DataSync ignora l'attributo not content indexed (I).

  • Le liste di accesso discrezionale (DSL) NTFS, che determinano se concedere o meno l'accesso a un oggetto.

  • Le liste di controllo degli accessi al sistema (SACL) NTFS utilizzate dagli amministratori per registrare i tentativi di accesso a un oggetto protetto.

    Nota: i SACL non vengono copiati se si utilizza la versione SMB 1.0.

    La copia delle SACL richiede la concessione di autorizzazioni specifiche all'utente Windows utilizzato da Windows DataSync utilizzato per accedere alla posizione utilizzando SMB. Per ulteriori informazioni, vedere creazione di una posizione per SMB, FSx for Windows File Server o FSx per ONTAP (a seconda del tipo di posizione nel trasferimento).

Trasferimenti HDFS FS FS FS

La tabella seguente descrive quali metadati DataSync possono copiare quando un trasferimento richiede una posizione Hadoop Distributed File System (HDFS).

Quando si copia da questa posizione In una di queste sedi DataSyncpuò copiare

  • HDFS

  • Amazon EFS

  • FSx for Lustre e e e e e e

  • FSx for OpenSFS FS FS FS FS FS FS

  • FSx per ONTAP (tramite NFS)

  • Timestamp di modifica di file e cartelle

  • Timestamp di accesso a file e cartelle (DataSyncpuò farlo solo sulla base del miglior sforzo)

  • Autorizzazioni POSIX

HDFS utilizza stringhe per memorizzare la proprietà di utenti e gruppi di file e cartelle anziché identificatori numerici (come UID e GID). I valori predefiniti per UID e GID vengono applicati al file system di destinazione. Per ulteriori informazioni sui valori predefiniti, consultaComprendere quando e come vengono applicati i DataSync metadati POSIX predefiniti.

Trasferimenti Amazon S3 Transfer S3

Le tabelle seguenti descrivono quali metadati DataSync possono copiare quando un trasferimento coinvolge una posizione Amazon S3.

Verso Amazon S3 S3 S3

Quando si copia da una di queste posizioni In questa posizione DataSyncpuò copiare

  • NFS

  • Amazon EFS

  • FSx for Lustre e e e e e e

  • FSx for OpenSFS FS FS FS FS FS FS

  • FSx per ONTAP (tramite NFS)

  • Simple Storage Service (Amazon S3)

Quanto segue come metadati utente di Amazon S3:

  • Timestamp di modifica di file e cartelle

  • Timestamp di accesso a file e cartelle (DataSyncpuò farlo solo sulla base del miglior sforzo)

  • ID utente e ID gruppo

  • Autorizzazioni POSIX

I metadati dei file archiviati nei metadati utente di Amazon S3 sono interoperabili con le condivisioni NFS su gateway di file utilizzando. AWS Storage Gateway Un gateway di file consente l'accesso a bassa latenza dalle reti locali ai dati che sono stati copiati su Amazon S3 da. DataSync Questi metadati sono inoltre interoperabili con FSx for Lustre.

Quando DataSync copia gli oggetti che contengono questi metadati utente su un server NFS, i metadati del file vengono ripristinati. Il ripristino dei metadati richiede la concessione di autorizzazioni elevate al server NFS. Per ulteriori informazioni, consulta Configurazione dei AWS DataSync trasferimenti da un file server NFS.

Tra HDFS e Amazon S3 S3 S3 S3 S3

Durante la copia tra queste posizioni DataSyncpuò copiare

  • Hadoop Distributed File System (HDFS)

  • Simple Storage Service (Amazon S3)

Quanto segue come metadati utente di Amazon S3:

  • Timestamp di modifica di file e cartelle

  • Timestamp di accesso a file e cartelle (DataSyncpuò farlo solo sulla base del miglior sforzo)

  • ID utente e ID gruppo

  • Autorizzazioni POSIX

HDFS utilizza stringhe per memorizzare la proprietà di utenti e gruppi di file e cartelle, anziché identificatori numerici, come UID e GID.

Tra storage a oggetti e Amazon S3

Durante la copia tra queste posizioni DataSyncpuò copiare

  • Archiviazione di oggetti

  • Simple Storage Service (Amazon S3)

  • Metadati di oggetti definiti dall'utente

  • Tag oggetti

  • I seguenti metadati di oggetti definiti dal sistema:

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    Nota: DataSync copia i metadati di sistema per tutti gli oggetti durante un trasferimento iniziale. Se configuri l'attività per trasferire solo i dati che sono stati modificati, DataSync non copierà i metadati di sistema nei trasferimenti successivi a meno che non siano stati modificati anche il contenuto di un oggetto o i metadati dell'utente.

DataSyncnon copia altri metadati degli oggetti, come gli elenchi di controllo dell'accesso agli oggetti (ACL) o le versioni precedenti degli oggetti.

Importante: se trasferisci oggetti da un bucket di Google Cloud Storage, la copia dei tag degli oggetti potrebbe causare il fallimento dell'DataSyncattività. Per evitare che ciò accada, deselezionate l'opzione Copia i tag degli oggetti durante la configurazione delle impostazioni delle attività. Per ulteriori informazioni, consulta Gestione della modalità di AWS DataSync trasferimento di file, oggetti e metadati.

Metadati copiati tra sistemi con diverse strutture di metadati

Durante la copia tra sistemi di storage che non dispongono di una struttura di metadati simile, DataSync gestisce i metadati utilizzando le seguenti regole.

Quando si copia da una di queste posizioni In una di queste sedi DataSyncpuò copiare

  • SMB

  • FSx per Windows File Server

  • FSx per ONTAP (utilizzando SMB)

  • Amazon EFS

  • FSx for Lustre e e e e e e

  • FSx for OpenSFS FS FS FS FS FS FS

  • FSx per ONTAP (tramite NFS)

  • Simple Storage Service (Amazon S3)

  • Archiviazione di oggetti

  • NFS

Metadati POSIX predefiniti per tutti i file e le cartelle sul file system di destinazione o gli oggetti nel bucket S3 di destinazione. Questo approccio include l'utilizzo dei valori di ID utente POSIX e di ID gruppo predefiniti.

I metadati basati su Windows (come gli ACL) non vengono conservati.

  • FSx per Windows File Server

  • FSx per ONTAP (utilizzando SMB)

  • HDFS

 Timestamp di file e cartelle dalla posizione di origine. Il proprietario del file o della cartella viene impostato in base all'utente HDFS o al codice Kerberos specificato durante la creazione della posizione HDFS. La configurazione della mappatura dei gruppi sul cluster Hadoop determina il gruppo.

  • Amazon EFS

  • FSx for Lustre e e e e e e

  • FSx for OpenSFS FS FS FS FS FS FS

  • FSx per ONTAP (tramite NFS)

  • Simple Storage Service (Amazon S3)

  • Archiviazione di oggetti

  • NFS

  • HDFS

  • SMB

  • FSx per Windows File Server

  • FSx per ONTAP (utilizzando SMB)

 Timestamp di file e cartelle dalla posizione di origine. La proprietà viene impostata in base all'utente Windows specificato DataSync per accedere alla condivisione Amazon FSx o SMB. Le autorizzazioni vengono ereditate dalla directory principale.

Comprendere quando e come vengono applicati i DataSync metadati POSIX predefiniti

DataSyncapplica i metadati POSIX predefiniti nelle situazioni seguenti:

  • Quando le sedi di origine e destinazione del trasferimento non hanno strutture di metadati simili

  • Quando mancano i metadati nella posizione di origine

La tabella seguente descrive come DataSync applica i metadati POSIX predefiniti durante questi tipi di trasferimenti:

Origine Destinazione Autorizzazioni di file Autorizzazioni per le cartelle UID GID

  • Amazon S 3:1 1 1 1 1.

  • Archiviazione di oggetti 1

  • Amazon EFS

  • FSx for Lustre e e e e e e

  • FSx for OpenSFS FS FS FS FS FS FS

  • FSx per ONTAP (tramite NFS)

  • NFS

0755

 0755

65534

65534

  • SMB

  • Simple Storage Service (Amazon S3)

  • Archiviazione di oggetti

  • Amazon EFS

  • FSx for Lustre e e e e e e

  • FSx for OpenSFS FS FS FS FS FS FS

  • FSx per ONTAP (tramite NFS)

  • NFS

0644

0755

0

0

  • HDFS

  • Amazon EFS

  • FSx for Lustre e e e e e e

  • FSx for OpenSFS FS FS FS FS FS FS

  • FSx per ONTAP (tramite NFS)

  • NFS

0644

0755

0

0

1 Nei casi in cui gli oggetti non dispongono di metadati precedentemente applicati da. DataSync

Nota

HDFS archivia la proprietà degli utenti e dei gruppi di file e cartelle utilizzando stringhe anziché identificatori numerici (come UID e GID). Quando non sono presenti metadati equivalenti nella posizione di origine, la proprietà di file e cartelle viene impostata in base all'utente HDFS o al principio Kerberos specificato durante la creazione della posizione. DataSync La configurazione della mappatura dei gruppi sul cluster Hadoop determina il gruppo.