システムレベルのメタデータ Amazon S3 転送でコピーされたメタデータ NFS 転送でコピーされたメタデータ SMB 転送でコピーされたメタデータ他の転送シナリオでコピーされたメタデータデフォルト POSIX DataSync メタデータをいつどのように適用するかを理解する

2023 年 12 月 7 日より、バージョン 1 DataSync のエージェントは廃止されます。 DataSync コンソールの [エージェント] ページをチェックして、影響を受けるエージェントがいないか確認してください。その場合は、データ転送やストレージ検出の中断を避けるため、その前にそれらのエージェントを交換してください。さらにサポートが必要な場合は、お問い合わせくださいAWS Support。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

メタデータはによってコピーされました AWS DataSync

AWS DataSyncデータ転送中もファイルやオブジェクトのメタデータを保存できます。メタデータのコピー方法は、転送先と、それらの場所で同様の種類のメタデータが使用されているかどうかによって異なります。

システムレベルのメタデータ

一般に、 DataSync システムレベルのメタデータはコピーしません。たとえば、SMB ファイルサーバから転送する場合、ファイルシステムレベルで構成した権限は転送先のストレージシステムにコピーされません。

例外もあります。Amazon S3 と他のオブジェクトストレージ間で転送する場合、 DataSync システム定義のオブジェクトメタデータをコピーします。

Amazon S3 転送でコピーされたメタデータ

次の表は、転送に Amazon S3 DataSync ロケーションが含まれる場合にコピーできるメタデータをまとめたものです。

Amazon S3 へ

これらの場所のいずれかからコピーする場合	この場所へ	DataSync コピーできます
NFS Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用)	Amazon S3	Amazon S3 ユーザーメタデータとしては以下のとおりです。ファイルとフォルダの変更タイムスタンプファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能) ユーザー ID とグループ ID POSIX のアクセス許可 Amazon S3 ユーザーメタデータに保存されているファイルメタデータは、を使用するファイルゲートウェイ上の NFS 共有と相互運用可能です。AWS Storage Gatewayファイルゲートウェイを使用すると、オンプレミスネットワークから Amazon S3 にコピーされたデータに低レイテンシーでアクセスできます。 DataSyncこのメタデータは FSx for Lustre とも相互運用可能です。このメタデータを含むオブジェクトを NFS DataSync サーバーにコピーすると、ファイルメタデータが復元されます。メタデータを復元するには、NFS サーバーに昇格したアクセス許可を付与する必要があります。詳細については、「NFS AWS DataSync ファイルサーバによる転送の設定」を参照してください。

これらの場所のいずれかからコピーする場合

この場所へ

DataSync コピーできます

NFS
Amazon EFS
FSx for Lustre
OpenZFS 用 FSx
ONTAP 用 FSx (NFS を使用)

Amazon S3

Amazon S3 ユーザーメタデータとしては以下のとおりです。

ファイルとフォルダの変更タイムスタンプ
ファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能)
ユーザー ID とグループ ID
POSIX のアクセス許可

Amazon S3 ユーザーメタデータに保存されているファイルメタデータは、を使用するファイルゲートウェイ上の NFS 共有と相互運用可能です。AWS Storage Gatewayファイルゲートウェイを使用すると、オンプレミスネットワークから Amazon S3 にコピーされたデータに低レイテンシーでアクセスできます。 DataSyncこのメタデータは FSx for Lustre とも相互運用可能です。

このメタデータを含むオブジェクトを NFS DataSync サーバーにコピーすると、ファイルメタデータが復元されます。メタデータを復元するには、NFS サーバーに昇格したアクセス許可を付与する必要があります。詳細については、「NFS AWS DataSync ファイルサーバによる転送の設定」を参照してください。

Amazon S3 と他のオブジェクトストレージ間

これらの場所間でコピーする場合	DataSync コピーできる
オブジェクトストレージ Amazon S3	ユーザー定義のオブジェクトメタデータオブジェクトタグ以下のシステム定義オブジェクトメタデータ: Content-Disposition Content-Encoding Content-Language Content-Type 注: DataSync最初の転送時に、すべてのオブジェクトのシステムレベルのメタデータをコピーします。変更されたデータのみを転送するようにタスクを設定した場合、オブジェクトのコンテンツまたはユーザーメタデータも変更されていない限り、 DataSync 以降の転送ではシステムメタデータはコピーされません。 DataSync オブジェクトアクセス制御リスト (ACL)、以前のオブジェクトバージョン、Last-Modified キーなど、他のオブジェクトメタデータはコピーされません。
Microsoft Azure Blob Storage Amazon S3

これらの場所間でコピーする場合

DataSync コピーできる

オブジェクトストレージ
Amazon S3

ユーザー定義のオブジェクトメタデータ
オブジェクトタグ
以下のシステム定義オブジェクトメタデータ:
- Content-Disposition
- Content-Encoding
- Content-Language
- Content-Type
注: DataSync最初の転送時に、すべてのオブジェクトのシステムレベルのメタデータをコピーします。変更されたデータのみを転送するようにタスクを設定した場合、オブジェクトのコンテンツまたはユーザーメタデータも変更されていない限り、 DataSync 以降の転送ではシステムメタデータはコピーされません。

DataSync オブジェクトアクセス制御リスト (ACL)、以前のオブジェクトバージョン、Last-Modified キーなど、他のオブジェクトメタデータはコピーされません。

Microsoft Azure Blob Storage
Amazon S3

Amazon S3 と HDFS の間

これらの場所間でコピーする場合	DataSync コピーできる
Hadoop Distributed File System（HDFS） Amazon S3	Amazon S3 ユーザーメタデータとしては以下のとおりです。ファイルとフォルダの変更タイムスタンプファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能) ユーザー ID とグループ ID POSIX のアクセス許可 HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。

これらの場所間でコピーする場合

DataSync コピーできる

Hadoop Distributed File System（HDFS）
Amazon S3

Amazon S3 ユーザーメタデータとしては以下のとおりです。

ファイルとフォルダの変更タイムスタンプ
ファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能)
ユーザー ID とグループ ID
POSIX のアクセス許可

HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。

NFS 転送でコピーされたメタデータ

次の表は、ネットワークファイルシステム (NFS) DataSync を使用する場所間でコピーできるメタデータをまとめたものです。

これらの場所間でコピーする場合	DataSync コピーできる
NFS Amazon EFS Amazon FSx for Lustre Amazon FSx for OpenZFS NetApp ONTAP 用 Amazon FSx (NFS を使用)	ファイルとフォルダの変更タイムスタンプファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能) ユーザー ID (UID) およびグループ ID (GID) POSIX のアクセス許可

SMB 転送でコピーされたメタデータ

次の表は、サーバーメッセージブロック (SMB) DataSync を使用する場所間でコピーできるメタデータをまとめたものです。

これらのロケーション間でコピーする場合	DataSync コピーできる
SMB Amazon FSx for Windows File Server ONTAP 用 FSx (SMB を使用)	ファイルのタイムスタンプ: アクセス時間、変更時間、作成時間ファイル所有者のセキュリティ識別子 (SID) 標準ファイル属性:読み取り専用 (R)、アーカイブ (A)、システム (S)、非表示 (H)、圧縮 (C)、コンテンツインデックスなし (I)、暗号化 (E)、一時的 (T)、オフライン (O)、およびスパース (P) DataSync アーカイブ (A)、圧縮 (C)、コンテキストインデックスなし (I)、およびテンポラリ (T) の各属性をベストエフォート方式でコピーしようとします。これらの属性がコピー先に適用されない場合、タスク検証時には無視されます。注：FSx for ONTAPファイルシステムに転送する場合、コンテンツインデックスなし（I）属性と一時属性（T） DataSyncは無視されます。 NTFS 任意アクセスリスト (DACL) は、オブジェクトへのアクセスを許可するかどうかを決定します。 NTFS システムアクセスコントロールリスト (SACL) は、管理者がセキュリティ保護されたオブジェクトへのアクセス試行を記録するために使用されます。注:SMB バージョン 1.0 を使用する場合、SACL はコピーされません。 DACL と SACL をコピーするには、SMB DataSync を使用してロケーションにアクセスする Windows ユーザーに特定の権限を付与する必要があります。詳細については、「SMB 用の場所の作成」、FSx for Windows File Server、または ONTAP 用の FSx（転送先の場所の種類によって異なります）を参照してください。

これらのロケーション間でコピーする場合

DataSync コピーできる

SMB
Amazon FSx for Windows File Server
ONTAP 用 FSx (SMB を使用)

ファイルのタイムスタンプ: アクセス時間、変更時間、作成時間
ファイル所有者のセキュリティ識別子 (SID)
標準ファイル属性:読み取り専用 (R)、アーカイブ (A)、システム (S)、非表示 (H)、圧縮 (C)、コンテンツインデックスなし (I)、暗号化 (E)、一時的 (T)、オフライン (O)、およびスパース (P)

DataSync アーカイブ (A)、圧縮 (C)、コンテキストインデックスなし (I)、およびテンポラリ (T) の各属性をベストエフォート方式でコピーしようとします。これらの属性がコピー先に適用されない場合、タスク検証時には無視されます。

注：FSx for ONTAPファイルシステムに転送する場合、コンテンツインデックスなし（I）属性と一時属性（T） DataSyncは無視されます。
NTFS 任意アクセスリスト (DACL) は、オブジェクトへのアクセスを許可するかどうかを決定します。
NTFS システムアクセスコントロールリスト (SACL) は、管理者がセキュリティ保護されたオブジェクトへのアクセス試行を記録するために使用されます。

注:SMB バージョン 1.0 を使用する場合、SACL はコピーされません。

DACL と SACL をコピーするには、SMB DataSync を使用してロケーションにアクセスする Windows ユーザーに特定の権限を付与する必要があります。詳細については、「SMB 用の場所の作成」、FSx for Windows File Server、または ONTAP 用の FSx（転送先の場所の種類によって異なります）を参照してください。

他の転送シナリオでコピーされたメタデータ

DataSync これらのストレージシステム (ほとんどはメタデータ構造が異なる) 間でコピーする場合、メタデータを次のように処理します。

これらの場所のいずれかからコピーする場合	以下のいずれかの場所へ	DataSync コピーできます
SMB FSx for Windows File Server ONTAP 用 FSx (SMB を使用)	Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用) Amazon S3 オブジェクトストレージ Azure Blob Storage NFS	デスティネーションファイルシステム上のすべてのファイルとフォルダ、またはデスティネーション S3 バケット内のオブジェクトのデフォルト POSIX メタデータ。この方法には、デフォルトの POSIX ユーザー ID とグループ ID の値の使用が含まれます。 Windows ベースのメタデータ (ACL など) は保持されません。
オブジェクトストレージ Amazon S3 Azure Blob Storage	Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用)	ターゲットファイルおよびフォルダのデフォルト POSIX メタデータ。この方法には、デフォルトの POSIX ユーザー ID とグループ ID の値の使用が含まれます。
Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用)	Azure Blob Storage	以下はユーザー定義のメタデータです。ファイルとフォルダの変更タイムスタンプファイルとフォルダーのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能) ユーザー ID とグループ ID POSIX のアクセス許可
HDFS	Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用)	ファイルとフォルダの変更タイムスタンプファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能) POSIX のアクセス許可 HDFS は、ファイルとフォルダーのユーザーとグループの所有権を、数値識別子 (UID や GID など) ではなく文字列として保存します。UID と GID のデフォルト値は、デスティネーションファイルシステムに適用されます。詳細については、「デフォルト POSIX DataSync メタデータをいつどのように適用するかを理解する」を参照してください。
Amazon S3 Amazon EFS FSx for Lustre OpenZFS 用 FSx FSx for Windows File Server FSx for ONTAP	HDFS	ソースロケーションのファイルとフォルダーのタイムスタンプ。ファイルまたはフォルダーの所有者は、HDFS 転送場所の作成時に指定した HDFS ユーザーまたは Kerberos プリンシパルに基づいて設定されます。Hadoop クラスターのグループマッピング設定によって、グループが決まります。
Amazon S3 Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用) オブジェクトストレージ NFS HDFS	SMB FSx for Windows File Server ONTAP 用 FSx (SMB を使用)	ソースロケーションのファイルとフォルダのタイムスタンプ。所有権は、Amazon FSx または SMB DataSync 共有にアクセスするためにで指定された Windows ユーザーに基づいて設定されます。権限は親ディレクトリから継承されます。
Azure Blob Storage	FSx for Windows File Server ONTAP 用 FSx (SMB を使用)

デフォルト POSIX DataSync メタデータをいつどのように適用するかを理解する

DataSync デフォルト POSIX メタデータを以下の状況で適用します。

転送元の場所と転送先の場所のメタデータ構造が似ていない場合
転送元の場所にメタデータが欠落している場合

次の表は、これらの種類の転送時にデフォルトの POSIX DataSync メタデータをどのように適用するかを示しています。

ソース	送信先	ファイルのアクセス許可	フォルダーの権限	UID	GID
Amazon S3 ¹ オブジェクトストレージ ¹ ^{Microsoft Azure Blob ストレージ 1}	Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用) NFS	0755	0755	65534	65534
SMB	Amazon S3 オブジェクトストレージ Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用) NFS	0644	0755	0	0
HDFS	Amazon EFS FSx for Lustre OpenZFS 用 FSx ONTAP 用 FSx (NFS を使用) NFS	0644	0755	0	0

¹ 以前にによって適用されたメタデータがオブジェクトに含まれていない場合。 DataSync

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

DataSync メタデータと特殊ファイルの処理方法

によってコピーされたリンクとディレクトリ DataSync