翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# データを転送するタスクの作成
*タスク*は、 がデータ AWS DataSync を転送する場所と方法について説明します。タスクは以下で構成されます。
+ [**ソースの場所**](working-with-locations.md) – DataSync がデータを転送する元のストレージシステムまたはサービス。
+ [**転送先の場所**](working-with-locations.md) – DataSync がデータを転送する先のストレージシステムまたはサービス。
+ [**タスクオプション**](task-options.md) – 転送するファイル、データの検証方法、タスクの実行日時などの設定。
+ [**タスクの実行**](run-task.md) – タスクを実行することを、*タスクの実行*と呼びます。
## タスクの作成
DataSync タスクを作成するときは、ソースと転送先の場所を指定します。また、転送するファイル、メタデータの処理方法、スケジュールの設定などを選択することで、タスクをカスタマイズすることもできます。
タスクを作成する前に、[DataSync 転送の仕組み](how-datasync-transfer-works.md#transferring-files)を理解し、[タスククォータ](datasync-limits.md#task-hard-limits)を確認してください。
**重要**
Amazon S3 ロケーションとの間でデータを転送する予定がある場合は、開始する前に [DataSync が S3 リクエスト料金にどのような影響を与えるか](create-s3-location.md#create-s3-location-s3-requests)について、および [DataSync 料金ページ](https://aws.amazon.com/datasync/pricing/)を確認してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. データを転送する AWS リージョン 予定の のいずれかにいることを確認します。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. **[送信元のロケーションを設定する]** ページで、ソースの場所を[作成](transferring-data-datasync.md)または選択し、**[次へ]** を選択します。
1. **[送信先ロケーションを設定する]** ページで、転送先の場所[を作成](transferring-data-datasync.md)または選択し、**[次へ]** を選択します。
1. (推奨) **[Configure settings]** ページで、タスクに簡単に覚えられる名前を付けてください。
1. **[Configure settings]** ページにいる間、タスクオプションを選択するか、デフォルト設定を使用してください。
オプションは以下のとおりです。
+ 使用する[タスクモード](choosing-task-mode.md)を指定します。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch](monitor-datasync.md) を使用して転送をモニタリングします。タスクに何らかのモニタリングを設定することをお勧めします。
終了したら、**[次へ]** を選択します。
1. タスク構成を確認し、**[Create task]** を選択します。
[タスクを開始する](run-task.md)準備ができました。
### の使用 AWS CLI
[DataSync の転送元と転送先の場所を作成したら](transferring-data-datasync.md)、タスクを作成できます。
1. AWS CLI 設定で、データ転送する AWS リージョン 予定の のいずれかを使用していることを確認してください。
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--name "task-name"
```
1. `--source-location-arn` パラメータには、ソースの場所の Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` には、転送先の場所の ARN を指定します。
AWS リージョン または アカウント間で転送する場合は、ARN に他のリージョンまたはアカウント ID が含まれていることを確認してください。
1. (推奨) `--name` では、簡単に覚えられる名前をタスクに指定してください。
1. 必要に応じて、他のタスクオプションを指定してください。オプションは以下のとおりです。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch](monitor-datasync.md) を使用して転送をモニタリングします。タスクに何らかのモニタリングを設定することをお勧めします。
その他のオプションについては、「[create-task](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-task.html)」を参照してください。以下は、いくつかのオプションを指定する `create-task` コマンドの例です。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--cloud-watch-log-group-arn "arn:aws:logs:region:account-id" \
--name "task-name" \
--options VerifyMode=NONE,OverwriteMode=NEVER,Atime=BEST_EFFORT,Mtime=PRESERVE,Uid=INT_VALUE,Gid=INT_VALUE,PreserveDevices=PRESERVE,PosixPermissions=PRESERVE,PreserveDeletedFiles=PRESERVE,TaskQueueing=ENABLED,LogLevel=TRANSFER
```
1. `create-task` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026"
}
```
[タスクを開始する](run-task.md)準備ができました。
## タスクのステータス
DataSync タスクを作成するときに、そのステータスをチェックして、実行する準備ができているかどうかを確認することができます。
| コンソールのステータス | API ステータス | 説明 |
| --- | --- | --- |
| 使用可能 | `AVAILABLE` | タスクのデータ転送を開始する準備が整いました。 |
| 実行中 | `RUNNING` | タスクの実行が進行中です。詳細については、「[タスクの実行ステータス](run-task.md#understand-task-execution-statuses)」を参照してください。 |
| 使用不可 | `UNAVAILABLE` | タスクで使用されている DataSync エージェントはオフラインです。詳細については、[エージェントがオフラインの場合の対処は?](troubleshooting-datasync-agents.md#troubleshoot-agent-offline)を参照してください。 |
| Queued (キューに追加済み) | `QUEUED` | 同じ DataSync エージェントを使用する別のタスクの実行が進行中です。詳細については、「[タスクがキューに登録されるタイミングを知る](run-task.md#queue-task-execution)」を参照してください。 |
## 複数のタスクを持つ大規模なデータセットのパーティショニング
数百万のファイルやオブジェクト[の移行](datasync-large-migration.md)など、大規模なデータセットを転送する場合は、転送に DataSync 拡張モードを使用することをお勧めします。これにより、実質的に無制限のファイルでデータセットを転送できます。数十億のファイルを含む非常に大規模なデータセットの場合は、データセットを複数の DataSync タスクでパーティション化することを検討する必要があります。データを複数のタスク (場合によっては、場所に応じて[エージェント](do-i-need-datasync-agent.md#multiple-agents)) に分割することで、DataSync がデータの準備と転送にかかる時間を短縮できます。
複数の DataSync タスク間で大きなデータセットをパーティショニングできる方法をいくつか検討してください。
+ 個別のフォルダを転送するタスクを作成します。例えば、ソースストレージで `/FolderA` と `/FolderB` をそれぞれターゲットとする 2 つのタスクを作成できます。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、ファイル、オブジェクト、フォルダのサブセットを転送するタスクを作成します。
このアプローチは、ストレージの I/O 処理を増加し、ネットワーク帯域幅に影響を与える可能性があることに注意してください。詳細については、「[How to accelerate your data transfers with DataSync scale out architectures](https://aws.amazon.com/blogs/storage/how-to-accelerate-your-data-transfers-with-aws-datasync-scale-out-architectures/)」を参照してください。
## 複数のタスクで転送されたデータをセグメント化する
異なるデータセットを同じ転送先に転送する場合は、転送するデータを簡単にセグメント化できるように複数のタスクを作成することができます。
例えば、`MyBucket` という名前の同じ S3 バケットに転送する場合は、各タスクに対応する異なるプレフィックスをバケットに作成できます。この方法では、ファイル名がデータセットと競合するのを防ぎ、プレフィックスごとに異なるアクセス許可を設定できます。この設定方法は次のとおりです。
1. `task1`、`task2`、および `task3` という名前の 3 つのプレフィックスを転送先 `MyBucket` に作成します。
+ `s3://MyBucket/task1`
+ `s3://MyBucket/task2`
+ `s3://MyBucket/task3`
1. `task1`、`task2` および `task3` という名前の 3 つの DataSync タスクを作成し、`MyBucket` に対応するプレフィックスに転送します。
# データ転送のタスクモードの選択
AWS DataSync タスクは、次のいずれかのモードで実行できます。
+ **拡張モード** – ベーシックモードよりも高いパフォーマンスのファイルまたはオブジェクトを事実上無制限に転送します。拡張モードタスクは、データの一覧表示、準備、転送、検証を並行して行うことで、データ転送プロセスを最適化します。拡張モードは現在、Amazon S3 ロケーション間の転送、エージェントなしで Azure Blobと Amazon S3 間の転送、エージェントなしで他のクラウドと Amazon S3 間の転送、拡張モードエージェントを使用した NFS または SMB ファイルサーバーと Amazon S3 間の転送に使用できます。
+ **基本モード** – AWS ストレージと他のサポートされているすべての DataSync ロケーション間でファイルまたはオブジェクトを転送します。基本モードタスクは、データセット内のファイル、オブジェクト、ディレクトリの数に対する[クォータ](datasync-limits.md)の対象となります。基本モードはデータの準備、転送、検証を順に実行するため、ほとんどのワークロードで拡張モードよりも速度は遅くなります。
## タスクモードの違いを理解する
次の情報は、使用するタスクモードを決定するのに役立ちます。
| 機能 | 拡張モードの動作 | 基本モードの動作 |
| --- | --- | --- |
| パフォーマンス | DataSync は、データの一覧表示、準備、転送、検証を並行して実行します。ほとんどのワークロード (大規模なオブジェクトの転送など) で基本モードよりも高いパフォーマンスを発揮します | DataSync は、データの準備、転送、検証を順に実行します。ほとんどのワークロードで、拡張モードよりもパフォーマンスが低くなります |
| DataSync がタスク実行ごとに操作できるデータセット内の項目の数 | 事実上無制限のオブジェクト数 | [クォータ](datasync-limits.md#task-hard-limits)が適用される |
| データ転送の[カウンター](transfer-performance-counters.md)と[メトリクス](monitor-datasync.md) | DataSync がソースロケーションで検出したオブジェクトの数、各タスクの実行中に準備されるオブジェクトの数、ファイルカウンターやオブジェクトカウンターに似たフォルダカウンターなど、ベーシックモードよりも多くのカウンターとメトリクス | 拡張モードよりも少ないカウンターとメトリクス |
| [ログ記録](configure-logging.md) | 構造化ログ (JSON 形式) | 非構造化ログ |
| [サポートされている場所](working-with-locations.md) | 現在、Amazon S3 ロケーション間の転送、エージェントなしの Azure Blob と Amazon S3 間の転送、エージェントなしの他のクラウドと Amazon S3 間の転送、拡張モードエージェントを使用した NFS または SMB ファイルサーバーと Amazon S3 間の転送の場合。 | DataSync がサポートするすべての場所間の転送に使用可能 |
| [データ検証オプション](configure-data-verification-options.md) | DataSync は転送されたデータのみを検証します | DataSync はデフォルトですべてのデータを検証します |
| Cost | 詳細については、「[AWS DataSync の料金](https://aws.amazon.com/datasync/pricing)」ページを参照してください。 | 詳細については、「[AWS DataSync の料金](https://aws.amazon.com/datasync/pricing)」ページを参照してください。 |
| サポートされていないオブジェクトタグの障害の処理 | オブジェクトのタグ付けをサポートしていない場所とのクラウドストレージ転送の場合、ObjectTags オプションが指定されていないか、PRESERVE に設定されている場合、タスクの実行は即座に失敗します。 | オブジェクトのタグ付けをサポートしていない場所とのクラウドストレージ転送の場合、タスクの実行は正常に実行されますが、ObjectTags オプションが指定されていない場合、または PRESERVE に設定されている場合、タグ付けされたオブジェクトのオブジェクトごとの障害が報告されます。 |
## タスクモードの選択
拡張モードは、Amazon S3 ロケーション間の転送、エージェントなしで Azure Blobと Amazon S3 間の転送、エージェントなしで他のクラウドと Amazon S3 間の転送、拡張モードエージェントを使用した NFS または SMB ファイルサーバーと Amazon S3 間の転送にのみ選択できます。それ以外の場合は、基本モードを使用する必要があります。たとえば、オンプレミスの [HDFS ロケーション](create-hdfs-location.md)から S3 ロケーションへの転送には、ベーシックモードが必要です。
タスクのオプションとパフォーマンスは、選択したタスクモードによって異なる場合があります。タスクを作成すると、タスクモードを変更することはできません。
**必要なアクセス許可**
拡張モードタスクを作成するには、DataSync を使用している IAM ロールに `iam:CreateServiceLinkedRole` アクセス許可が必要です。
DataSync ユーザーのアクセス許可については、[AWSDataSyncFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-awsdatasyncfullaccess) の使用を検討してください。これは、ユーザーに DataSync へのフルアクセスと依存関係への最小限のアクセスを提供する AWS マネージドポリシーです。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **タスクモード**では、以下のいずれかのオプションを選択します。
+ **拡張**
+ **ベーシック**
詳細については、「[タスクモードの違いを理解する](#task-mode-differences)」を参照してください。
1. **[設定の構成]** ページにいる間、別のタスクオプションを選択するか、デフォルト設定を使用してください。
オプションは以下のとおりです。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch Logs](monitor-datasync.md) を使用して転送をモニタリングします。
終了したら、**[次へ]** を選択します。
1. タスク構成を確認し、**[Create task]** を選択します。
### の使用 AWS CLI
1. AWS CLI 設定で、データ転送する AWS リージョン 予定の のいずれかを使用していることを確認してください。
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--task-mode "ENHANCED-or-BASIC"
```
1. `--source-location-arn` パラメータには、ソースの場所の Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` には、転送先の場所の ARN を指定します。
AWS リージョン または アカウント間で転送する場合は、ARN に他のリージョンまたはアカウント ID が含まれていることを確認してください。
1. `--task-mode` には `ENHANCED` または `BASIC` を指定します。
詳細については、「[タスクモードの違いを理解する](#task-mode-differences)」を参照してください。
1. 必要に応じて、他のタスクオプションを指定してください。オプションは以下のとおりです。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch Logs](monitor-datasync.md) を使用して転送をモニタリングします。
その他のオプションについては、「[create-task](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-task.html)」を参照してください。以下は、拡張モードとその他のいくつかのオプションを指定する `create-task` コマンドの例です。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--name "task-name" \
--task-mode "ENHANCED" \
--options TransferMode=CHANGED,VerifyMode=ONLY_FILES_TRANSFERRED,ObjectTags=PRESERVE,LogLevel=TRANSFER
```
1. `create-task` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026"
}
```
### DataSync API の使用
[CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html) オペレーションで `TaskMode` パラメータを設定することで DataSync タスクモードを指定できます。
# AWS DataSync 転送対象の選択
AWS DataSync では、転送する内容とデータの処理方法を選択できます。オプションには以下が含まれます。
+ マニフェストを使用してファイルまたはオブジェクトの正確なリストを転送します。
+ フィルターを使用して、転送中の特定のタイプのデータを含めるか除外します。
+ 定期的な転送の場合、前回の転送以降に変更されたデータのみを移動します。
+ ソースの場所にあるデータと一致するように、ソースの場所のデータを上書きします。
+ ストレージ場所間で保存するファイルまたはオブジェクトメタデータを選択します。
**Topics**
+ [マニフェストを使用した特定のファイルまたはオブジェクトの転送](transferring-with-manifest.md)
+ [フィルターを使用した特定のファイル、オブジェクト、フォルダの転送](filtering.md)
+ [DataSync のファイルとオブジェクトのメタデータの処理方法を理解する](metadata-copied.md)
+ [によってコピーされたリンクとディレクトリ AWS DataSync](special-files-copied.md)
+ [ファイル、オブジェクト、メタデータの処理方法の設定](configure-metadata.md)
# マニフェストを使用した特定のファイルまたはオブジェクトの転送
*マニフェスト*は、 AWS DataSync 転送するファイルまたはオブジェクトのリストです。例えば、DataSync は、S3 バケットにある数百万件のオブジェクトをすべて転送するのではなく、ユーザーがマニフェストにリストしたオブジェクトのみを転送します。
マニフェストは[フィルター](filtering.md)に似ていますが、ユーザーはフィルターパターンに一致するデータではなく、転送するファイルまたはオブジェクトを正確に特定することができます。
**注記**
拡張モードタスクを使用するマニフェストファイルの最大許容サイズは 20 GB です。
## マニフェストの作成
マニフェストは、送信元のロケーションにある DataSync で転送するファイルまたはオブジェクトを一覧表示したカンマ区切り (CSV) 形式のファイルです。送信元が S3 バケットの場合は、転送するオブジェクトのバージョンも含めることができます。
**Topics**
+ [ガイドライン](#transferring-with-manifest-guidelines)
+ [マニフェストの例](#manifest-examples)
### ガイドライン
以下は、DataSync と連携するマニフェストを作成するときに役立つガイドラインです。
------
#### [ Do ]
+ 転送する各ファイルまたはオブジェクトの完全なパスを指定する。
ディレクトリまたはフォルダのみを指定して、その中にあるすべてのコンテンツを転送することはできません。その場合は、マニフェストではなく[包含フィルター](filtering.md)の使用を検討します。
+ 各ファイルまたはオブジェクトパスが、DataSync の送信元のロケーションを設定するときに指定した、マウントパス、フォルダ、ディレクトリ、プレフィックスと関連していることを確認する。
例えば、[S3 ロケーション](create-s3-location.md#create-s3-location-how-to)のプレフィックスを `photos` と設定したとします。このプレフィックスには、転送するオブジェクト `my-picture.png` が含まれています。このマニフェストで指定する必要があるのはオブジェクト (`my-picture.png`) のみで、プレフィックスとオブジェクト (`photos/my-picture.png`) ではありません。
+ Amazon S3 オブジェクトのバージョン ID を指定するために、オブジェクトのパスとバージョン ID をカンマを使って区切る。
以下は、2 つのフィールドがあるマニフェストエントリの例です。1 つめのフィールドには `picture1.png` というオブジェクトが含まれています。2 つめのフィールドはカンマで区切られ、バージョン ID `111111` が含まれています。
```
picture1.png,111111
```
+ 以下の場合に引用符を使用する。
+ パスに特殊文字 (カンマ、引用符、改行コード) が含まれている場合。
`"filename,with,commas.txt"`
+ パスが複数の行にまたがる場合。
```
"this
is
a
filename.txt"
```
+ パスに引用符が含まれている場合。
`filename""with""quotes.txt`
これは `filename"with"quotes.txt` という名前のパスです。
これらの引用符ルールはバージョン ID のフィールドにも適用されます。一般に、マニフェストのフィールドに引用符が含まれている場合は、別の引用符を使用してエスケープする必要があります。
+ 各ファイルまたはオブジェクトエントリを改行で区切る。
行は、Linux (ラインフィードかキャリッジリターン) または Windows (キャリッジリターンの後にラインフィード) 形式の改行を使うことで分離できます。
+ マニフェストを保存する (`my-manifest.csv` や `my-manifest.txt` など)。
+ マニフェストを [DataSync がアクセスできる](#transferring-with-manifest-access) S3 バケットにアップロードする。
このバケットは、DataSync を使用しているのと同じ AWS リージョン または アカウントに存在する必要はありません。
------
#### [ Don't ]
+ ディレクトリまたはフォルダのみを指定して、その中のすべてのコンテンツを転送しようとする。
マニフェストに含めることができるのは、転送するファイルまたはオブジェクトへの完全なパスのみです。特定のマウントパス、フォルダ、ディレクトリ、プレフィックスを使用するように送信元のロケーションを設定する場合は、マニフェストにそれを含める必要はありません。
+ 4,096 文字を超えるファイルまたはオブジェクトパスを指定する。
+ 1,024 バイトを超えるファイルパス、オブジェクトパス、Amazon S3 オブジェクトのバージョン ID のいずれかを指定する。
+ 重複するファイルまたはオブジェクトパスを指定する。
+ 送信元のロケーションが S3 バケットでない場合にオブジェクトのバージョン ID を含める。
+ マニフェストエントリに 3 つ以上のフィールドを含める。
1 つのエントリに含めることができるのは、1 つのファイルパスまたはオブジェクトパスと、Amazon S3 オブジェクトのバージョン ID (該当する場合) のみです。
+ UTF-8 エンコーディングに準拠しない文字を含める。
+ 入力フィールドで引用符の外側にスペースを意図せず含める。
------
### マニフェストの例
以下は、DataSync と連携するマニフェストを作成するときに役立つ例です。
**完全なファイルまたはオブジェクトパスを含むマニフェスト**
以下は、転送する完全なファイルまたはオブジェクトパスを含むマニフェストの例です。
```
photos/picture1.png
photos/picture2.png
photos/picture3.png
```
**オブジェクトキーのみを含むマニフェスト**
以下は、Amazon S3 の送信元のロケーションから転送するオブジェクトを含むマニフェストの例です。[ロケーション](create-s3-location.md#create-s3-location-how-to)はプレフィックス `photos` で設定されているため、オブジェクトキーのみを指定します。
```
picture1.png
picture2.png
picture3.png
```
**オブジェクトパスとバージョン ID を含むマニフェスト**
次のマニフェスト例の、最初の 2 つのエントリには、転送する Amazon S3 オブジェクトの具体的なバージョンが含まれています。
```
photos/picture1.png,111111
photos/picture2.png,121212
photos/picture3.png
```
**UTF-8 文字を使用したマニフェスト**
以下は、UTF-8 文字を使用したファイルを含むマニフェストの例です。
```
documents/résumé1.pdf
documents/résumé2.pdf
documents/résumé3.pdf
```
## DataSync に対するマニフェストへのアクセス許可の付与
DataSync に S3 バケット内のマニフェストへのアクセスを許可する AWS Identity and Access Management (IAM) ロールが必要です。このロールには以下のアクセス許可が含まれている必要があります。
+ `s3:GetObject`
+ `s3:GetObjectVersion`
このロールは DataSync コンソールで自動的に生成できますが、自分で作成することもできます。
**注記**
マニフェストが別の にある場合は AWS アカウント、このロールを手動で作成する必要があります。
### IAM ロールの自動作成
コンソールで転送タスクを作成または開始する場合、DataSync は、ユーザーがマニフェストにアクセスするために必要な `s3:GetObject` および `s3:GetObjectVersion` のアクセス許可を持つ IAM ロールを、自動的に作成することができます。
**ロールを自動的に作成するために必要なアクセス許可**
ロールを自動的に作成するには、DataSync コンソールへのアクセスに使用しているロールに以下のアクセス許可があることを確認します。
+ `iam:CreateRole`
+ `iam:CreatePolicy`
+ `iam:AttachRolePolicy`
### IAM ロールの作成 (同じアカウント)
DataSync がマニフェストにアクセスするために必要な IAM ロールは、手動で作成することができます。以下の手順では、DataSync を使用する場所とマニフェストの S3 バケットがある場所が、同じ AWS アカウント である場合を想定しています。
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[AWS のサービス]** を選択します。
1. **[ユースケース]** では、ドロップダウンリストから **[DataSync]** を選び、**[DataSync]** を選択します。**[次へ]** をクリックします。
1. **[アクセス許可を追加]** ページで **[次へ]** を選択してください。ロール名を入力し、**[ロールの作成]** を選択します。
1. **[ロール]** ページで、作成したロールを検索し、その名前を選択します。
1. [データセットの詳細] ページが開くので、**[アクセス許可]** タブを選択します。**[アクセス許可の追加]** を選択し、次いで **[インラインポリシーの作成]** を選択します。
1. **[JSON]** タブを選択し、以下のサンプルポリシーをコピーしてポリシーエディタに貼り付けます。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "DataSyncAccessManifest",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv"
}]
}
```
------
1. 貼り付けたサンプルポリシーで、以下の値を自分の値に置き換えます。
1. `amzn-s3-demo-bucket` を、マニフェストをホストしている S3 バケットの名前に置き換えます。
1. `my-manifest.csv` を、マニフェストのファイル名に置き換えます。
1. [**次へ**] を選択します。ポリシーの名前を入力し、**[ポリシーの作成]** を選択します。
1. (推奨) [サービス間の混乱による代理問題の発生](cross-service-confused-deputy-prevention.md)を防ぐには、次の操作を行います。
1. ロールの詳細ページで **[信頼関係]** タブを選択します。**[信頼ポリシーを編集]** を選択します。
1. `aws:SourceArn` と `aws:SourceAccount` グローバル条件コンテキストキーを含む次の例で信頼ポリシーを更新します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "555555555555"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:555555555555:*"
}
}
}
]
}
```
------
+ 各インスタンスを DataSync を使用している AWS アカウント ID `account-id`に置き換えます。
+ を DataSync を使用している `region`に置き換え AWS リージョン ます。
1. [**ポリシーの更新**] を選択してください。
DataSync にマニフェストへのアクセスを許可する IAM ロールを作成しました。このロールはタスクを[作成](#manifest-creating-task)または[開始](#manifest-starting-task)するときに指定します。
### IAM ロールの作成 (異なるアカウント)
マニフェストが別の に属する S3 バケットにある場合は AWS アカウント、DataSync がマニフェストにアクセスするために使用する IAM ロールを手動で作成する必要があります。次に、マニフェスト AWS アカウント がある で、ロールを S3 バケットポリシーに含める必要があります。
#### ロールの作成
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[AWS のサービス]** を選択します。
1. **[ユースケース]** では、ドロップダウンリストから **[DataSync]** を選び、**[DataSync]** を選択します。**[次へ]** をクリックします。
1. **[アクセス許可を追加]** ページで **[次へ]** を選択してください。ロール名を入力し、**[ロールの作成]** を選択します。
1. **[ロール]** ページで、作成したロールを検索し、その名前を選択します。
1. [データセットの詳細] ページが開くので、**[アクセス許可]** タブを選択します。**[アクセス許可の追加]** を選択し、次いで **[インラインポリシーの作成]** を選択します。
1. **[JSON]** タブを選択し、以下のサンプルポリシーをコピーしてポリシーエディタに貼り付けます。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "DataSyncAccessManifest",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv"
}]
}
```
------
1. 貼り付けたサンプルポリシーで、以下の値を自分の値に置き換えます。
1. `amzn-s3-demo-bucket` を、マニフェストをホストしている S3 バケットの名前に置き換えます。
1. `my-manifest.csv` を、マニフェストのファイル名に置き換えます。
1. [**次へ**] を選択します。ポリシーの名前を入力し、**[ポリシーの作成]** を選択します。
1. (推奨) [サービス間の混乱による代理問題の発生](cross-service-confused-deputy-prevention.md)を防ぐには、次の操作を行います。
1. ロールの詳細ページで **[信頼関係]** タブを選択します。**[信頼ポリシーを編集]** を選択します。
1. `aws:SourceArn` と `aws:SourceAccount` グローバル条件コンテキストキーを含む次の例で信頼ポリシーを更新します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "000000000000"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:000000000000:*"
}
}
}
]
}
```
------
+ の各インスタンスを DataSync を使用している AWS アカウント ID `account-id`に置き換えます。
+ を DataSync を使用している `region`に置き換え AWS リージョン ます。
1. [**ポリシーの更新**] を選択してください。
S3 バケットポリシーに含めることができる IAM ロールを作成しました。
#### ロールを使用した S3 バケットポリシーの更新
IAM ロールを作成したら、マニフェスト AWS アカウント がある別の の S3 バケットポリシーに追加する必要があります。
1. で AWS マネジメントコンソール、マニフェストの S3 バケットを持つアカウントに切り替えます。
1. Amazon S3 コンソール ([https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/)) を開きます。
1. バケットの詳細ページで、**[アクセス許可]** タブを選択します。
1. **[バケットポリシー]** で **[編集]** を選択し、次の操作を行って S3 バケットポリシーを変更します。
1. エディタの内容を更新して、以下のポリシーステートメントを含めてください。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "DataSyncAccessManifestBucket",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket"
}
]
}
```
------
1. を `account-id` DataSync を使用しているアカウントの AWS アカウント ID に置き換えます。 DataSync
1. `datasync-role` を、マニフェストへのアクセスを DataSync に許可する先ほど作成した IAM ロールに置き換えます。
1. `amzn-s3-demo-bucket` を、他の AWS アカウントでマニフェストをホストしている S3 バケットの名前に置き換えます。
1. **[Save changes]** (変更の保存) をクリックします。
別のアカウントにあるマニフェストへのアクセスを DataSync に許可する IAM ロールを作成しました。このロールはタスクを[作成](#manifest-creating-task)または[開始](#manifest-starting-task)するときに指定します。
## タスク作成時のマニフェストの指定
タスクを作成するときは、DataSync で使用するマニフェストを指定することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[タスク]** を選択してから、**[タスクの作成]** を選択します。
1. タスクのソースと転送先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[スキャンするコンテンツ]** で **[特定のファイル、オブジェクト、フォルダ]** を選択し、**[マニフェストの使用]** を選択します。
1. **[S3 URI]** では、S3 バケットでホストされているマニフェストを選択します。
URI を入力することもできます (例: `s3://bucket/prefix/my-manifest.csv`)。
1. **[オブジェクトバージョン]** で、DataSync で使用するマニフェストのバージョンを選択します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. **[マニフェストのアクセスロール]** で、以下のいずれかを実行します。
+ DataSync の **[自動生成]** を選択し、S3 バケット内のマニフェストへのアクセスに必要なアクセス許可を持つ IAM ロールを、自動的に作成します。
+ マニフェストにアクセスできる既存の IAM ロールを選択します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
1. 必要なその他のタスク設定を設定し、**[次へ]** を選択します。
1. **[Create task]** (タスクの作成) を選択します。
### の使用 AWS CLI
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \
--destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \
--manifest-config {
"Source": {
"S3": {
"ManifestObjectPath": "s3-object-key-of-manifest",
"BucketAccessRoleArn": "bucket-iam-role",
"S3BucketArn": "amzn-s3-demo-bucket-arn",
"ManifestObjectVersionId": "manifest-version-to-use"
}
}
}
```
1. `--source-location-arn` パラメータで、転送の送信元ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` パラメータで、転送の送信先ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--manifest-config` パラメータについては、以下を行います。
+ `ManifestObjectPath` – マニフェストの S3 オブジェクトキーを指定します。
+ `BucketAccessRoleArn` – S3 バケット内のマニフェストへのアクセスを DataSync に許可する IAM ロールを指定します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
+ `S3BucketArn` – マニフェストをホストしている S3 バケットの ARN を指定します。
+ `ManifestObjectVersionId` – DataSync で使用するマニフェストのバージョンを指定します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. `create-task` コマンドを実行してタスクを作成します。
準備ができたら[転送タスクを開始](run-task.md)できます。
## タスク開始時のマニフェストの指定
DataSync で使用するマニフェストはタスクの実行時に指定することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで、**[タスク]** を選択し、開始するタスクを選択します。
1. タスクの概要ページで、**[開始]** を選択し、**[オプションを上書きして開始する]** を選択します。
1. **[スキャンするコンテンツ]** で **[特定のファイル、オブジェクト、フォルダ]** を選択し、**[マニフェストの使用]** を選択します。
1. **[S3 URI]** では、S3 バケットでホストされているマニフェストを選択します。
URI を入力することもできます (例: `s3://bucket/prefix/my-manifest.csv`)。
1. **[オブジェクトバージョン]** で、DataSync で使用するマニフェストのバージョンを選択します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. **[マニフェストのアクセスロール]** で、以下のいずれかを実行します。
+ DataSync の **[自動生成]** を選択し、S3 バケット内のマニフェストにアクセスするための IAM ロールを自動的に作成します。
+ マニフェストにアクセスできる既存の IAM ロールを選択します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
1. **[開始]** を選択して転送を開始します。
### の使用 AWS CLI
1. 次の `start-task-execution` コマンドをコピーします。
```
aws datasync start-task-execution \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh \
--manifest-config {
"Source": {
"S3": {
"ManifestObjectPath": "s3-object-key-of-manifest",
"BucketAccessRoleArn": "bucket-iam-role",
"S3BucketArn": "amzn-s3-demo-bucket-arn",
"ManifestObjectVersionId": "manifest-version-to-use"
}
}
}
```
1. `--task-arn` パラメータで、開始するタスクの Amazon リソースネーム (ARN) を指定します。
1. `--manifest-config` パラメータについては、以下を行います。
+ `ManifestObjectPath` – マニフェストの S3 オブジェクトキーを指定します。
+ `BucketAccessRoleArn` – S3 バケット内のマニフェストへのアクセスを DataSync に許可する IAM ロールを指定します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
+ `S3BucketArn` – マニフェストをホストしている S3 バケットの ARN を指定します。
+ `ManifestObjectVersionId` – DataSync で使用するマニフェストのバージョンを指定します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. `start-task-execution` コマンドを実行して転送を開始します。
## 制限事項
+ マニフェストを[フィルター](filtering.md)と一緒に使用することはできません。
+ ディレクトリまたはフォルダのみを指定して、その中にあるすべてのコンテンツを転送することはできません。その場合は、マニフェストではなく[包含フィルター](filtering.md)の使用を検討します。
+ **[削除されたファイルを保持する]** のタスクオプション ([API ](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PreserveDeletedFiles)の `PreserveDeletedFiles`) を使用して、[送信元にないファイルまたはオブジェクトを送信先に維持する](configure-metadata.md)ことはできません。DataSync はマニフェストにリストされているもののみを転送し、送信先にあるものを削除することはありません。
## トラブルシューティング
**`HeadObject` または `GetObjectTagging` に関連するエラー**
S3 バケットから特定のバージョン ID を持つオブジェクトを転送すると、`HeadObject` または `GetObjectTagging` に関連したエラーが表示されることがあります。例えば、以下は `GetObjectTagging` に関連したエラーの例です。
```
[WARN] Failed to read metadata for file /picture1.png (versionId: 111111): S3 Get Object Tagging Failed
[ERROR] S3 Exception: op=GetObjectTagging photos/picture1.png, code=403, type=15, exception=AccessDenied,
msg=Access Denied req-hdrs: content-type=application/xml, x-amz-api-version=2006-03-01 rsp-hdrs: content-type=application/xml,
date=Wed, 07 Feb 2024 20:16:14 GMT, server=AmazonS3, transfer-encoding=chunked,
x-amz-id-2=IOWQ4fDEXAMPLEQM+ey7N9WgVhSnQ6JEXAMPLEZb7hSQDASK+Jd1vEXAMPLEa3Km, x-amz-request-id=79104EXAMPLEB723
```
これらのエラーのいずれかが表示された場合は、DataSync が S3 の送信元のロケーションにアクセスするために使用する IAM ロールに、次のアクセス許可があることを確認します。
+ `s3:GetObjectVersion`
+ `s3:GetObjectVersionTagging`
これらのアクセス許可でロールを更新する必要がある場合は、「[DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](create-s3-location.md#create-role-manually)」を参照してください。
**エラー: `ManifestFileDoesNotExist`**
このエラーは、マニフェスト内のファイルがソースで見つからなかったことを示します。マニフェストを作成するための[ガイドライン](#transferring-with-manifest-guidelines)を確認してください。
## 次の手順
タスクをまだ開始していない場合は、[開始します](run-task.md)。既に開始している場合は、[タスクのアクティビティをモニタリングします](monitoring-overview.md)。
# フィルターを使用した特定のファイル、オブジェクト、フォルダの転送
AWS DataSync では、フィルターを適用して、転送のソースロケーションからデータを含めたり除外したりできます。例えば、`.tmp` で終わる一時ファイルを転送したくない場合、それらのファイルが転送先の場所に転送されないようにする除外フィルターを作成できます。
同じ転送タスクで、除外フィルターと包含フィルターを組み合わせて使用できます。タスクのフィルターを変更すると、それらの変更は次回タスクを実行するときに適用されます。
## フィルタリングの条件、定義、および構文
DataSync フィルタリングに関連する概念を理解します。
**フィルター **
特定のフィルターを構成する文字列全体 (例: `*.tmp``|``*.temp` または `/folderA|/folderB`)
フィルターは、\$1 (パイプ) で区切られたパターンで構成されます。DataSync コンソールでパターンを追加する際には、各パターンを個別に追加するため、区切り文字は必要ありません。
フィルターでは大文字と小文字が区別されます。たとえば、フィルター `/folderA` は `/FolderA` に一致しません。
**パターン**
フィルター内のパターン。たとえば、`*.tmp` は、`*.tmp``|``*.temp` フィルターの一部のパターンです。フィルターに複数のパターンがある場合は、パイプ (\$1) を使用して各パターンを区切ります。
**フォルダ**
+ すべてのフィルターは、ソースの場所のパスと相対的です。例えば、ソースの場所とタスクを作成する際にソースパスとして `/my_source/` を指定し、包含フィルター `/transfer_this/` を指定したとします。この場合、DataSync はディレクトリ `/my_source/transfer_this/` とそのコンテンツのみを転送します。
+ ソースの場所の直下のフォルダを指定するには、フォルダ名の前にスラッシュ (/) を含めます。前の例では、パターンは `transfer_this` ではなく `/transfer_this` を使用します。
+ DataSync は以下のパターンと同じ方法で解釈され、フォルダとそのコンテンツの両方に一致します。
`/dir`
`/dir/`
+ Amazon S3 バケットとの間でデータを転送する場合、DataSync はオブジェクトキー内の `/` 文字をファイルシステム上のフォルダと同じように処理します。
**特殊文字**
フィルタリングで使用する特殊文字は、次のとおりです。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/filtering.html)
## フィルターの例:
次の例では、共通のフィルターを DataSync とともに使用する方法を示しています。
**注記**
フィルターで使用できる文字数には制限があります。詳細については、「[DataSync クォータ](datasync-limits.md#task-hard-limits)」を参照してください。
**ソースの場所から一部のフォルダの除外**
場合によっては、ソースの場所のフォルダを除外してコピー先にコピーしないようにすることもあります。たとえば、作業中の一時的なフォルダーがある場合は、次のようなフィルターを使用できます。
`*/.temp`
内容が似ているフォルダー (`/reports2021` や `/reports2022)` など) を除外するには、次のような除外フィルターを使用できます。
`/reports*`
ファイル階層のいずれかのレベルでフォルダを除外するには、次のように、除外フィルターを使用することができます。
`*/folder-to-exclude-1`\$1`*/folder-to-exclude-2`
ソースの場所の最上位レベルでフォルダを除外するには、次のように、除外フィルターを使用することができます。
`/top-level-folder-to-exclude-1`\$1`/top-level-folder-to-exclude-2`
**ソースの場所でフォルダのサブセットを含める**
場合によっては、ソースの場所の共有が大きく、ルートの下にあるフォルダのサブセットを転送する場合があります。特定のフォルダを含めるには、次のような包含フィルターを使用して、タスクの実行を開始します。
`/folder-to-transfer/*`
**特定のファイルタイプを除外する**
特定の種類のファイルを転送から除外するには、`*.temp` のような除外フィルターを使用してタスクの実行を作成できます。
**指定した個別のファイルを転送する**
個別のファイルのリストを転送するには、次のような包含フィルターを使用して、タスクの実行を開始します:「`/folder/subfolder/file1.txt`\$1`/folder/subfolder/file2.txt`\$1`/folder/subfolder/file2.txt`」
## 包含フィルターの作成
包含フィルターは、タスクの実行時に DataSync によって転送されるファイル、フォルダ、およびオブジェクトを定義します。包含フィルターは、タスクの作成、編集、または開始時に設定できます。
DataSync は、包含フィルターに一致するファイルとフォルダーのみをスキャンして転送します。例えば、ソースフォルダのサブセットが含まれるようにするには、`/important_folder_1`\$1`/important_folder_2` と指定します。
**注記**
包含フィルターは、ワイルドカード (\$1) 文字をパターン内の右端の文字としてのみサポートします。たとえば、`/documents*`\$1`/code*` はサポートされていますが、`*.txt` はサポートされていません。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[タスク]** を選択してから、**[タスクの作成]** を選択します。
1. タスクのソースと転送先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **コンテンツをスキャンするには**、**特定のファイル、オブジェクト、フォルダ**を選択し、**[Using filters]** を選択します。
1. **[包含]** には、フィルター (例えば、重要なディレクトリを含める `/important_folders` など) を入力し、**[パターンを追加する]** を選択します。
1. 必要に応じて、他の包含フィルターも追加します。
### の使用 AWS CLI
を使用する場合は AWS CLI、フィルターの周囲に一重引用符 (`'`) を使用し、複数のフィルターがある場合は \$1 (パイプ) を区切り文字として使用する必要があります。
次の例では、`create-task` コマンドを実行するときに 2 つの包含フィルター `/important_folder1` と `/important_folder2` を指定します。
```
aws datasync create-task
--source-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--includes FilterType=SIMPLE_PATTERN,Value='/important_folder1|/important_folder2'
```
## 除外フィルターの作成
除外フィルターは、ソースの場所にある DataSync が転送しないファイル、オブジェクト、フォルダを定義します。これらのフィルターは、タスクの作成、編集、または開始時に設定できます。
**Topics**
+ [デフォルトで除外されるデータ](#directories-ignored-during-transfers)
### デフォルトで除外されるデータ
DataSync は、一部のデータの送信を自動的に除外します。
+ `.snapshot` – DataSync は、`.snapshot` で終わるパスをすべて無視します。これは通常、ストレージシステムのファイルまたはディレクトリのポイントインタイムスナップショットに使用されます。
+ `/.aws-datasync` と `/.awssync` – DataSync は、転送を容易にするためにこれらのディレクトリをユーザーの場所に作成します。
+ `/.zfs` – Amazon FSx for OpenZFS のロケーションのディレクトリが表示される場合があります。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[タスク]** を選択してから、**[タスクの作成]** を選択します。
1. タスクのソースと転送先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[除外]** の場合は、フィルター (例えば、一時フォルダを除外するための `*/temp` など) を入力して、**[パターンを追加する]** を選択します。
1. 必要に応じて、他の除外フィルターを追加します。
1. 必要に応じて、[包含フィルター](#include-filters)を追加します。
### の使用 AWS CLI
を使用する場合は AWS CLI、フィルターの周囲に一重引用符 (`'`) を使用し、複数のフィルターがある場合は \$1 (パイプ) を区切り文字として使用する必要があります。
次の例では、`create-task` コマンドを実行するときに 2 つの除外フィルター `*/temp` と `*/tmp` を指定します。
```
aws datasync create-task \
--source-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--excludes FilterType=SIMPLE_PATTERN,Value='*/temp|*/tmp'
```
# DataSync のファイルとオブジェクトのメタデータの処理方法を理解する
AWS DataSync は、データ転送中にファイルまたはオブジェクトのメタデータを保持できます。メタデータがどのようにコピーされるかは、転送場所と、それらの場所で同様の種類のメタデータが使用されているかどうかに依存します。
## システムレベルのメタデータ
一般的に、DataSync はシステムレベルのメタデータをコピーしません。たとえば、SMB ファイルサーバーから転送する場合、ファイルシステムレベルで設定した権限は転送先のストレージシステムにコピーされません。
いくつかの例外があります。Amazon S3 と他のオブジェクトストレージ間で転送する場合、DataSync は[システム定義のオブジェクトメタデータ](#metadata-copied-between-object-s3)をコピーします。
## Amazon S3 転送でコピーされたメタデータ
次の表は、転送が Amazon S3 の場所に関係する場合、 DataSync がコピーできるメタデータを示しています。
**Topics**
+ [Amazon S3 へ](#metadata-copied-to-s3)
+ [Amazon S3 と他のオブジェクトストレージ間](#metadata-copied-between-object-s3)
+ [Amazon S3 と HDFS の間](#metadata-copied-between-hdfs-s3)
### Amazon S3 へ
| これらの場所のいずれかからコピーする場合 | この場所へ | DataSync はコピーできます |
| --- | --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 以下はAmazon S3 ユーザーメタデータです。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) Amazon S3 ユーザーメタデータに保存されているファイルメタデータは、 AWS Storage Gatewayのファイルゲートウェイの NFS 共有と相互運用できます。ファイルゲートウェイは、オンプレミスネットワークから DataSync によって Amazon S3 にコピーされたデータへの低レイテンシーアクセスを可能にします。メタデータは、Amazon FSx for Lustre とも相互運用できます。 DataSync が、このメタデータを含むオブジェクトを NFS サーバーにコピーして戻す際には、ファイルのメタデータは復元されます。メタデータを復元するには、NFS サーバーに昇格したアクセス許可を付与する必要があります。詳細については、「[NFS ファイルサーバーを使用した AWS DataSync 転送の設定](create-nfs-location.md)」を参照してください。 |
### Amazon S3 と他のオブジェクトストレージ間
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html)
### Amazon S3 と HDFS の間
| これらの場所間でコピーする場合 | DataSync はコピーできます |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 以下はAmazon S3 ユーザーメタデータです。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html)HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。 |
## NFS 転送でコピーされたメタデータ
次の表は、DataSync がネットワークファイルシステム (NFS) を使用する場所間でコピーできるメタデータについて説明します。
| これらの場所間でコピーする場合 | DataSync はコピーできます |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) |
## SMB 転送でコピーされたメタデータ
次の表は、DataSync がサーバーメッセージブロック (SMB) を使用する場所間でコピーできるメタデータについて説明します。
| これらの場所間でコピーする場合 | DataSync はコピーできます |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) |
## 他の転送シナリオでコピーされたメタデータ
DataSync は、これらのストレージシステム (多くの場合、メタデータ構造が異なる) 間でコピーする際にメタデータを次のように処理します。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html)
## DataSync がデフォルト POSIX メタデータを適用する時間と方法についての説明
DataSync は、次の場合にデフォルトの POSIX メタデータを適用します。
+ 転送元と転送先のメタデータ構造が似ていない場合
+ ソースの場所にメタデータが欠落している場合
次の表では、DataSyncがこれらのタイプの転送中にデフォルトのPOSIXメタデータを適用する方法について説明します：
| ソース | 目的地 | ファイル権限 | フォルダのアクセス許可 | UID | GID |
| --- | --- | --- | --- | --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 0755 | 0755 | 65534 | 65534 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 0644 | 0755 | 65534 | 65534 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 0644 | 0755 | 65534 | 65534 |
1 DataSync によって以前に適用されたメタデータがオブジェクトにない場合。
# によってコピーされたリンクとディレクトリ AWS DataSync
AWS DataSync は、転送に関連するストレージの場所に応じて、ハードリンク、シンボリックリンク、およびディレクトリを異なる方法で処理します。
## ハードリンク
一般的な転送シナリオで DataSync がハードリンクを処理する方法は次のとおりです。
+ **NFS ファイルサーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、および Amazon EFS 間で転送する場合**、ハードリンクは保存されます。
+ **Amazon S3 に転送する場合**、ハードリンクによって参照される各ファイルは 1 回だけ転送されます。増分転送中に、S3 バケットに個別のオブジェクトが作成されます。Amazon S3 でハードリンクが変更されていない場合、NFS ファイル サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用する)、または Amazon EFS ファイル システムに転送すると、正しく復元されます。
+ **Microsoft Azure Blob Storage に転送する場合**、ハード リンクによって参照されるファイルは 1 回だけ転送されます。増分転送中に、ソースに新しい参照がある場合、blob storage に個別のオブジェクトが作成されます。Azure Blob Storage から転送する場合、DataSync はハードリンクを個別のファイルであるかのように転送します。
+ **SMB ファイルサーバー、FSx for Windows ファイル サーバー、および FSx for ONTAP (SMB を使用) の間で転送する場合**、ハードリンクはサポートされません。このような状況で DataSync がハードリンクに遭遇した場合、転送タスクはエラーで完了します。詳細については、CloudWatch のログを確認してください。
+ **HDFS に転送する場合**、ハードリンクはサポートされません。CloudWatch ログには、これらのリンクがスキップされたと表示されます。
## シンボリックリンク
一般的な転送シナリオで DataSync がシンボリックリンクを処理する方法は次のとおりです。
+ **NFS ファイル サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、および Amazon EFS の間で転送する場合**、シンボリックリンクは保存されます。
+ **Amazon S3 に転送ーする場合**、リンクのターゲットパスが Amazon S3 オブジェクトに保存されます。リンクは、NFS ファイル サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP、または Amazon EFS ファイル システムに転送されると正しく復元されます。
+ **Azure Blob Storage に転送する場合**、シンボリックリンクはサポートされません。CloudWatch ログには、これらのリンクがスキップされたと表示されます。
+ **SMB ファイルサーバー、FSx for Windows ファイルサーバー、および FSx for ONTAP (SMB を使用) の間で転送する場合**、シンボリックリンクはサポートされません。DataSync はシンボリックリンク自体を転送せず、シンボリックリンクによって参照されるファイルを転送します。重複したファイルを認識し、シンボリックリンクで重複排除するには、転送先ファイルシステムで重複排除を設定する必要があります。
+ **HDFS に転送する場合**、シンボリックリンクはサポートされません。CloudWatch ログには、これらのリンクがスキップされたと表示されます。
## ディレクトリ
一般に、DataSync はストレージシステム間の転送時にディレクトリを保存します。これは次の状況には当てはまりません。
+ **Amazon S3 に転送する場合**、ディレクトリはプレフィックスが付き、末尾がフォワードスラッシュ (`/`) の空のオブジェクトとして表現されます。
+ **階層名前空間を使用せずに Azure Blob Storage に転送すると**、ディレクトリは存在しません。ディレクトリのように見えるものは、オブジェクト名の一部に過ぎません。
# ファイル、オブジェクト、メタデータの処理方法の設定
ロケーション間で転送するときに、 がファイル、オブジェクト、および関連するメタデータ AWS DataSync を処理する方法を設定できます。
たとえば、定期的な転送では、転送先のファイルを転送元の変更で上書きして、場所間の同期を維持したい場合があります。ファイルやフォルダの POSIX 許可、オブジェクトに関連付けられたタグ、アクセスコントロールリスト (ACL)などのプロパティをコピーできます。
## 転送モードのオプション
DataSync がタスクを実行するたびに、最初のコピーの後に変更されたデータ (メタデータを含む) のみを転送するか、すべてのデータを転送するかを設定できます。定期的に転送を行う予定の場合は、前回のタスク実行以降に変更されたもののみを転送することをお勧めします。
| コンソールのオプション | API のオプション | 説明 |
| --- | --- | --- |
| **変更されたデータのみを転送する** | [TransferMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-TransferMode) を `CHANGED` に設定 | 最初の完全転送後、DataSync は、送信元と送信先の場所で異なるデータとメタデータのみをコピーします。 |
| **すべてのデータを転送する** | [TransferMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-TransferMode) を `ALL` に設定 | DataSync は、場所間の違いを比較せずに、送信元のすべてを送信先にコピーします。 |
## ファイルとオブジェクトの処理オプション
DataSync が送信先の場所にあるファイルまたはオブジェクトを処理する方法の一部を制御できます。例えば、DataSync は送信元にない送信先のファイルを削除できます。
| コンソールのオプション | API のオプション | 説明 |
| --- | --- | --- |
| **削除されたファイルを保持する** | [PreserveDeletedFiles](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PreserveDeletedFiles) | 送信元に存在しない、送信先の場所にある DataSync マニフェストファイルまたはオブジェクトを保持するかどうかを指定します。 タスクが Amazon S3 バケットからオブジェクトを削除するよう設定している場合、特定のストレージクラスに対して最小ストレージ期間料金が発生する可能性があります。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 送信先のデータを削除し、[すべてのデータを転送する](#task-option-transfer-mode)ようにもタスクを設定することはできません。すべてのデータを転送すると、DataSync は転送先の場所をスキャンしないため、何を削除すればよいかがわかりません。 |
| **ファイルを上書きする** | [OverwriteMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-OverwriteMode) | 送信元のデータまたはメタデータが変更されたときに DataSync が送信先の場所のデータを変更するかどうかを指定します。データを上書きするようにタスクを設定していない場合、送信元のデータが異なる場合でも、送信先データは上書きされません。 タスクがオブジェクトを上書きする場合、特定のストレージクラスに対して追加料金が発生する可能性があります (たとえば、取得や早期削除など)。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 |
## メタデータ処理オプション
DataSync は転送中にファイルとオブジェクトのメタデータを保存できます。DataSync が保存できるメタデータは、関連するストレージシステムと、それらのシステムが同様のメタデータ構造を使用しているかどうかによって異なります。
タスクの設定を行う前に、DataSync が送信元と送信先の場所の間で転送を行う際に、[メタデータ](metadata-copied.md)と[特殊ファイル](special-files-copied.md)をどのように処理するのかを理解しておいてください。
**重要**
DataSync は、Google Cloud Storage や IBM Cloud Object Storage など、特定のサードパーティーのクラウドストレージシステムとの間の転送をサポートしています。これらのシステムは、完全に S3 互換ではない方法でシステムメタデータを処理します。これらの転送では、DataSync は `ContentType`、`ContentEncoding`、`ContentLanguage`、`CacheControl` などのメタデータ属性をベストエフォートベースでコピーしようとします。送信先のストレージシステムがこれらの属性を適用しない場合、タスクの検証中は無視されます。
| コンソールのオプション | API のオプション | 説明 |
| --- | --- | --- |
| **所有権のコピー** | [Gid](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Gid) と [Uid](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Uid) | DataSync が POSIX ファイルやフォルダの所有権 (ファイルの所有者のグループ ID やファイルの所有者のユーザー ID など) をコピーするかどうかを指定します。 |
| **権限のコピー** | [PosixPermissions](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PosixPermissions) | DataSync がファイルやフォルダに対する POSIX アクセス許可を送信元から送信先にコピーするかどうかを指定します。 |
| タイムスタンプのコピー | [Atime](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Atime) と [Mtime](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Mtime) | DataSync がタイムスタンプのメタデータを送信元から送信先にコピーするかどうかを指定します。タスクを複数回実行する必要がある場合に必要です。 |
| オブジェクトタグのコピー | [ObjectTags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-ObjectTags) | DataSync がオブジェクトストレージシステム間で転送するときに、オブジェクトに関連付けられたタグを保持するかどうかを指定します。 |
| 所有権、DACL、SACL のコピー | [SecurityDescriptorCopyFlags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-SecurityDescriptorCopyFlags) を OWNER\$1DACL\$1SACL に設定 | DataSync は以下をコピーします。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/configure-metadata.html) |
| 所有権と DACL のコピー | [SecurityDescriptorCopyFlags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-SecurityDescriptorCopyFlags) を OWNER\$1DACL に設定 | DataSync は以下をコピーします。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/configure-metadata.html) このオプションを選択すると、DataSync は SACL をコピーしません。 |
| 所有権や ACL をコピーしない | [SecurityDescriptorCopyFlags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-SecurityDescriptorCopyFlags) を NONE に設定 | DataSync は所有権や権限のデータをコピーしません。DataSync が転送先に書き込むオブジェクトは、DataSync が転送先の場所にアクセスするための認証情報を提供するユーザーによって所有されています。転送先オブジェクトのアクセス許可は、転送先サーバーで設定されたアクセス許可に基づいて決定されます。 |
## ファイル、オブジェクト、メタデータの処理オプションの設定
転送タスクを作成、編集、または開始するときに、DataSync がファイル、オブジェクト、メタデータを処理する方法を設定できます。
### DataSync コンソールの使用
次の手順では、タスクの作成時にファイル、オブジェクト、メタデータの処理オプションを設定する方法について説明します。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **転送モード**の場合、以下のいずれかのオプションを選択します。
+ **変更されたデータのみを転送する**
+ **すべてのデータを転送する**
これらのパラメータの詳細については「[転送モードのオプション](#task-option-transfer-mode)」を参照してください。
1. ソースに存在しないファイルまたはオブジェクトを転送先の場所で DataSync に保持するには、**[削除されたファイルを保持する]** を選択します。
このオプションを選択せず、タスクが Amazon S3 バケットからオブジェクトを削除した場合、特定のストレージクラスに対して最小ストレージ期間料金が発生する可能性があります。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。
**警告**
このオプションを選択解除して [**Transfer all data (すべてのデータを転送)**] を有効にすることはできません。すべてのデータを転送すると、DataSync は転送先の場所をスキャンしないため、何を削除すればよいかがわかりません。
1. ソースデータまたはメタデータが変更されたときに DataSync に転送先のデータを変更する場合は、**[ファイルを上書きする]** を選択します。
タスクがオブジェクトを上書きする場合、特定のストレージクラスに対して追加料金が発生する可能性があります (たとえば、取得や早期削除など)。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。
このオプションを選択しない場合、転送先のデータが異なっていても転送先のデータは上書きされません。
1. **[転送オプション]** で、DataSync がメタデータを処理する方法を選択します。オプションの詳細については、「[メタデータ処理オプション](#task-option-metadata-handling)」を参照してください。
**重要**
コンソールに表示されるオプションは、タスクの送信元と送信先の場所によって異なります。これらのオプションの一部は、表示するために **[追加の設定]** を展開する必要がある場合があります。
+ **所有権のコピー**
+ **権限のコピー**
+ **タイムスタンプのコピー**
+ **オブジェクトタグのコピー**
+ **所有権、DACL、SACL のコピー**
+ **所有権と DACL のコピー**
+ **所有権や ACL をコピーしない**
### DataSync API の使用
次のいずれかのオペレーションで `Options` パラメータを使用して、ファイル、オブジェクト、メタデータの処理オプションを設定できます。
+ [CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html)
+ [StartTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_StartTaskExecution.html)
+ [UpdateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html)
# AWS DataSync がデータ整合性を検証する方法の設定
転送中、 はチェックサム検証 AWS DataSync を使用して、ロケーション間でコピーするデータの整合性を検証します。転送の最後に追加の検証を実行するように DataSync を設定することもできます。
## データ検証オプション
以下の情報は、DataSync がこれらの追加のチェックを実行するかどうか、またはその方法を決定する際に役立ちます。
| コンソールオプション | API オプション | 説明 |
| --- | --- | --- |
| **転送されたデータのみを検証する** (推奨) | [VerifyMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-VerifyMode) を `ONLY_FILES_TRANSFERRED` に設定 | DataSync は、送信元の場所で転送されたデータ (メタデータを含む) のチェックサムを計算します。転送終了時に、DataSync はこのチェックサムを転送先の同じデータで計算されたチェックサムと比較します。 S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスに転送する場合は、このオプションをお勧めします。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 |
| **すべてのデータを検証する** | [VerifyMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-VerifyMode) を `POINT_IN_TIME_CONSISTENT` に設定 | 転送の終了時に、DataSync は送信元全体と送信先全体をチェックし、両方の場所が完全に同期されていることを検証します。 タスクで[拡張モード](choosing-task-mode.md)を使用する場合はサポートされません。 [マニフェスト](transferring-with-manifest.md)を使用する場合、DataSync はマニフェストにリストされているもののみをスキャンおよび検証します。 S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスに転送する場合は、このオプションは使用できません。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 |
| 転送後にデータを検証しない | [VerifyMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-VerifyMode) を `NONE` に設定 | DataSync は転送中にのみデータ整合性チェックを実行します。他のオプションとは異なり、転送の終了時に追加の検証はありません。 |
## データ検証の設定
タスクの作成、タスクの更新、またはタスク実行の開始時に、データ検証オプションを設定できます。
### DataSync コンソールの使用
次の手順では、タスクを作成するときにデータ検証オプションを設定する方法について説明します。
**コンソールを使用してデータ検証を設定するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[検証]** では、次のいずれかを選択します。
+ **転送されたデータのみを検証する** (推奨)
+ **すべてのデータを検証する**
+ **転送後にデータを検証しない**
### DataSync API の使用
DataSync のデータを検証する方法は、次の操作で `VerifyMode` パラメータを使用して設定できます。
+ [CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html)
+ [UpdateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html)
+ [StartTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_StartTaskExecution.html)
# AWS DataSync タスクの帯域幅制限の設定
AWS DataSync タスクとその各実行のネットワーク帯域幅制限を設定できます。
## タスクの帯域幅の制限
タスクの作成、編集、または開始時に帯域幅制限を設定します。
### DataSync コンソールの使用
以下の手順では、タスクの作成時に帯域幅制限を設定する方法について説明します。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[帯域幅制限]** では、次のいずれかを選択します。
+ タスク実行ごとに利用できるすべてのネットワーク帯域幅を使用するには、**[Use available (使用可能)]** を選択します。
+ **[Set bandwidth limit (帯域幅制限を設定) (MiB/秒)]** を選択すると、DataSync がタスク実行ごとに使用する最大帯域幅を入力できます。
### DataSync API の使用
タスクの帯域幅制限は、以下のいずれかの操作で `BytesPerSecond` パラメータを使用して設定できます。
+ [CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html)
+ [UpdateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html)
+ [StartTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_StartTaskExecution.html)
## タスクの実行に必要な帯域幅スロットリング
実行中またはキューに入っているタスク実行の帯域幅制限を変更できます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[Data transfer (データ転送)]** を展開し、**[Tasks (タスク)]** を選択します。
1. タスクを選択し、**[History (履歴)]** を選択すると、タスクの実行が表示されます。
1. 変更するタスク実行を選択し、次に **[Edit (編集)]** を選択します。
1. ダイアログボックスで、次のいずれかの操作を選択します。
+ タスク実行に利用できるすべてのネットワーク帯域幅を使用するには、**[Use available (使用可能)]** を選択します。
+ **[Set bandwidth limit (帯域幅制限を設定) (MiB/秒)]** を選択すると、DataSync がタスク実行に使用する最大帯域幅を入力できます。
1. **[Save changes]** (変更の保存) をクリックします。
新しい帯域幅制限は 60 秒以内に有効になります。
### DataSync API の使用
[UpdateTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTaskExecution.html) 操作で `BytesPerSecond` パラメータを使用すると、実行中またはキューに入っているタスク実行の帯域幅制限を変更できます。
# AWS DataSync タスクの実行日時のスケジューリング
AWS DataSync タスクのスケジュールを、ストレージのロケーション間で定期的にデータを転送するように設定します。
## DataSync タスクのスケジューリングの仕組み
スケジュールした DataSync のタスクは、指定した頻度 (最短で 1 時間間隔) で実行されます。タスクのスケジュールは、cron または rate 式を使用して作成できます。
**重要**
タスクの実行間隔は 1 時間より短く設定することはできません。
**cron 式の使用**
特定の日時で実行されるタスクスケジュールには cron 式を使用します。例えば、毎週日曜日と水曜日の午後 12:00 (UTC) に実行されるように AWS CLI でタスクのスケジュールを設定するには、以下の方法を使用します。
```
cron(0 12 ? * SUN,WED *)
```
**rate 式の使用**
12 時間おきなど一定の間隔で実行されるようにタスクをスケジュールするには、rate 式を使用します。例えば、12 時間おきにに実行されるように AWS CLI でタスクのスケジュールを設定するには、以下の方法を使用します。
```
rate(12 hours)
```
**ヒント**
cron 式と rate 式の構文の詳細については、「[https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-cron-expressions.html](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-cron-expressions.html)」を参照してください。
## DataSync タスクのスケジュールの作成
タスクの実行間隔は、DataSync のコンソール、AWS CLI、DataSync API のいずれかからスケジュールできます。
### DataSync コンソールの使用
タスクの作成時にスケジュールを設定する方法について説明します。このスケジュールは、後でタスクを編集する際に変更できます。
コンソールを使用すると、スケジュール設定のオプションを使ってタスクの実行時刻を厳密に (毎日午後 10 時 30 分など) 指定できます。時刻を指定しなかった場合は、タスクは作成 (または更新) した時刻に実行されます。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. スケジュールの **[頻度]** で以下のいずれかを実行します。
+ タスクをスケジュールどおりに実行しない場合は、**[スケジュールされていません]** を選択します。
+ **[毎時]** を選択する場合は、タスクを実行する時刻 (分) を選択します。
+ **[毎日]** を選択する場合は、タスクを実行する時刻 (UTC) を入力します。
+ **[毎週]** を選択し曜日を選択する場合は、タスクを実行する時刻 (UTC) を入力します。
+ **[曜日]** を選択する場合は、特定の曜日 (複数可) を選択し、タスクを実行する時刻 (UTC) を HH:MM の形式で入力します。
+ **[カスタム]** を選択する場合は、**[Cron 式]** または **[Rate 式]** を選択します。タスクのスケジュールを 1 時間以上の間隔を空けて入力します。
### の使用AWS CLI
DataSync タスクのスケジュールは、`--schedule` パラメータと、`create-task`、`update-task`、`start-task-execution` のいずれかのコマンドを使って作成できます。
以下の手順では `create-task` コマンドを使用して作成する方法を説明します。
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \
--destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \
--schedule '{
"ScheduleExpression": "cron(0 12 ? * SUN,WED *)"
}'
```
1. `--source-location-arn` パラメータで、転送の送信元ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` パラメータで、転送の送信先ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--schedule` パラメータで、スケジュールの cron 式または rate 式を指定します。
こちらの例では、cron 式 `cron(0 12 ? * SUN,WED *)` により、毎週日曜日と水曜日の午後 12 時 00 分 (UTC) に実行されるタスクがスケジュールされています。
1. `create-task` コマンドを実行してスケジュール付きのタスクを作成します。
## DataSync タスクのスケジュールの一時停止
状況によって、DataSync タスクのスケジュールを一時的に停止しなければならない場合があります。例えば、タスクで生じた問題を解決したり、ストレージシステムのメンテナンスを実行したりするために、定期的に実行される転送を一時的に無効にする必要があります。
DataSync は、タスクのスケジュールを以下の理由で自動的に無効にすることがあります。
+ タスクが同じエラーにより繰り返し失敗している。
+ タスクで使用している[AWS リージョンを無効](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-regions.html)にした。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. スケジュールを一時停止するタスクを選択し、**[編集]** を選択します。
1. **[スケジュール]** で **[スケジュールを有効にする]** をオフにします。**[Save changes]** (変更の保存) をクリックします。
### の使用AWS CLI
1. 次の `update-task` コマンドをコピーします。
```
aws datasync update-task \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh \
--schedule '{
"ScheduleExpression": "cron(0 12 ? * SUN,WED *)",
"Status": "DISABLED"
}'
```
1. `--task-arn` パラメータで、スケジュールを一時停止するタスクの ARN を指定します。
1. `--schedule` パラメータについては、以下を行います。
+ `ScheduleExpression` で、スケジュールの cron 式または rate 式を指定します。
この例では、式 `cron(0 12 ? * SUN,WED *)` により、毎週日曜日と水曜日の午後 12 時 00 分 (UTC) に実行されるタスクがスケジュールされています。
+ `Status` で、`DISABLED` を指定してタスクスケジュールを一時停止します。
1. `update-task` コマンドを実行します。
1. スケジュールを再開するには、`Status` を `ENABLED` に設定して同じ `update-task` コマンドを実行します。
## DataSync タスクのスケジュールのステータス確認
DataSync タスクのスケジュールが有効になっているかどうか、確認することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. **[スケジュール]** 列で、タスクのスケジュールが有効か無効かを確認します。
### の使用AWS CLI
1. 次の `describe-task` コマンドをコピーします。
```
aws datasync describe-task \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh
```
1. `--task-arn` パラメータで、情報を取得するタスクの ARN を指定します。
1. `describe-task` コマンドを実行します。
タスクに関する詳細 (スケジュールなど) を含む応答が表示されます (以下の例ではタスクスケジュールの設定に焦点を当てており、`describe-task` の応答のすべては表示していません)。
この例では、タスクのスケジュールが手動で無効にされていることが示されています。スケジュールを DataSync `SERVICE` を使って無効にした場合は、`DisabledReason` のメッセージが表示されるため、タスクが失敗し続ける理由がわかります。詳細については、「[AWS DataSync の問題のトラブルシューティング](troubleshooting-datasync.md)」を参照してください。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh",
"Status": "AVAILABLE",
"Schedule": {
"ScheduleExpression": "cron(0 12 ? * SUN,WED *)",
"Status": "DISABLED",
"StatusUpdateTime": 1697736000,
"DisabledBy": "USER",
"DisabledReason": "Manually disabled by user."
},
...
}
```
# AWS DataSync タスクのタグ付け
*タグ*は、 AWS DataSync リソースの管理、フィルタリング、検索に役立つキーと値のペアです。DataSync タスクとタスク実行ごとに最大 50 個のタグを追加できます。
たとえば、大規模なデータ移行用のタスクを作成し、そのタスクにキー **Project** と値 **Large Migration** のタグを付けることができます。移行をさらに整理するには、1 回のタスクの実行にキー **Transfer Date** と値 **May 2021** のタグを付けます (後続のタスクの実行には **June 2021**、**July 2021** などのタグが付けられる場合があります)。
## DataSync タスクのタグ付け
DataSync タスクにタグを付けることができるのは、タスクの作成時のみです。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **設定を構成** ページで、**[新しいタグを追加]** を選択してタスクにタグを付けます。
### の使用 AWS CLI
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn 'arn:aws:datasync:region:account-id:location/source-location-id' \
--destination-location-arn 'arn:aws:datasync:region:account-id:location/destination-location-id' \
--tags Key=tag-key,Value=tag-value
```
1. コマンドに以下のパラメータを指定します。
+ `--source-location-arn` – 転送時にソースの場所の Amazon リソースネーム (ARN) を指定します。
+ `--destination-location-arn` – 転送時に転送先の場所の ARN を指定します。
+ `--tags` – タスクに適用するタグを指定します。
タグが複数ある場合は、各キーと値のペアをスペースで区切ります。
1. (オプション) 転送シナリオに適した他のパラメータを指定します。
`--options` のリストについては、「[create-task](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-task.html) コマンド」を参照してください。
1. `create-task` コマンドを実行します。
先ほど作成したタスクを示す応答が表示されます。
```
{
"TaskArn": "arn:aws:datasync:us-east-2:123456789012:task/task-abcdef01234567890"
}
```
このタスクに追加したタグを表示するには、[list-tags-for-resource](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/list-tags-for-resource.html) コマンドを使用できます。
## DataSync タスク実行のタグ付け
DataSync タスクの実行ごとにタグを付けることができます。
タスクにすでにタグが付いている場合は、タスクの実行でのタグの使用について次の点に注意してください。
+ コンソールからタスクを開始すると、ユーザーが作成したタグがタスク実行に自動的に適用されます。ただし、`aws:` で始まるシステム作成のタグには適用されません。
+ DataSync API または を使用してタスクを開始した場合 AWS CLI、そのタグはタスク実行に自動的に適用されません。
### DataSync コンソールの使用
タスク実行からタグを追加、編集、または削除するには、上書きオプションを使用してタスクを開始する必要があります。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. タスクを選択します。
1. **[Start (開始)]** を選択し、次のいずれかのオプションを選択します。
+ **[デフォルトで開始]** – タスクに関連付けられたタグをすべて適用します。
+ **[上書きオプションで開始]** – この特定のタスク実行に関するタグを追加、編集、または削除できます。
### の使用 AWS CLI
1. 次の `start-task-execution` コマンドをコピーします。
```
aws datasync start-task-execution \
--task-arn 'arn:aws:datasync:region:account-id:task/task-id' \
--tags Key=tag-key,Value=tag-value
```
1. コマンドに以下のパラメータを指定します。
+ `--task-arn` – 開始するタスクの ARN を指定します。
+ `--tags` – 特定のタスクの実行に適用するタグを指定します。
タグが複数ある場合は、各キーと値のペアをスペースで区切ります。
1. (オプション) 状況に適した他のパラメータを指定します。
詳細については、「[start-task-execution](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/start-task-execution.html) コマンド」を参照してください。
1. `start-task-execution` コマンドを実行します。
先ほど開始したタスク実行を示す応答が表示されます。
```
{
"TaskExecutionArn": "arn:aws:datasync:us-east-2:123456789012:task/task-abcdef01234567890"
}
```
このタスクに追加したタグを表示するには、[list-tags-for-resource](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/list-tags-for-resource.html) コマンドを使用できます。