翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# を使用したデータ転送 AWS DataSync
を使用すると AWS DataSync、オンプレミス、 内、 AWSまたは他のクラウド内のストレージとの間でデータを転送できます。
DataSync 転送の設定には、通常以下のステップが含まれます。
1. DataSync が[お使いの転送をサポートしている](working-with-locations.md)かどうかを確認します。
1. 転送に [DataSync エージェントが必要](do-i-need-datasync-agent.md)な場合は、ストレージシステムの 1 つとできるだけ近い場所にエージェントをデプロイし、アクティブ化します。
例えば、オンプレミスの Network File System (NFS) ファイルサーバーから転送を行う場合は、そのファイルサーバーにできるだけ近い場所にエージェントをデプロイします。
1. DataSync にお使いのストレージシステムへのアクセス権を付与します。
DataSync には、ストレージとの間で読み取りまたは書き込みを行うためのアクセス許可 (ストレージが転送元と転送先のいずれになるかに応じて異なります) が必要です。例として、[DataSync に NFS ファイルサーバーへのアクセス権を付与する](create-nfs-location.md#accessing-nfs)方法について説明します。
1. ストレージシステムと DataSync との間のトラフィックのために[ネットワークを接続します](networking-datasync.md)。
1. DataSync コンソール、、または DataSync API を使用して AWS CLI、ソースストレージシステムの場所を作成します。
例として、[NFS ロケーションを作成する](create-nfs-location.md#create-nfs-location-how-to)または [Amazon S3 ロケーション を作成する](create-s3-location.md#create-s3-location-how-to)方法を説明します。
1. ステップ 3～5 を繰り返して、転送の送信先の場所を作成します。
1. 転送元と転送先のロケーションを含む [DataSync 転送タスク](create-task-how-to.md)を作成して開始します。
**Topics**
+ [でデータを転送できる場所 AWS DataSync](working-with-locations.md)
+ [を使用したオンプレミスストレージとの間の転送 AWS DataSync](transferring-on-premises-storage.md)
+ [を使用した AWS ストレージとの間の転送 AWS DataSync](transferring-aws-storage.md)
+ [を使用した他のクラウドストレージとの間の転送 AWS DataSync](transferring-other-cloud-storage.md)
+ [データを転送するタスクの作成](create-task-how-to.md)
+ [データ転送タスクの開始](run-task.md)
# でデータを転送できる場所 AWS DataSync
を使用してデータを転送できる場所 AWS DataSync は、次の要因によって異なります。
+ 転送元と転送先の[場所](how-datasync-transfer-works.md#sync-locations)
+ ロケーションが異なる場合 AWS アカウント
+ ロケーションが異なる場合 AWS リージョン
+ でベーシックモードまたは拡張モードを使用している場合
## 同じ でサポートされている転送 AWS アカウント
DataSync は、同一の AWS アカウントに関連する以下のストレージシステム間の転送をサポートします。
| ソース | 目的地 | エージェントが必要ですか? | サポートされているタスクモード |
| --- | --- | --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | ベーシックモードの場合のみ | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | いいえ | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | いいえ | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | ベーシックモードの場合のみ | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | いいえ | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | いいえ | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
## でサポートされている転送 AWS アカウント
DataSync は、異なる AWS アカウントに関連付けられているストレージリソース間の一部の転送をサポートします。
| ソース | 目的地 | エージェントが必要ですか? | サポートされているタスクモード |
| --- | --- | --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | いいえ | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | いいえ | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本、拡張 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | いいえ | 基本のみ |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/working-with-locations.html) | はい (NFS/SMB の場所として使用した場合) | 基本のみ |
1 [NFS の場所](create-nfs-location.md)として設定します。
2 [SMB の場所](create-smb-location.md)として設定します。
3 NFS または SMB の場所として設定されます。
## 同じ でサポートされている転送 AWS リージョン
同一 AWS リージョン 内でのデータ転送には制限はありません ([オプトインリージョン](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-regions.html)も含む)。詳細については、「[AWS リージョン supported by DataSync](https://docs.aws.amazon.com/general/latest/gr/datasync.html)」を参照してください。
## 間でサポートされている転送 AWS リージョン
[DataSync でサポートされているAWS リージョン](https://docs.aws.amazon.com/general/latest/gr/datasync.html)間でデータを転送する場合は、次の点に注意してください。
+ 異なる の AWS ストレージサービス間で転送する場合 AWS リージョン、2 つの場所のいずれかが DataSync を使用しているリージョンにある必要があります。
+ NFS、SMB、HDFS、またはオブジェクトストレージの場所を持つリージョン間で転送することはできません。このような場合、両方の転送場所が [DataSync エージェント をアクティブ化](activate-agent.md)する同じリージョンにある必要があります。
+ AWS GovCloud (US) リージョンを使用すると、次のことができます。
+ AWS GovCloud (米国東部) リージョンと AWS GovCloud (米国西部) リージョン間の転送。
+ AWS GovCloud (US) リージョンと米国東部 (バージニア北部) AWS リージョンなどの商用 間の転送。このタイプの転送では、Amazon EFS または Amazon FSx ファイルシステム間で転送するときに[エージェント](agent-requirements.md)が必要です。
**重要**
間で転送されたデータに対して料金が発生します AWS リージョン。この転送は、ソースリージョンから送信先リージョンへのデータ転送出力として請求されます。詳細については、[AWS DataSync の料金](https://aws.amazon.com/datasync/pricing/)を参照してください。
## 転送に DataSync エージェントが必要かどうかを判断する
転送シナリオによっては、DataSync エージェントが必要になる場合があります。詳細については、[AWS DataSync エージェントが必要ですか?](do-i-need-datasync-agent.md) を参照してください。
# を使用したオンプレミスストレージとの間の転送 AWS DataSync
を使用すると AWS DataSync、多数のオンプレミスまたはセルフマネージドストレージシステムと以下の AWS ストレージサービス間でファイルとオブジェクトを転送できます。
+ [Amazon S3](create-s3-location.md)
+ [Amazon EFS](create-efs-location.md)
+ [Amazon FSx for Windows File Server](create-fsx-location.md)
+ [Amazon FSx for Lustre](create-lustre-location.md)
+ [Amazon FSx for OpenZFS](create-openzfs-location.md)
+ [Amazon FSx for NetApp ONTAP](create-ontap-location.md)
**Topics**
+ [NFS ファイルサーバーを使用した AWS DataSync 転送の設定](create-nfs-location.md)
+ [SMB ファイルサーバーを使用した AWS DataSync 転送の設定](create-smb-location.md)
+ [HDFS クラスターを使用した AWS DataSync 転送の設定](create-hdfs-location.md)
+ [オブジェクトストレージシステムを使用した DataSync 転送の設定](create-object-location.md)
# NFS ファイルサーバーを使用した AWS DataSync 転送の設定
を使用すると AWS DataSync、ネットワークファイルシステム (NFS) ファイルサーバーと次の AWS ストレージサービス間でデータを転送できます。サポートされているストレージサービスは、次に示すように、タスクモードによって異なります。
| 基本モード | 拡張モード |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/create-nfs-location.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/create-nfs-location.html) |
このタイプの転送を設定するには、NFS サーバーに[ロケーション](how-datasync-transfer-works.md#sync-locations)を作成します。このロケーションを送信元または送信先として使用できます。
## DataSync に NFS ファイルサーバーへのアクセスを許可する
DataSync が NFS ファイルサーバーにアクセスするには、DataSync [エージェント](how-datasync-transfer-works.md#sync-agents)が必要です。エージェントは NFS プロトコルを使用してファイルサーバーにエクスポートをマウントします。目的のタスクモードに対応するエージェントを使用してください。
**Topics**
+ [NFS エクスポートの設定](#accessing-nfs-configuring-export)
+ [サポートされる NFS バージョン](#supported-nfs-versions)
### NFS エクスポートの設定
DataSync が転送に必要なエクスポートは、NFS ファイルサーバーが転送元ロケーションであるか転送先ロケーションであるか、およびファイルサーバーの権限がどのように設定されているかによって異なります。
ファイルサーバーが転送元ロケーションの場合、DataSync はファイルとフォルダを読み取ってトラバースするだけです。転送先ロケーションの場合、そのロケーションに書き込みを行い、コピーするファイルやフォルダの所有権、アクセス許可、その他のメタデータを設定するためのルートアクセス権が DataSync に必要です。`no_root_squash` オプションを使用して、エクスポート用のルートアクセスを許可できます。
以下の例は、DataSync へのアクセスを提供する NFS エクスポートを設定する方法を示しています。
**NFS ファイルサーバーが転送元ロケーション (ルートアクセス) の場合**
DataSync の読み取り専用権限 (`ro`) とルートアクセス (`no_root_squash`) を提供する次のコマンドを使用してエクスポートを設定します。
```
export-path datasync-agent-ip-address(ro,no_root_squash)
```
**NFS ファイルサーバーが転送先ロケーションの場合**
DataSync の書き込み権限 (`rw`) とルートアクセス (`no_root_squash`) を提供する次のコマンドを使用してエクスポートを設定します。
```
export-path datasync-agent-ip-address(rw,no_root_squash)
```
**NFS ファイルサーバーが転送元ロケーション (ルートアクセスなし) の場合**
次のコマンドを使用してエクスポートを設定します。このコマンドでは、エクスポート時に DataSync の読み取り専用権限を提供することが分かっている POSIX ユーザー ID (UID) とグループ ID (GID) を指定します。
```
export-path datasync-agent-ip-address(ro,all_squash,anonuid=uid,anongid=gid)
```
### サポートされる NFS バージョン
デフォルトでは、DataSync は NFS バージョン 4.1 を選択します。DataSync は NFS 4.0 と 3.x もサポートしています。
## NFS 転送用のネットワークの設定
DataSync の転送では、いくつかのネットワーク接続用のトラフィックを設定する必要があります。
1. 以下のポートで DataSync エージェントから NFS ファイルサーバーへのトラフィックを許可します。
+ **NFS バージョン 4.1 と 4.0 の場合** – TCP ポート 2049
+ **NFS バージョン 3.x の場合** – TCP ポート 111 と 2049
ネットワーク内の他の NFS クライアントは、データ転送に使用している NFS エクスポートをマウントできるはずです。また、エクスポートは Kerberos 認証なしでアクセスできなければなりません。
1. [サービスエンドポイント接続](datasync-network.md) (VPC、パブリック、FIPS エンドポイントなど) のトラフィックを設定します。
1. DataSync サービスと転送元または転送先となる [AWS ストレージサービス](datasync-network.md#storage-service-network-requirements)とのトラフィックを許可します。
## NFS 転送ロケーションの作成
開始する前に、以下の点に注意してください。
+ データの転送元となる NFS ファイルサーバーが必要です。
+ [ファイルサーバーにアクセス](#accessing-nfs)できる DataSync エージェントが必要です。
+ DataSync は、NFS バージョン 4 のアクセスコントロールリスト (ACL) のコピーをサポートしていません。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** には **[ネットワークファイルシステム (NFS)]**]を選択します。
1. **[エージェント]** で、NFS ファイルサーバーに接続可能な DataSync エージェントを選択します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. **[NFS サーバー]** には、DataSync エージェントが接続する NFS ファイルサーバーのドメインネームシステム (DNS) 名または IP アドレスを入力します。
1. **[マウントパス]** には、DataSync にマウントする NFS エクスポートパスを入力します。
このパス (またはパスのサブディレクトリ) は、DataSync のデータ転送先または転送元となる場所です。詳細については、「[NFS エクスポートの設定](#accessing-nfs-configuring-export)」を参照してください。
1. (オプション) **[その他の設定]** を展開し、DataSync がファイルサーバーにアクセスするときに使用する特定の **NFS バージョン**を選択します。
詳細については、「[サポートされる NFS バージョン](#supported-nfs-versions)」を参照してください。
1. (オプション) **[タグを追加]** を選択して、NFS ロケーションにタグ付けします。
*タグ*は、ロケーションの管理、フィルタリング、検索に役立つキーバリューペアです。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
+ 以下のコマンドを使用して NFS ロケーションを作成します。
```
aws datasync create-location-nfs \
--server-hostname nfs-server-address \
--on-prem-config AgentArns=datasync-agent-arns \
--subdirectory nfs-export-path
```
場所を作成するための詳細については、「[DataSync に NFS ファイルサーバーへのアクセスを許可する](#accessing-nfs)」を参照してください。
DataSync によって、NFS の場所からの読み取りに使用される NFS バージョンが自動選択されます。NFS バージョンを指定するには、[NfsMountOptions](API_NfsMountOptions.md) API オペレーションでオプションの `Version` パラメータを使用します。
これらのコマンドは、次の ARN のような NFS の場所の Amazon リソースネーム (ARN) を返します。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0f01451b140b2af49"
}
```
ディレクトリがマウントできることを確認するには、エージェントと同じネットワーク設定がある任意のコンピュータに接続して、次のコマンドを実行します。
```
mount -t nfs -o nfsvers=
を使用すると AWS DataSync、サーバーメッセージブロック (SMB) ファイルサーバーと次の AWS ストレージサービスとの間でデータを転送できます。サポートされているストレージサービスは、次に示すように、タスクモードによって異なります。
| 基本モード | 拡張モード |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/create-smb-location.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/create-smb-location.html) |
このタイプの転送を設定するには、SMB ファイルサーバーの[ロケーション](how-datasync-transfer-works.md#sync-locations)を作成します。このロケーションは送信元または送信先として使用できます。目的のタスクモードに対応するエージェントを使用してください。
## DataSync に対する SMB ファイルサーバーへのアクセス許可の付与
DataSync は SMB プロトコルを使用してファイルサーバーに接続し、NTLM または Kerberos で認証できます。
**Topics**
+ [サポートされている SMB バージョン](#configuring-smb-version)
+ [NTLM 認証の使用](#configuring-smb-ntlm-authentication)
+ [Kerberos 認証を使用する](#configuring-smb-kerberos-authentication)
+ [必要なアクセス許可](#configuring-smb-permissions)
+ [DFS 名前空間](#configuring-smb-location-dfs)
### サポートされている SMB バージョン
デフォルトでは、DataSync は SMB ファイルサーバーとのネゴシエーションに基づいて自動的に SMB プロトコルのバージョンを選択します。
特定の SMB バージョンを使用するように DataSync を設定することもできますが、これは DataSync が SMB ファイルサーバーと自動的にネゴシエーションできない場合にのみ行うことをお勧めします。DataSync は SMB バージョン 1.0 以降をサポートします。セキュリティ上の理由から、SMB バージョン 3.0.2 以降を使用することをお勧めします。SMB 1.0 などの以前のバージョンには、攻撃者がデータを侵害するために悪用できる既知のセキュリティ脆弱性が含まれています。
DataSync コンソールと API のオプションについては、次の表を参照してください。
| コンソールオプション | API オプション | 説明 |
| --- | --- | --- |
| 自動 | `AUTOMATIC` | DataSync と SMB ファイルサーバーは 、2.1 から 3.1.1 の間で 、相互にサポートする最上位の SMB バージョンをネゴシエートします。 これはデフォルトの推奨オプションです。代わりに、ファイルサーバーがサポートしていない特定のバージョンを選択すると、`Operation Not Supported` エラーが表示されることがあります。 |
| SMB 3.0.2 | `SMB3` | プロトコルネゴシエーションを SMB バージョン 3.0.2 のみに制限します。 |
| SMB 2.1 | `SMB2` | プロトコルネゴシエーションを SMB バージョン 2.1 のみに制限します。 |
| SMB 2.0 | `SMB2_0` | プロトコルネゴシエーションを SMB バージョン 2.0 のみに制限します。 |
| SMB 1.0 | `SMB1` | プロトコルネゴシエーションを SMB バージョン 1.0 のみに制限します。 |
### NTLM 認証の使用
NTLM 認証を使用するには、DataSync が転送先または転送元の SMB ファイルサーバーにアクセスできるように、ユーザー名とパスワードを指定します。これに該当するユーザーは、ファイルサーバーのローカルユーザーまたは Microsoft Active Directory のドメインユーザーです。
### Kerberos 認証を使用する
Kerberos 認証を使用するには、転送先または転送元の SMB ファイルサーバーに DataSync がアクセスできるように、Kerberos プリンシパル、Kerberos キーテーブル (キータブ) ファイル、および Kerberos 設定ファイルを指定します。
**Topics**
+ [前提条件](#configuring-smb-kerberos-prerequisites)
+ [Kerberos の DataSync 設定オプション](#configuring-smb-kerberos-options)
#### 前提条件
DataSync が SMB ファイルサーバーにアクセスできるように、いくつかの Kerberos アーティファクトを作成し、ネットワークを設定する必要があります。
+ [ktpass](https://learn.microsoft.com/en-us/windows-server/administration/windows-commands/ktpass) または [kutil](https://web.mit.edu/kerberos/krb5-1.12/doc/admin/admin_commands/ktutil.html) ユーティリティを使用して Kerberos キータブファイルを作成します。
次の例では、`ktpass` を使用してキータブファイルを作成します。指定する Kerberos 領域 (`MYDOMAIN.ORG`) は大文字である必要があります。
```
ktpass /out C:\YOUR_KEYTAB.keytab /princ HOST/kerberosuser@MYDOMAIN.ORG /mapuser kerberosuser /pass * /crypto AES256-SHA1 /ptype KRB5_NT_PRINCIPAL
```
+ 簡易バージョンの Kerberos 設定ファイル (`krb5.conf`) を準備します。領域、ドメイン管理サーバーのロケーション、Kerberos 領域へのホスト名のマッピングに関する情報を含めます。
`krb5.conf` の領域名とドメイン領域名が、大文字と小文字の正しい組み合わせで記述されていることを確認します。例えば、次のようになります。
```
[libdefaults]
dns_lookup_realm = true
dns_lookup_kdc = true
forwardable = true
default_realm = MYDOMAIN.ORG
[realms]
MYDOMAIN.ORG = {
kdc = mydomain.org
admin_server = mydomain.org
}
[domain_realm]
.mydomain.org = MYDOMAIN.ORG
mydomain.org = MYDOMAIN.ORG
```
+ ネットワーク設定で、Kerberos Key Distribution Center (KDC) サーバーポートが開いていることを確認します。通常、KDC ポートは TCP ポート 88 です。
#### Kerberos の DataSync 設定オプション
Kerberos を使用する SMB ロケーションを作成するときは、次のオプションを設定します。
| コンソールオプション | API オプション | 説明 |
| --- | --- | --- |
| **SMB サーバー** | `ServerHostName` | DataSync エージェントがマウントする SMB ファイルサーバーのドメイン名。Kerberos では、ファイルサーバーの IP アドレスを指定することはできません。 |
| **Kerberos プリンシパル** | `KerberosPrincipal` | SMB ファイルサーバーのファイル、フォルダ、ファイルメタデータにアクセスする権限を持つ Kerberos 領域内の ID。 Kerberos プリンシパルは `HOST/kerberosuser@MYDOMAIN.ORG` のようになります。 プリンシパル名では大文字と小文字が区別されます。 |
| **Keytab ファイル** | `KerberosKeytab` | Kerberos キーテーブル (キータブ) ファイル。Kerberos プリンシパルと暗号化キー間のマッピングが含まれます。 |
| **Kerberos 設定ファイル** | `KerberosKrbConf` | Kerberos 領域設定を定義する `krb5.conf` ファイル。 |
| **DNS IP アドレス** (オプション) | `DnsIpAddresses` | SMB ファイルサーバーが属する DNS サーバーの IPv4 アドレス。 環境内に複数のドメインがある場合、このオプションを設定すると、DataSync が適切な SMB ファイルサーバーに接続できるようになります。 |
### 必要なアクセス許可
DataSync で指定する ID には、SMB ファイルサーバーのファイル、フォルダ、ファイルメタデータをマウントしてこれらにアクセスするためのアクセス許可が必要です。
Active Directory で ID を指定する場合、その ID は、次のユーザー権限のいずれか 1 つまたは両方を持つ ([DataSync がコピーするメタデータ](configure-metadata.md)によって異なる) Active Directory グループのメンバーである必要があります。
| ユーザー権限 | 説明 |
| --- | --- |
| **ファイルとディレクトリを復元する** (`SE_RESTORE_NAME`) | DataSync がオブジェクトの所有権、アクセス許可、ファイルメタデータ、NTFS の任意アクセスリスト (DACL) をコピーすることを許可します。 このユーザー権限は通常、**ドメイン管理者**グループと**バックアップオペレーター**グループ (どちらもデフォルトの Active Directory グループ) のメンバーに付与されます。 |
| **監査ログとセキュリティログの管理** (`SE_SECURITY_NAME`) | DataSync が NTFS システムアクセスコントロールリスト (SACL) をコピーすることを許可します。 このユーザー権限は通常、**ドメイン管理者**グループのメンバーに付与されます。 |
Windows ACL をコピーし、SMB ファイルサーバーと、SMB を使用する別のストレージシステム (Amazon FSx for Windows File Server や FSx for ONTAP など) との間で転送を行う場合は、DataSync で指定する ID が、同じ Active Directory ドメインに属しているか、またはドメイン間で Active Directory の信頼関係を持っている必要があります。
### DFS 名前空間
DataSync は Microsoft Distributed File System (DFS) 名前空間をサポートしていません。DataSync ロケーションを作成するときは、基盤となるファイルサーバーを指定するか、共有することをお勧めします。
## SMB 転送ロケーションの作成
開始する前に、データ転送元の SMB ファイルサーバーが必要です。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[Location type (場所のタイプ)]** で **[サーバーメッセージブロック (SMB)]**The UI tags need to be placed outside the brackets. を選択します。
後でこのロケーションを送信元あるいは送信先として設定します。
1. **[エージェント]** で、SMB ファイルサーバーに接続可能な DataSync エージェントを選択します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. **[SMB サーバー]** に、DataSync エージェントがマウントする SMB ファイルサーバーのドメイン名または IP アドレスを入力します。
この設定では、次の点に注意してください。
+ IP バージョン 6 (IPv6) アドレスは指定できません。
+ Kerberos 認証を使用している場合は、ドメイン名を指定する必要があります。
1. **[共有名]** には、DataSync がデータを読み書きする SMB ファイルサーバーによってエクスポートされた共有の名前を入力します。
共有パスにはサブディレクトリ (例: `/path/to/subdirectory`) を含めることができます。ネットワーク内の他の SMB クライアントもこのパスをマウントできることを確認してください。
サブディレクトリ内のすべてのデータをコピーするには、DataSync が SMB 共有をマウントし、その共有内のすべてのデータにアクセスできるようにする必要があります。詳細については、「[必要なアクセス許可](#configuring-smb-permissions)」を参照してください。
1. (オプション) **[その他の設定]** を展開し、DataSync がファイルサーバーにアクセスするときに使用する **SMB バージョン**を選択します。
デフォルトでは、DataSync は SMB サーバーとのネゴシエーションに基づいて自動的にバージョンを選択します。詳細については、「[サポートされている SMB バージョン](#configuring-smb-version)」を参照してください。
1. **[認証タイプ]** で、**[NTLM]** または **[Kerberos]** を選択します。
1. 選択した認証タイプに応じて、次のいずれかの手順を実行します。
------
#### [ NTLM ]
+ **[ユーザー]** には、SMB ファイルサーバーをマウントし、転送に関係するファイルやフォルダにアクセスする権限を持つユーザー名を入力します。
詳細については、「[必要なアクセス許可](#configuring-smb-permissions)」を参照してください。
+ **[パスワード]** には、SMB ファイルサーバーをマウントでき、転送に関連するファイルとフォルダへのアクセス権限を持つユーザーのパスワードを入力します。
+ (オプション) **[ドメイン]** には、SMB ファイルサーバーが属する Windows ドメイン名を入力します。
環境内に複数のドメインがある場合、この設定を構成すると、DataSync が適切な SMB ファイルサーバーに接続できるようになります。
------
#### [ Kerberos ]
+ **[Kerberos プリンシパル]** で、SMB ファイルサーバーのファイル、フォルダ、ファイルメタデータにアクセスする権限を持つ Kerberos 領域内のプリンシパルを指定します。
Kerberos プリンシパルは `HOST/kerberosuser@MYDOMAIN.ORG` のようになります。
プリンシパル名では大文字と小文字が区別されます。この設定で指定したプリンシパルが、キータブファイルの作成に使用するプリンシパルと完全に一致しない場合、DataSync タスク実行は失敗します。
+ **[Keytab ファイル]** で、Kerberos プリンシパルと暗号化キー間のマッピングを含むキータブファイルをアップロードします。
+ **[Kerberos 設定ファイル]** で、Kerberos 領域設定を定義する `krb5.conf` ファイルをアップロードします。
+ (オプション) **[DNS IP アドレス]** で、SMB ファイルサーバーが属する DNS サーバーに最大 2 つの IPv4 アドレスを指定します。
環境内に複数のドメインがある場合、このパラメータを構成することで、DataSync が適切な SMB ファイルサーバーに接続できるようになります。
------
1. (オプション) **[タグを追加]** を選択して、SMB ロケーションにタグ付けします。
*タグ*は、ロケーションの管理、フィルタリング、検索に役立つキーバリューペアです。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
次の手順では、NTLM または Kerberos 認証を使用して SMB ロケーションを作成する方法について説明します。
------
#### [ NTLM ]
1. 次の `create-location-smb` コマンドをコピーします。
```
aws datasync create-location-smb \
--agent-arns datasync-agent-arns \
--server-hostname smb-server-address \
--subdirectory smb-export-path \
--authentication-type "NTLM" \
--user user-who-can-mount-share \
--password user-password \
--domain windows-domain-of-smb-server
```
1. `--agent-arns` には、SMB ファイルサーバーに接続可能な DataSync エージェントを指定します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. `--server-hostname` には、DataSync エージェントがマウントする SMB ファイルサーバーのドメイン名または IPv4 アドレスを指定します。
1. `--subdirectory` には、DataSync がデータを読み書きする SMB ファイルサーバーによってエクスポートされる共有の名前を指定します。
共有パスにはサブディレクトリ (例: `/path/to/subdirectory`) を含めることができます。ネットワーク内の他の SMB クライアントもこのパスをマウントできることを確認してください。
サブディレクトリ内のすべてのデータをコピーするには、DataSync が SMB 共有をマウントし、その共有内のすべてのデータにアクセスできるようにする必要があります。詳細については、「[必要なアクセス許可](#configuring-smb-permissions)」を参照してください。
1. `--user` には、SMB ファイルサーバーをマウントでき、転送に関係するファイルやフォルダにアクセスする権限を持つユーザー名を指定します。
詳細については、「[必要なアクセス許可](#configuring-smb-permissions)」を参照してください。
1. `--password` には、SMB ファイルサーバーをマウントでき、転送に関係するファイルとフォルダにアクセスする権限を持つユーザーのパスワードを指定します。
1. (オプション) `--domain` には、SMB ファイルサーバーが属する Windows ドメイン名を指定します。
環境内に複数のドメインがある場合、この設定を構成すると、DataSync が適切な SMB ファイルサーバーに接続できるようになります。
1. (オプション) DataSync で特定の SMB バージョンを使用する場合は、`--version` オプションを追加します。詳細については、「[サポートされている SMB バージョン](#configuring-smb-version)」を参照してください。
1. `create-location-smb` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example"
}
```
------
#### [ Kerberos ]
1. 次の `create-location-smb` コマンドをコピーします。
```
aws datasync create-location-smb \
--agent-arns datasync-agent-arns \
--server-hostname smb-server-address \
--subdirectory smb-export-path \
--authentication-type "KERBEROS" \
--kerberos-principal "HOST/kerberosuser@EXAMPLE.COM" \
--kerberos-keytab "fileb://path/to/file.keytab" \
--kerberos-krb5-conf "file://path/to/krb5.conf" \
--dns-ip-addresses array-of-ipv4-addresses
```
1. `--agent-arns` には、SMB ファイルサーバーに接続可能な DataSync エージェントを指定します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. `--server-hostname` には、DataSync エージェントがマウントする SMB ファイルサーバーのドメイン名を指定します。
1. `--subdirectory` には、DataSync がデータを読み書きする SMB ファイルサーバーによってエクスポートされる共有の名前を指定します。
共有パスにはサブディレクトリ (例: `/path/to/subdirectory`) を含めることができます。ネットワーク内の他の SMB クライアントもこのパスをマウントできることを確認してください。
サブディレクトリ内のすべてのデータをコピーするには、DataSync が SMB 共有をマウントし、その共有内のすべてのデータにアクセスできるようにする必要があります。詳細については、「[必要なアクセス許可](#configuring-smb-permissions)」を参照してください。
1. [Kerberos] オプションで、以下の操作を行います。
+ `--kerberos-principal`: SMB ファイルサーバーのファイル、フォルダ、ファイルメタデータにアクセスする権限を持つ Kerberos 領域内のプリンシパルを指定します。
Kerberos プリンシパルは `HOST/kerberosuser@MYDOMAIN.ORG` のようになります。
プリンシパル名では大文字と小文字が区別されます。このオプションに指定したプリンシパルが、キータブファイルの作成に使用するプリンシパルと完全に一致しない場合、DataSync タスク実行は失敗します。
+ `--kerberos-keytab`: Kerberos プリンシパルと暗号化キー間のマッピングを含むキータブファイルを指定します。
+ `--kerberos-krb5-conf`: Kerberos 領域設定を定義する `krb5.conf` ファイルを指定します。
+ (オプション) `--dns-ip-addresses`: SMB ファイルサーバーが属する DNS サーバーに最大 2 つの IPv4 アドレスを指定します。
環境内に複数のドメインがある場合、このパラメータを構成することで、DataSync が適切な SMB ファイルサーバーに接続できるようになります。
1. (オプション) DataSync で特定の SMB バージョンを使用する場合は、`--version` オプションを追加します。詳細については、「[サポートされている SMB バージョン](#configuring-smb-version)」を参照してください。
1. `create-location-smb` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example"
}
```
------
# HDFS クラスターを使用した AWS DataSync 転送の設定
では AWS DataSync、ベーシックモードタスクを使用して、Hadoop Distributed File System (HDFS) クラスターと次のいずれかの AWS ストレージサービス間でデータを転送できます。
+ [Amazon S3](create-s3-location.md)
+ [Amazon EFS](create-efs-location.md)
+ [Amazon FSx for Windows File Server](create-fsx-location.md)
+ [Amazon FSx for Lustre](create-lustre-location.md)
+ [Amazon FSx for OpenZFS](create-openzfs-location.md)
+ [Amazon FSx for NetApp ONTAP](create-ontap-location.md)
このタイプの転送を設定するには、HDFS クラスターの[ロケーション](how-datasync-transfer-works.md#sync-locations)を作成します。このロケーションは送信元または送信先として使用できます。
## DataSync に対する HDFS クラスターへのアクセス許可の付与
HDFS クラスターに接続するために、DataSync は HDFS クラスターにできるだけ近い[場所にデプロイする](deploy-agents.md)ベーシックモードエージェントを使用します。DataSync エージェントは HDFS クライアントとして機能し、クラスター内の NameNodes および DataNodes と通信します。
転送タスクを開始すると、DataSync はクラスター上のファイルとフォルダのロケーションを NameNode に照会します。HDFS のロケーションを送信元として設定している場合、DataSync はクラスター内の DataNodes からファイルとフォルダのデータを読み取り、これを送信先にコピーします。HDFS のロケーションを送信先として設定している場合、DataSync は送信元からクラスター内の DataNodes にファイルとフォルダを書き込みます。
### 認証
HDFS クラスターに接続する場合、DataSync は簡易認証または Kerberos 認証をサポートします。簡易認証を使用するには、HDFS クラスターに対する読み書き権限をユーザーのユーザー名に指定します。Kerberos 認証を使用するには、Kerberos 設定ファイル、Kerberos キーテーブル (キータブ) ファイル、および Kerberos プリンシパル名を指定します。Kerberos プリンシパルの認証情報は、指定されたキータブ ファイル にある必要があります。
### 暗号化
Kerberos 認証を使用する場合、DataSync は DataSync エージェントと HDFS クラスター間で送信されるデータの暗号化をサポートします。HDFS クラスターの [保護の品質 (QOP)] 設定を使用し、HDFS のロケーションの作成時に QOP 設定を指定することにより、データを暗号化します。QOP 設定には、データ転送保護とリモートプロシージャコール (RPC) 保護の設定が含まれます。
**DataSync は、次の Kerberos 暗号化タイプをサポートしています。**
+ `des-cbc-crc`
+ `des-cbc-md4`
+ `des-cbc-md5`
+ `des3-cbc-sha1`
+ `arcfour-hmac`
+ `arcfour-hmac-exp`
+ `aes128-cts-hmac-sha1-96`
+ `aes256-cts-hmac-sha1-96`
+ `aes128-cts-hmac-sha256-128`
+ `aes256-cts-hmac-sha384-192`
+ `camellia128-cts-cmac`
+ `camellia256-cts-cmac`
また、Transparent Data Encryption (TDE) を使用して、暗号化の HDFS クラスターを安心して設定できます。簡易認証を使用する場合、DataSync は TDE 対応クラスターへの読み書きを行います。DataSync を使用して TDE 対応クラスターにデータをコピーする場合は、まず HDFS クラスターの暗号化ゾーンを設定します。DataSync は暗号化ゾーンを作成しません。
## サポートされない HDFS 機能
次の HDFS の機能は、現在 DataSync でサポートされていません。
+ Kerberos 認証を使用する場合の Transparent Data Encryption (TDE)
+ 複数の NameNode の設定
+ Hadoop HDFS over HTTP (httpFS)
+ POSIX アクセスコントロールリスト (ACL)
+ HDFS 拡張属性 (xattrs)
+ Apache HBase を使用した HDFS クラスター
## HDFS の転送ロケーションの作成
ユーザーは自分のロケーションを DataSync の送信元または送信先として使用できます。
**開始する前に**: 以下を実行して、エージェントと Hadoop クラスター間のネットワーク接続を確認してください。
+ [オンプレミス、セルフマネージド、その他のクラウドストレージのネットワーク要件](datasync-network.md#on-premises-network-requirements) に示されている TCP ポートへのアクセスをテストします。
+ ローカルエージェントと Hadoop クラスター間のアクセスをテストします。手順については、「[エージェントとストレージシステムとの接続の検証](test-agent-connections.md#self-managed-storage-connectivity)」を参照してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** には、**[Hadoop 分散ファイルシステム (HDFS)]** を選択します。
後でこのロケーションを送信元あるいは送信先として設定することができます。
1. **[エージェント]** で、ご使用の HDFS クラスターに接続できるエージェントを選択します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. **[NameNode]** で、HDFS クラスターのプライマリ NameNode のドメイン名または IP アドレスを指定します。
1. **[フォルダ]** に、DataSync でデータ転送に使用する HDFS クラスター上のフォルダを入力します。
HDFS ロケーションが送信元である場合、DataSync はこのフォルダ内のファイルを送信先にコピーします。HDFS ロケーションが送信先である場合、DataSync はこのフォルダ内にファイルを書き込みます。
1. **ブロックサイズ**または**レプリケーション係数**を設定するには、**追加設定**を選択します。
デフォルトのブロックサイズは 128 MiB です。指定するブロックサイズは 512 バイトの倍数にします。
HDFS クラスターに転送を行うときの、デフォルトのレプリケーション係数は、3 つの DataNodes です。
1. [**Security (セキュリティ)**] セクションで、HDFS クラスターで使用する**認証タイプ**を選択します。
+ **シンプル** – **[ユーザー]** に、HDFS クラスターで次の権限を持つユーザーの名前を指定します (ユースケースによって異なります)。
+ このロケーションを転送元ロケーションとして使用する予定の場合は、読み取り権限のみを持つユーザーを指定してください。
+ このロケーションを転送先ロケーションとして使用する場合は、読み取り権限と書き込み権限を持つユーザーを指定してください。
必要に応じて、HDFS クラスターのキー管理サーバー (KMS) の URI を指定します。
+ **Kerberos** – HDFS クラスターにアクセスできる Kerberos **プリンシパル**を指定します。次に、指定した Kerberos プリンシパルを含む **KeyTab ファイル**を指定します。次に、**Kerberos 設定ファイル**を指定します。最後に、**RPC 保護**と**データ転送保護**ドロップダウンリストで転送中の暗号化の種類を指定します。
1. (オプション) **[タグを追加]** を選択して HDFS ロケーションにタグ付けします。
*タグ*は、ロケーションの管理、フィルタリング、検索に役立つキーバリューペアです。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
1. 次の `create-location-hdfs` コマンドをコピーします。
```
aws datasync create-location-hdfs --name-nodes [{"Hostname":"host1", "Port": 8020}] \
--authentication-type "SIMPLE|KERBEROS" \
--agent-arns [arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890example] \
--subdirectory "/path/to/my/data"
```
1. `--name-nodes` パラメータには、HDFS クラスターのプライマリ NameNode のホスト名または IP アドレスと、NameNode がリッスンしている TCP ポートを指定します。
1. `--authentication-type` パラメータには、Hadoop クラスターに接続するときに使用する認証のタイプを指定します。`SIMPLE` または `KERBEROS` を指定できます。
`SIMPLE`認証を使用した場合、`--simple-user`パラメータを使用して、ユーザーのユーザー名を指定します。`KERBEROS`認証を使用した場合、`--kerberos-principal`,`--kerberos-keytab`, および`--kerberos-krb5-conf`パラメータを使用します。詳細については、「[create-location-hdfs](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-location-hdfs.html)」を参照してください。
1. `--agent-arns` パラメータについては、HDFS クラスターに接続できる DataSync エージェントの Amazon リソースネーム (ARN) を指定します。
エージェントは複数選択できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. (オプション) `--subdirectory` パラメータで、データ転送に DataSync で使用する HDFS クラスター上のフォルダを指定します。
HDFS ロケーションが送信元である場合、DataSync はこのフォルダ内のファイルを送信先にコピーします。HDFS ロケーションが送信先である場合、DataSync はこのフォルダ内にファイルを書き込みます。
1. `create-location-hdfs` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example"
}
```
# オブジェクトストレージシステムを使用した DataSync 転送の設定
では AWS DataSync、ベーシックモードタスクを使用して、オブジェクトストレージシステムと次のいずれかの AWS ストレージサービス間でデータを転送できます。
+ [Amazon S3](create-s3-location.md)
+ [Amazon EFS](create-efs-location.md)
+ [Amazon FSx for Windows File Server](create-fsx-location.md)
+ [Amazon FSx for Lustre](create-lustre-location.md)
+ [Amazon FSx for OpenZFS](create-openzfs-location.md)
+ [Amazon FSx for NetApp ONTAP](create-ontap-location.md)
このタイプの転送を設定するには、オブジェクトストレージシステムの[ロケーション](how-datasync-transfer-works.md#sync-locations)を作成します。このロケーションは送信元または送信先として使用できます。オンプレミスオブジェクトストレージとの間でデータを転送するには、ベーシックモードの DataSync エージェントが必要です。
## 前提条件
オブジェクトストレージシステムは、DataSyncが接続するための以下の [Amazon S3 API オペレーション](https://docs.aws.amazon.com/AmazonS3/latest/API/API_Operations.html)と互換性がある必要があります。
+ `AbortMultipartUpload`
+ `CompleteMultipartUpload`
+ `CopyObject`
+ `CreateMultipartUpload`
+ `DeleteObject`
+ `DeleteObjects`
+ `DeleteObjectTagging`
+ `GetBucketLocation`
+ `GetObject`
+ `GetObjectTagging`
+ `HeadBucket`
+ `HeadObject`
+ `ListObjectsV2`
+ `PutObject`
+ `PutObjectTagging`
+ `UploadPart`
## オブジェクトストレージの転送ロケーションの作成
開始する前に、データの送信先または送信先となるオブジェクトストレージシステムを作成する必要があります。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、[場所] と **[場所を作成する]** を選択します。
1. **場所タイプ**で、**オブジェクトストレージ**を選択します。
後でこのロケーションを送信元あるいは送信先として設定します。
1. **[サーバー]** には、オブジェクトストレージサーバーのドメイン名または IP アドレスを指定します。
1. **[バケット名]** には、転送に関係するオブジェクトストレージバケットの名前を指定します。
1. **[フォルダ]** には、オブジェクトプレフィックスを入力します。
DataSync は、このプレフィックスを持つオブジェクトのみをコピーします。
1. 転送にエージェントが必要な場合は、**[エージェントを使用する]** を選択し、オブジェクトストレージシステムに接続する DataSync エージェントを選択します。
一部の転送では、エージェントは必要ありません。他のシナリオでは、複数のエージェントを使用する場合があります。詳細については、「[DataSync エージェントを必要としない状況](do-i-need-datasync-agent.md#when-agent-not-required)」および「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. オブジェクトストレージサーバーへの接続を設定するには、[**その他の設定**] を展開して以下の操作を行います。
1. **[サーバープロトコル]** で、**[HTTP]** または **[HTTPS]** を選択します。
1. **[サーバーポート]** には、デフォルトのポート (HTTP の場合は **80**、HTTPS の場合は **443**) を使用するか、必要に応じてカスタムポートを指定します。
1. **[証明書]** で、オブジェクトストレージシステムがプライベートまたは自己署名認証局 (CA) を使用している場合は、**[ファイルを選択]** を選択し、完全な証明書チェーンを持つ単一の `.pem` ファイルを指定します。
証明書チェーンには以下が含まれます。
+ オブジェクトストレージシステムの証明書
+ すべての中間証明書 (存在する場合)
+ 署名 CA のルート証明書
証明書を `.pem` ファイルに連結できます (base64 エンコーディングの前は最大 32,768 バイトまで可能)。次の `cat` コマンド例では、3 つの証明書を含む `object_storage_certificates.pem` ファイルを作成します。
```
cat object_server_certificate.pem intermediate_certificate.pem ca_root_certificate.pem > object_storage_certificates.pem
```
1. オブジェクトストレージサーバーにアクセスするために認証情報が必要な場合は、**[認証情報が必要です]** を選択し、バケットへのアクセスに使用する **[アクセスキー]** を入力します。次に、**シークレットキー**を直接入力するか、キーを含む AWS Secrets Manager シークレットを指定します。詳細については、「[Providing credentials for storage locations](https://docs.aws.amazon.com/datasync/latest/userguide/location-credentials.html)」を参照してください。
アクセスキーとシークレットキーは、それぞれユーザー名とパスワードとすることもできます。
1. (オプション) **[タグを追加]** を選択して、オブジェクトストレージロケーションにタグ付けします。
*タグ*は、ロケーションの管理、フィルタリング、検索に役立つキーバリューペアです。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
1. 次の `create-location-object-storage` コマンドをコピーします。
```
aws datasync create-location-object-storage \
--server-hostname object-storage-server.example.com \
--bucket-name your-bucket \
--agent-arns arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb
```
1. コマンドに以下の必須パラメータを指定します。
+ `--server-hostname` - オブジェクトストレージサーバーのドメイン名 または IP アドレスを指定します。
+ `--bucket-name` – 転送先または転送元のオブジェクトストレージサーバー上のバケットの名前を指定します。
1. (オプション) 次のいずれかのパラメータをコマンドに追加します。
+ `--agent-arns` – オブジェクトストレージサーバーに接続する DataSync エージェントを指定します。
+ `--server-port` - オブジェクトストレージサーバーがインバウンドネットワークトラフィックを受け入れるポート (ポート `443` など) を指定します。
+ `--server-protocol` - オブジェクトストレージサーバーが通信に使用するプロトコル (`HTTP` または `HTTPS`) を指定します。
+ `--access-key` - オブジェクトストレージサーバーとの認証に認証情報が必要な場合、アクセスキー (ユーザー名など) を指定します。
+ `--secret-key` - オブジェクトストレージサーバーとの認証に認証情報が必要な場合、秘密鍵 (パスワードなど) を指定します。
AWS Secrets Managerを使用してキーを保護するための追加パラメータを指定することもできます。詳細については、「[Providing credentials for storage locations](https://docs.aws.amazon.com/datasync/latest/userguide/location-credentials.html)」を参照してください。
+ `--server-certificate` - オブジェクトストレージシステムがプライベートまたは自己署名の認証機関 (CA) を使用する場合、DataSync がそのシステムで認証するための証明書チェーンを指定します。完全な証明書チェーンを持つ `.pem` ファイルを 1 つ指定する必要があります (例: `file:///home/user/.ssh/object_storage_certificates.pem`)。
証明書チェーンには以下が含まれます。
+ オブジェクトストレージシステムの証明書
+ すべての中間証明書 (存在する場合)
+ 署名 CA のルート証明書
証明書を `.pem` ファイルに連結できます (base64 エンコーディングの前は最大 32,768 バイトまで可能)。次の `cat` コマンド例では、3 つの証明書を含む `object_storage_certificates.pem` ファイルを作成します。
```
cat object_server_certificate.pem intermediate_certificate.pem ca_root_certificate.pem > object_storage_certificates.pem
```
+ `--subdirectory` - オブジェクトストレージサーバーのオブジェクトプレフィックスを指定します。
DataSync は、このプレフィックスを持つオブジェクトのみをコピーします。
+ `--tags` - リソースに追加するタグを表すキーと値のペアを指定します。
タグは、リソースの管理、フィルタリング、検索に役立ちます。場所の名前タグを作成することを推奨します。
1. `create-location-object-storage` コマンドを実行します。
先ほど作成した場所の ARN を示す応答が表示されます。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef"
}
```
# を使用した AWS ストレージとの間の転送 AWS DataSync
を使用すると AWS DataSync、多数の AWS ストレージサービスとの間でデータを転送できます。詳細については、「[Where can I transfer my data with DataSync?](working-with-locations.md)」を参照してください。
**Topics**
+ [Amazon S3 を使用した AWS DataSync 転送の設定](create-s3-location.md)
+ [Amazon EFS を使用した AWS DataSync 転送の設定](create-efs-location.md)
+ [FSx for Windows File Server による転送の設定](create-fsx-location.md)
+ [FSx for Lustre を使用した DataSync 転送の設定](create-lustre-location.md)
+ [Amazon FSx for OpenZFS を使用した DataSync 転送の設定](create-openzfs-location.md)
+ [Amazon FSx for NetApp ONTAP による 転送の設定](create-ontap-location.md)
# Amazon S3 を使用した AWS DataSync 転送の設定
Amazon S3 バケットとの間でデータを転送するには、 AWS DataSync 転送*場所*を作成します。DataSync では、このロケーションをデータ転送元あるいは転送先として利用することができます。
## DataSync に対する S3 バケットへのアクセス許可の付与
DataSync には、転送先または転送元となる S3 バケットへのアクセス許可が必要です。これを行うには、DataSync がバケットへのアクセスに必要なアクセス許可で引き受ける AWS Identity and Access Management (IAM) ロールを作成する必要があります。その後、[DataSync 用の Amazon S3 のロケーションを作成](#create-s3-location-how-to)するときにこのロールを指定します。
**Contents**
+ [必要なアクセス許可](#create-s3-location-required-permissions)
+ [DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](#create-role-manually)
+ [サーバー側の暗号化を使用して S3 バケットにアクセスする](#create-s3-location-encryption)
+ [制限のある S3 バケットへのアクセス](#denying-s3-access)
+ [VPC アクセスが制限された S3 バケットへのアクセス](#create-s3-location-restricted-vpc)
### 必要なアクセス許可
IAM ロールに必要なアクセス許可は、バケットが DataSync の送信元のロケーションか送信先のロケーションかによって異なります。Amazon S3 on Outposts には異なるアクセス許可のセットが必要です。
------
#### [ Amazon S3 (source location) ]
```
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:GetBucketLocation",
"s3:ListBucket",
"s3:ListBucketMultipartUploads"
],
"Effect": "Allow",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket"
},
{
"Action": [
"s3:GetObject",
"s3:GetObjectTagging",
"s3:GetObjectVersion",
"s3:GetObjectVersionTagging",
"s3:ListMultipartUploadParts"
],
"Effect": "Allow",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*"
}
]
}
```
------
#### [ Amazon S3 (destination location) ]
```
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:GetBucketLocation",
"s3:ListBucket",
"s3:ListBucketMultipartUploads"
],
"Effect": "Allow",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "123456789012"
}
}
},
{
"Action": [
"s3:AbortMultipartUpload",
"s3:DeleteObject",
"s3:GetObject",
"s3:GetObjectTagging",
"s3:GetObjectVersion",
"s3:GetObjectVersionTagging",
"s3:ListMultipartUploadParts",
"s3:PutObject",
"s3:PutObjectTagging"
],
"Effect": "Allow",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "123456789012"
}
}
}
]
}
```
------
#### [ Amazon S3 on Outposts ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"s3-outposts:ListBucket",
"s3-outposts:ListBucketMultipartUploads"
],
"Effect": "Allow",
"Resource": [
"arn:aws:s3-outposts:us-east-1:123456789012:outpost/outpost-id/bucket/amzn-s3-demo-bucket",
"arn:aws:s3-outposts:us-east-1:123456789012:outpost/outpost-id/accesspoint/bucket-access-point-name"
]
},
{
"Action": [
"s3-outposts:AbortMultipartUpload",
"s3-outposts:DeleteObject",
"s3-outposts:GetObject",
"s3-outposts:GetObjectTagging",
"s3-outposts:GetObjectVersion",
"s3-outposts:GetObjectVersionTagging",
"s3-outposts:ListMultipartUploadParts",
"s3-outposts:PutObject",
"s3-outposts:PutObjectTagging"
],
"Effect": "Allow",
"Resource": [
"arn:aws:s3-outposts:us-east-1:123456789012:outpost/outpost-id/bucket/amzn-s3-demo-bucket/*",
"arn:aws:s3-outposts:us-east-1:123456789012:outpost/outpost-id/accesspoint/bucket-access-point-name/*"
]
},
{
"Action": "s3-outposts:GetAccessPoint",
"Effect": "Allow",
"Resource": "arn:aws:s3-outposts:us-east-1:123456789012:outpost/outpost-id/accesspoint/bucket-access-point-name"
}
]
}
```
------
### DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成
[コンソールで Amazon S3 ロケーションを作成する](#create-s3-location-how-to)とき、S3 バケットにアクセスするための適切なアクセス許可を持つ通常の IAM ロールを、DataSync が自動的に作成し引き受けることができます。
状況によっては、このロールを手動で作成する必要がある場合があります (たとえば、追加のセキュリティレイヤーを持つバケットへのアクセスや、別の のバケットとの間での転送など AWS アカウント)。
#### DataSync の IAM ロールの手動作成
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[AWS のサービス]** を選択します。
1. **[ユースケース]** では、ドロップダウンリストから **[DataSync]** を選び、**[DataSync]** を選択します。**[次へ]** をクリックします。
1. **[アクセス許可を追加]** ページで **[次へ]** を選択してください。ロール名を入力し、**[ロールの作成]** を選択します。
1. **[ロール]** ページで、作成したロールを検索し、その名前を選択します。
1. [データセットの詳細] ページが開くので、**[アクセス許可]** タブを選択します。**[アクセス許可の追加]** を選択し、次いで **[インラインポリシーの作成]** を選択します。
1. **[JSON]** タブを選択し、ポリシーエディタに、バケットへのアクセスに[必要なアクセス許可を追加](#create-s3-location-required-permissions)します。
1. [**次へ**] を選択します。ポリシーの名前を入力し、**[ポリシーの作成]** を選択します。
1. (推奨) [サービス間の混乱による代理問題の発生](cross-service-confused-deputy-prevention.md)を防ぐには、次の操作を行います。
1. ロールの詳細ページで **[信頼関係]** タブを選択します。**[信頼ポリシーを編集]** を選択します。
1. `aws:SourceArn` と `aws:SourceAccount` グローバル条件コンテキストキーを含む次の例で信頼ポリシーを更新します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "444455556666"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:444455556666:*"
}
}
}
]
}
```
------
1. [**ポリシーの更新**] を選択してください。
Amazon S3 のロケーションを作成するときに、このロールを指定できます。
### サーバー側の暗号化を使用して S3 バケットにアクセスする
DataSync は、[サーバー側の暗号化を使用する S3 バケット](https://docs.aws.amazon.com/AmazonS3/latest/userguide/serv-side-encryption.html)との間でデータを転送することができます。DataSync によるバケットへのアクセスを許可するカスタム ポリシーが必要かどうかはバケットが使用する暗号化キーのタイプによって決められます。
サーバー側で暗号化を使用する S3 バケットで DataSync を使用する場合は、次の点に注意してください。
+ ** AWS マネージドキーでS3 バケットが暗号化されている場合** — すべてのリソースが同じ AWS アカウントにあれば、DataSync はデフォルトでバケットのオブジェクトにアクセスできます。
+ **S3 バケットがカスタマーマネージド AWS Key Management Service (AWS KMS) キー (SSE-KMS) で暗号化**されている場合 – [キーのポリシー](https://docs.aws.amazon.com/kms/latest/developerguide/key-policy-modifying.html)には、DataSync がバケットへのアクセスに使用する IAM ロールが含まれている必要があります。
+ **S3 バケットがカスタマーマネージド SSE-KMS キーと別の で暗号化 AWS アカウント**されている場合 – DataSync には、他の のバケットにアクセスするためのアクセス許可が必要です AWS アカウント。これを行うには、次を実行します。
+ DataSync が使用する IAM ロールで、キーの完全修飾 Amazon リソースネーム (ARN) を使用してクロスアカウントバケットの SSE-KMS キーを指定します。これは、バケットの[デフォルトの暗号化](https://docs.aws.amazon.com/AmazonS3/latest/userguide/default-bucket-encryption.html)の設定に使用するキー ARN と同じものです。この状況では、キー ID、エイリアス名、エイリアス ARN を指定することはできません。
こちらはキー ARN の例です。
`arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab`
IAM ポリシーステートメントで KMS キーを指定する方法の詳細については、「*[AWS Key Management Service デベロッパーガイド](https://docs.aws.amazon.com/kms/latest/developerguide/cmks-in-iam-policies.html)*」を参照してください。
+ SSE-KMS キーポリシーで、DataSync が使用する [IAM ロールを指定します](https://docs.aws.amazon.com/kms/latest/developerguide/key-policy-modifying-external-accounts.html)。
+ **S3 バケットが二層式サーバー側の暗号化のためにカスタマーマネージド AWS KMS キー (DSSE-KMS) で暗号化**されている場合 – [キーのポリシー](https://docs.aws.amazon.com/kms/latest/developerguide/key-policy-modifying.html)には、DataSync がバケットにアクセスするために使用する IAM ロールが含まれている必要があります。(DSSE-KMS は [S3 バケットキー](https://docs.aws.amazon.com/AmazonS3/latest/userguide/bucket-key.html)をサポートしていないため、 AWS KMS リクエストコストを削減できることに注意してください）。
+ **S3 バケットが顧客提供の暗号化キー (SSE-C) で暗号化されている場合** — DataSync はこのバケットにアクセスできません。
#### 例:DataSync の SSE-KMS キーポリシー
次の例は、顧客管理の SSE-KMS キーの[キーポリシー](https://docs.aws.amazon.com/kms/latest/developerguide/key-policies.html)です。ポリシーは、サーバー側で暗号化を使用する S3 バケットに関連付けられます。
こちらの例を使用する場合は、以下の値をユーザー独自の値に置き換えます。
+ *アカウント ID* – あなたの AWS アカウント。
+ *admin-role-name* — キーを管理できる IAM ロールの名前。
+ *datasync-role-name* — DataSync がバケットにアクセスするときに、キーを使用することを許可する IAM ロールの名前。
------
#### [ JSON ]
****
```
{
"Id": "key-consolepolicy-3",
"Version":"2012-10-17",
"Statement": [
{
"Sid": "Enable IAM Permissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "kms:*",
"Resource": "*"
},
{
"Sid": "Allow access for Key Administrators",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:role/admin-role-name"
},
"Action": [
"kms:Create*",
"kms:Describe*",
"kms:Enable*",
"kms:List*",
"kms:Put*",
"kms:Update*",
"kms:Revoke*",
"kms:Disable*",
"kms:Get*",
"kms:Delete*",
"kms:TagResource",
"kms:UntagResource",
"kms:ScheduleKeyDeletion",
"kms:CancelKeyDeletion"
],
"Resource": "*"
},
{
"Sid": "Allow use of the key",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:role/datasync-role-name"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*"
],
"Resource": "*"
}
]
}
```
------
### 制限のある S3 バケットへのアクセス
通常はすべてのアクセスを拒否する S3 バケットとの間で転送を行う必要がある場合は、バケットポリシーを編集することで DataSync が転送のためにのみバケットにアクセスできるようにすることができます。
#### 例: IAM ロールに基づいてアクセスを許可する
1. 次の S3 バケットポリシーをコピーします。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "Deny-access-to-bucket",
"Effect": "Deny",
"Principal": "*",
"Action": "s3:*",
"Resource": [
"arn:aws:s3:::amzn-s3-demo-bucket",
"arn:aws:s3:::amzn-s3-demo-bucket/*"
],
"Condition": {
"StringNotLike": {
"aws:userid": [
"datasync-iam-role-id:*",
"your-iam-role-id"
]
}
}
}]
}
```
------
1. ポリシーの以下の値を置き換えます。
+ `amzn-s3-demo-bucket` – 制限のある S3 バケットの名前を指定します。
+ `datasync-iam-role-id` – バケットにアクセスするため [DataSync が使用する IAM ロール](#create-s3-location-access)の ID を指定します。
次の AWS CLI コマンドを実行して、IAM ロール ID を取得します。
`aws iam get-role --role-name datasync-iam-role-name`
出力で、`RoleId` の値を探します。
`"RoleId": "ANPAJ2UCCR6DPCEXAMPLE"`
+ `your-iam-role-id` – バケットに DataSync のロケーションを作成する際に使用する IAM ロールの ID を指定します。
次のコマンドを実行して、IAM ロール ID を取得します。
`aws iam get-role --role-name your-iam-role-name`
出力で、`RoleId` の値を探します。
`"RoleId": "AIDACKCEVSQ6C2EXAMPLE"`
1. S3 バケットポリシー[このポリシーを追加します](https://docs.aws.amazon.com/AmazonS3/latest/userguide/add-bucket-policy.html)。
1. 制限のあるバケットで DataSync を使用したら、バケットポリシーから両方の IAM ロールの条件を削除します。
### VPC アクセスが制限された S3 バケットへのアクセス
[特定の仮想プライベートクラウド (VPC) エンドポイントまたは複数の VPC へのアクセスを制限している](https://docs.aws.amazon.com/AmazonS3/latest/userguide/example-bucket-policies-vpc-endpoint.html) Amazon S3 バケットは、DataSync がそのバケットとの間で転送を行うことを拒否します。このような状況で転送を可能にするには、[DataSync のロケーションで指定した](#create-s3-location-how-to) IAM ロールを含むようにバケットのポリシーを更新します。
------
#### [ Option 1: Allowing access based on DataSync location role ARN ]
S3 バケットポリシーでは、DataSync ロケーションの IAM ロールの Amazon リソースネーム (ARN) を指定することができます。
以下に示すのは、2 つの VPC (`vpc-1234567890abcdef0` と `vpc-abcdef01234567890`) 以外の VPC からのアクセスを拒否する S3 バケットポリシーの例です。ただしこのポリシーには [ArnNotLikeIfExists](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_elements_condition_operators.html) 条件と [aws:PrincipalArn](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-principalarn) 条件キーも含まれています。これらは DataSync ロケーションのロールの ARN がバケットにアクセスすることを許可します。
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "Access-to-specific-VPCs-only",
"Effect": "Deny",
"Principal": "*",
"Action": "s3:*",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*",
"Condition": {
"StringNotEqualsIfExists": {
"aws:SourceVpc": [
"vpc-1234567890abcdef0",
"vpc-abcdef01234567890"
]
},
"ArnNotLikeIfExists": {
"aws:PrincipalArn": [
"arn:aws:iam::111122223333:role/datasync-location-role-name"
]
}
}
}
]
}
```
------
#### [ Option 2: Allowing access based on DataSync location role tag ]
S3 バケットポリシーでは、DataSync ロケーションの IAM ロールにアタッチされたタグを指定することができます。
以下に示すのは、2 つの VPC (`vpc-1234567890abcdef0` と `vpc-abcdef01234567890`) 以外の VPC からのアクセスを拒否する S3 バケットポリシーの例です。ただしこのポリシーには [StringNotEqualsIfExists](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_elements_condition_operators.html) 条件と [aws:PrincipalTag](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-principaltag) 条件キーも含まれています。これらは、タグキー `exclude-from-vpc-restriction` と値 `true` を持つプリンシパルを許可します。DataSync ロケーションのロールにアタッチされたタグを指定することで、バケットポリシーに同様の方法を試すことができます。
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "Access-to-specific-VPCs-only",
"Effect": "Deny",
"Principal": "*",
"Action": "s3:*",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*",
"Condition": {
"StringNotEqualsIfExists": {
"aws:SourceVpc": [
"vpc-1234567890abcdef0",
"vpc-abcdef01234567890"
],
"aws:PrincipalTag/exclude-from-vpc-restriction": "true"
}
}
}
]
}
```
------
## Amazon S3 転送におけるストレージクラスに関する考慮事項
Amazon S3 が送信先ロケーションである場合、DataSync はデータを特定の [Amazon S3 ストレージクラス](https://aws.amazon.com/s3/storage-classes/)に直接転送できます。
一部のストレージクラスの動作は、Amazon S3 のストレージコストに影響する場合があります。オブジェクトの上書き、削除、取得に対して追加料金が発生する可能性があるストレージクラスを使用する場合、オブジェクトデータまたはメタデータを変更すると利用料金ががかかります。詳細については、「[Amazon S3 の料金](https://aws.amazon.com/s3/pricing/)」を参照してください。
**重要**
Amazon S3 の送信先のロケーションに転送した新しいオブジェクトは、[ロケーションを作成する](#create-s3-location-how-to)ときに指定したストレージクラスを使用して保存されます。
デフォルトでは、[すべてのデータを転送する](configure-metadata.md#task-option-transfer-mode)ようにタスクを設定しない限り、DataSync は既存のオブジェクトのストレージクラスを送信先のロケーションに保持します。このような状況では、ロケーションの作成時に指定したストレージクラスがすべてのオブジェクトに使用されます。
| Amazon S3 ストレージクラス | 考慮事項 |
| --- | --- |
| S3 Standard | アクセスが頻繁なファイルを、地理的に分散した複数のアベイラビリティーゾーンに冗長的に保存するには、[S3 Standard] を選択します。これは、ストレージクラスを指定しない場合のデフォルトです。 |
| S3 Intelligent-Tiering | [S3 Intelligent-Tiering] を選択すると、最もコスト効率の高いストレージアクセス階層に自動的にデータを移動して、ストレージコストを最適化できます。 S3 Intelligent-Tiering ストレージクラスに保存されたオブジェクトごとに月額料金を支払います。この Amazon S3 の料金には、データアクセスパターンのモニタリングと階層間のオブジェクトの移動が含まれます。 |
| S3 Standard – IA | アクセスが頻繁ではないオブジェクトを地理的に離れた複数のアベイラビリティーゾーンに冗長的に保存するには、S3 Standard-IA を選択します。 S3 Standard – IA ストレージクラスにオブジェクトを保存すると、上書き、削除、または取得に対して追加料金が発生する可能性があります。これらのオブジェクトを変更する頻度、これらのオブジェクトを保持する期間、およびオブジェクトへの必要なアクセス頻度を検討します。オブジェクトデータまたはメタデータの変更は、オブジェクトを削除して置き換える新しいオブジェクトを作成することと同じです。これにより、S3 Standard — IA ストレージクラスに保存されているオブジェクトに対して追加料金が発生します。 128 KB 未満のオブジェクトは、S3 Standard – IA ストレージアクセスのオブジェクトあたりの最小容量料金より小さくなります。これらのオブジェクトは S3 Standardストレージクラスに保存されます。 |
| S3 1 ゾーン - IA | アクセスが頻繁ではないオブジェクトデータを、単一のアベイラビリティーゾーンに保存するには、[S3 1 ゾーン-IA] を選択します。 S3 1 ゾーン – IA ストレージクラスにオブジェクトを保存すると、上書き、削除、または取得に対して追加料金が発生する可能性があります。これらのオブジェクトを変更する頻度、これらのオブジェクトを保持する期間、およびオブジェクトへの必要なアクセス頻度を検討します。オブジェクトデータまたはメタデータの変更は、オブジェクトを削除して置き換える新しいオブジェクトを作成することと同じです。これにより、S3 1 ゾーン – IA ストレージクラスに保存されているオブジェクトに対して追加料金が発生します。 128 KB 未満のオブジェクトは、S3 1 ゾーン – IA 低頻度アクセスストレージクラスのオブジェクトあたりの最小容量料金より小さくなります。これらのオブジェクトは S3 Standardストレージクラスに保存されます。 |
| S3 Glacier Instant Retrieval | ほとんどアクセスされないがミリ秒単位で検索が必要なオブジェクトをアーカイブするには、S3 Glacier Instant Retrieval を選択します。 S3 Glacier Instant Retrieval ストレージクラスに格納されたデータは、同じレイテンシーとスループット パフォーマンスを持つ S3 Standard-IA ストレージ クラスと比較してコスト削減を実現します。S3 Glacier Instant Retrieval は、S3 Standard – IAよりもデータアクセスコストは高くなります。 S3 Glacier Instant Retrieval にオブジェクトを保存すると、上書き、削除、取得に対して追加料金が発生する場合があります。これらのオブジェクトを変更する頻度、これらのオブジェクトを保持する期間、およびオブジェクトへの必要なアクセス頻度を検討します。オブジェクトデータまたはメタデータの変更は、オブジェクトを削除して置き換える新しいオブジェクトを作成することと同じです。これにより、S3 Glacier Instant Retrieval ストレージ クラスに保存されたオブジェクトに対して追加料金が発生します。 128 KB 未満のオブジェクトは、S3 Glacier Instant Retrieval ストレージクラスのオブジェクトあたりの最小容量料金よりも小さくなります。これらのオブジェクトは S3 Standardストレージクラスに保存されます。 |
| S3 Glacier Flexible Retrieval | よりアクティブなアーカイブには、S3 Glacier Flexible Retrieval を選択してください。S3 Glacier Flexible Retrievalにオブジェクトを保存すると、上書き、削除、取得に対して追加料金が発生する場合があります。これらのオブジェクトを変更する頻度、これらのオブジェクトを保持する期間、およびオブジェクトへの必要なアクセス頻度を検討します。オブジェクトデータまたはメタデータの変更は、オブジェクトを削除して置き換える新しいオブジェクトを作成することと同じです。これにより、S3 Glacier Flexible Retrievalストレージクラスに保存されているオブジェクトに対して追加料金が発生します。S3 Glacier Flexible Retrieval ストレージクラスには、アーカイブしたオブジェクトごとに 40 KB のメタデータが追加で必要になります。DataSync は、40 KB 未満のオブジェクトを S3 STANDARD のストレージクラスに配置します。このストレージクラスにアーカイブされたオブジェクトは、DataSync が読み取る前にリストアする必要があります。詳細については、「Amazon S3 ユーザーガイド」の「[アーカイブされたオブジェクトの復元](https://docs.aws.amazon.com/AmazonS3/latest/userguide/archived-objects.html)」を参照してください。S3 Glacier Flexible Retrieval を使用する場合は、**[転送されたデータのみを検証]** を選択して、転送の終了時にデータとメタデータのチェックサムを比較します。**[送信先のすべてのデータを検証]** は、このストレージクラスで使用できるオプションではありません。これは、送信先からすべての既存のオブジェクトを取得する必要があるためです。 |
| S3 Glacier Deep Archive | 長期のデータ保持、およびデータのアクセス回数が年 1、2 回のデジタル保存のためのファイルのアーカイブには、[S3 Glacier Deep Archive] を選択します。 S3 Glacier Deep Archive にオブジェクトを保存すると、上書き、削除、取得に対して追加料金が発生する場合があります。これらのオブジェクトを変更する頻度、これらのオブジェクトを保持する期間、およびオブジェクトへの必要なアクセス頻度を検討します。オブジェクトデータまたはメタデータの変更は、オブジェクトを削除して置き換える新しいオブジェクトを作成することと同じです。これにより、S3 Glacier Deep Archive ストレージクラスに保存されているオブジェクトに対して追加料金が発生します。 S3 Glacier Deep Archive ストレージクラスには、アーカイブしたオブジェクトごとに 40 KB の追加メタデータが必要です。DataSync は、40 KB 未満のオブジェクトを S3 STANDARD のストレージクラスに配置します。 このストレージクラスにアーカイブされたオブジェクトは、DataSync が読み取る前にリストアする必要があります。詳細については、「*Amazon S3 ユーザーガイド*」の「[アーカイブされたオブジェクトの復元](https://docs.aws.amazon.com/AmazonS3/latest/userguide/archived-objects.html)」を参照してください。 S3 Glacier Deep Archive を Amazon S3 ストレージクラスとして使用する場合は、**[転送したデータのみを検証]** を選択して、転送の終了時にデータとメタデータのチェックサムを比較します。**[送信先のすべてのデータを検証]** は、このストレージクラスで使用できるオプションではありません。これは、送信先からすべての既存のオブジェクトを取得する必要があるためです。 |
| S3 Outposts | Outposts の Amazon S3 のストレージクラス |
## DataSync を使用する場合の S3 リクエストコストの評価
Amazon S3 ロケーションでは、DataSync による S3 API リクエストに関連するコストが発生します。このセクションは、DataSync がこれらのリクエストをどのように使用するか、またそれらが [Amazon S3](https://aws.amazon.com/s3/pricing/) のコストにどのように影響するかを理解するのに役立ちます。
**Topics**
+ [DataSync による S3 リクエスト](#create-s3-location-s3-requests-made)
+ [コストに関する考慮事項](#create-s3-location-s3-requests-cost)
### DataSync による S3 リクエスト
次の表は、Amazon S3 ロケーションとの間でデータをコピーするときに DataSync が実行できる S3 リクエストについて説明しています。
| S3 リクエスト | DataSync がこれを使用する方法 |
| --- | --- |
| [リストオブジェクト V2](https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html) | DataSync は、フォワードスラッシュ (`/`) で終わるすべてのオブジェクトに対して、そのプレフィックスで始まるオブジェクトのリストを少なくとも一つの `LIST` リクエストを作成します。このリクエストはタスクの[準備](run-task.md#understand-task-execution-statuses)段階で呼び出されます。 |
| [HeadObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_HeadObject.html) | DataSync は、タスクの[準備](run-task.md#understand-task-execution-statuses)フェーズと[検証](run-task.md#understand-task-execution-statuses)フェーズで、オブジェクトメタデータを取得するために `HEAD` リクエストを作成します。DataSync が[転送するデータの整合性を検証する方法](configure-data-verification-options.md)によって、オブジェクトごとに複数の `HEAD` リクエストが発生する可能性があります。 |
| [GetObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_GetObject.html) | DataSync は、[タスクの転送](run-task.md#understand-task-execution-statuses)フェーズ中にオブジェクトからのデータを読み取る `GET` リクエストを作成します。ラージオブジェクトには複数の `GET` リクエストが存在する可能性があります。 |
| [GetObjectTagging](https://docs.aws.amazon.com/AmazonS3/latest/API/API_GetObjectTagging.html) | [オブジェクトタグをコピーする](configure-metadata.md)ようにタスクを設定すると、DataSync はタスクの[準備](run-task.md#understand-task-execution-statuses)フェーズと[転送](run-task.md#understand-task-execution-statuses)フェーズでオブジェクトタグを確認するようにこれらの `GET` リクエストを行います。 |
| [PutObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutObject.html) | DataSync は、タスクの[転送](run-task.md#understand-task-execution-statuses)フェーズ中に、宛先 S3 バケットにオブジェクトとプレフィックスを作成するように `PUT` リクエストを作成します。DataSync は [Amazon S3 マルチパートアップロード機能](https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html)を使用するため、ラージオブジェクトに対して複数の `PUT` リクエストが発生する可能性があります。ストレージコストを最小限に抑えるには、[ライフサイクル設定]()を使用して不完全なマルチパートアップロードを停止することをお勧めします。 |
| [PutObjectTagging](https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutObjectTagging.html) | ソースオブジェクトにタグがあり、[オブジェクトタグ](configure-metadata.md)をコピーするようにタスクを設定した場合、DataSync はそれらのタグを[転送する](run-task.md#understand-task-execution-statuses)ときにこれらの `PUT` リクエストを行います。 |
| [CopyObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_CopyObject.html) | DataSync は、オブジェクトのメタデータが変更された場合にのみ、オブジェクトのコピーの作成を `COPY` リクエストします。これは、メタデータを引き継がない別のサービスまたはツールを使用して S3 バケットに最初にデータをコピーした場合に発生する可能性があります。 |
### コストに関する考慮事項
DataSync は、タスクを実行するたびに S3 バケットで S3 リクエストを行います。このため、状況によっては料金がかさむ可能性がある。例えば、次のようになります。
+ S3 バケットとの間でオブジェクトを頻繁に転送しています。
+ 転送するデータはそれほど多くないかもしれませんが、S3 バケットには多数のオブジェクトがあります。DataSync はバケットの各オブジェクトに対して S3 リクエストを行うため、このシナリオでも高額な料金が発生する可能性があります。
+ S3 バケット間で転送しているため、DataSync は転送元と転送先で S3 リクエストを行っています。
DataSync に関連する S3 リクエストのコストを最小限に抑えるには、次の点を考慮してください。
**Topics**
+ [どの S3 ストレージクラスを使用していますか。](#create-s3-location-s3-requests-storage-classes)
+ [どのくらいの頻度でデータを転送する必要がありますか?](#create-s3-location-s3-requests-recurring-transfers)
#### どの S3 ストレージクラスを使用していますか。
S3 リクエスト料金は、オブジェクトが使用している Amazon S3 ストレージクラス、特に、オブジェクトをアーカイブするクラスによって異なる場合があります。（例えば、S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, and S3 Glacier Deep Archive などです）
DataSync を使用するときに、ストレージクラスが S3 リクエストの料金に影響するシナリオをいくつか紹介します。
+ タスクを実行するたびに、DataSync はオブジェクトメタデータを取得する `HEAD` リクエストを行います。これらのリクエストは、オブジェクトを移動していない場合でも料金が発生します。これらのリクエストが請求書にどの程度影響するかは、オブジェクトが使用しているストレージクラスと、DataSync がスキャンするオブジェクトの数に依存します。
+ オブジェクトを S3 Glacier Instant Retrieval ストレージクラスに (直接またはバケットライフサイクル設定を通じて) 移動した場合、このクラスのオブジェクトに対するリクエストは、他のストレージクラスのオブジェクトよりもコストがかかります。
+ [ソースとデスティネーションの場所が完全に同期していることを確認する](configure-data-verification-options.md)ように DataSync タスクを設定すると、すべてのストレージクラス（S3 Glacier フレキシブルリトリーブと S3 GS3 Glacier Deep Archive を除く）で各オブジェクトに対する `GET` リクエストが発生します。
+ `GET` リクエストに加えて、S3 Standard – IA、S3 1 ゾーン — IA、S3 Glacier Instant Retrieval ストレージクラスのオブジェクトに対してデータ取得コストが発生します。
詳細については、「[Amazon S3 の料金](https://aws.amazon.com/s3/pricing/)」を参照してください。
#### どのくらいの頻度でデータを転送する必要がありますか?
定期的にデータを移動する必要がある場合は、必要以上のタスクを実行しない[スケジュール](task-scheduling.md)を考えてみてください。
また、転送の範囲を限定することも検討してください。たとえば、特定のプレフィックスのオブジェクトに焦点を当てたり、[転送されるデータをフィルタリングしたりする](filtering.md)ように DataSync を設定できます。これらのオプションは、DataSync タスクを実行するたびに行われる S3 リクエストの数を減らすのに役立ちます。
## Amazon S3 の転送に関するその他の考慮事項
+ S3 バケットから転送を行う場合は、[S3 Storage Lens](https://docs.aws.amazon.com/AmazonS3/latest/userguide/storage_lens_basics_metrics_recommendations.html) を使用して、移動させるオブジェクトの数を計算します。
+ S3 バケット間で転送する場合は、DataSync タスク[クォータ](datasync-limits.md)の対象ではないため、[拡張タスクモード](choosing-task-mode.md)を使用することをお勧めします。
+ DataSync は、名前に外字が含まれているオブジェクトを転送しない場合があります。詳細については、「*Amazon S3 ユーザーガイド」*の「[オブジェクトキー命名ガイドライン](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-keys.html#object-key-guidelines)」を参照してください。
+ [バージョニング](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html)を使用している S3 バケットで DataSync を使用する場合は、次の点に注意してください。
+ S3 バケットへの転送の際に、送信元でオブジェクトが変更されている場合、DataSync はそのオブジェクトの新しいバージョンを作成します。これにより追加料金が発生します。
+ オブジェクトは、送信元のバケットと送信先のバケットでバージョン ID が異なります。
+ 各オブジェクトの最新バージョンのみがソースバケットから転送されます。以前のバージョンは転送先にコピーされません。
+ 最初にS3 バケットからファイルシステム (NFS や Amazon FSx など) にデータを転送した後、同じ DataSync タスクの後続の実行には、変更されたオブジェが含まれません。最初の転送時と同じサイズのオブジェクトを除きます。
## Amazon S3 汎用バケットの転送場所の作成
転送用にロケーションを作成するには、既存の S3 汎用バケットが必要です。汎用バケットがない場合は、「[https://docs.aws.amazon.com/AmazonS3/latest/userguide/GetStartedWithS3.html](https://docs.aws.amazon.com/AmazonS3/latest/userguide/GetStartedWithS3.html)」を参照してください。
**重要**
場所を作成する前に、以下のセクションを必ずお読みください。
[Amazon S3 転送におけるストレージクラスに関する考慮事項](#using-storage-classes)
[DataSync を使用する場合の S3 リクエストコストの評価](#create-s3-location-s3-requests)
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** で、**[Amazon S3]** を選択し、**[汎用バケット]** を選択します。
1. **[S3 URI]** で、ロケーションに使用するバケットとプレフィックスを入力または選択します。
**警告**
DataSync は、スラッシュ (`/`) で始まるプレフィックス、または `//`、`/./`、または `/../` パターンを含むプレフィックスを持つオブジェクトを転送できません。例えば、次のようになります。
`/photos`
`photos//2006/January`
`photos/./2006/February`
`photos/../2006/March`
1. **[S3 ストレージクラス (転送先として使用する場合)]** で、Amazon S3 が転送先の場合にオブジェクトが使用するストレージクラスを選択します。
詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](#using-storage-classes)」を参照してください。
1. **[IAM role]** (IAM ロール) で、次のいずれかを実行します。
+ DataSync の **[自動生成]** を DataSync に選択して、S3 バケットへのアクセスに必要なアクセス許可を持つ IAM ロールを自動的に作成します。
DataSync が以前にこの S3 バケット用 IAM ロール を作成した場合、そのロールがデフォルトで選択されます。
+ 作成したカスタム IAM ロールを選択します。詳細については、「[DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](#create-role-manually)」を参照してください。
1. (オプション) **[新しいタグを追加]** を選択して Amazon S3 ロケーションに新しいタグを付けます。
タグは、リソースの管理、フィルタリング、検索に役立ちます。場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
1. 次の `create-location-s3` コマンドをコピーします。
```
aws datasync create-location-s3 \
--s3-bucket-arn 'arn:aws:s3:::amzn-s3-demo-bucket' \
--s3-storage-class 'your-S3-storage-class' \
--s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-datasync-operations' \
--subdirectory /your-prefix-name
```
1. `--s3-bucket-arn` で、ロケーションとして使用する S3 バケットの ARN を指定します。
1. `--s3-storage-class` で、Amazon S3 が転送先となる場合にオブジェクトで使用するストレージクラスを指定します。
1. `--s3-config` で、DataSync がバケットにアクセスするために必要な IAM ロールの ARN を指定します。
詳細については、「[DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](#create-role-manually)」を参照してください。
1. `--subdirectory` で、DataSync が読み取りと書き込みを行う S3 バケットのプレフィックスを指定します (バケットが送信元のロケーションか送信先のロケーションかに応じて異なります)。
**警告**
DataSync は、スラッシュ (`/`) で始まるプレフィックス、または `//`、`/./`、または `/../` パターンを含むプレフィックスを持つオブジェクトを転送できません。例えば、次のようになります。
`/photos`
`photos//2006/January`
`photos/./2006/February`
`photos/../2006/March`
1. `create-location-s3` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
}
```
ユーザーはこのロケーションを DataSync タスクの送信元または送信先として使用できます。
## S3 on Outposts バケットの転送場所の作成
転送用にロケーションを作成するには、既存の Amazon S3 on Outposts バケットが必要です。Amazon S3 on Outposts バケットがない場合は、「[https://docs.aws.amazon.com/AmazonS3/latest/s3-outposts/S3onOutposts.html](https://docs.aws.amazon.com/AmazonS3/latest/s3-outposts/S3onOutposts.html)」を参照してください。
DataSync エージェントも必要です。詳細については、「[にベーシックモードエージェントをデプロイする AWS Outposts](deploy-agents.md#outposts-agent)」を参照してください。
大規模なデータセット (数十万～数百万件のオブジェクトなど) を含む S3 on Outposts バケットプレフィックスから転送を行うと、DataSync タスクがタイムアウトする可能性があります。これを避けるには、[DataSync マニフェスト](transferring-with-manifest.md) の使用を検討します。マニフェストでは、転送すべきオブジェクトの数を厳密に指定できます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** で、**[Amazon S3]** を選択し、**[Outposts バケット]** を選択します。
1. **[S3 バケット]** で、S3 on Outposts バケットにアクセスできる Amazon S3 アクセスポイントを選択します。
詳細については、「[https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points.html](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points.html)」を参照してください。
1. **[S3 ストレージクラス (転送先として使用する場合)]** で、Amazon S3 が転送先の場合にオブジェクトが使用するストレージクラスを選択します。
詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](#using-storage-classes)」を参照してください。DataSync は、デフォルトで Amazon S3 on Outposts の S3 Outposts ストレージ クラスを使用します。
1. **[エージェント]** で、Outpost 上の DataSync エージェントの Amazon リソースネーム (ARN) を指定します。
1. **[フォルダー]** で、DataSync が読み書きする S3 バケットのプレフィックスを入力します (バケットが送信元または送信先の場所であるかどうかに応じて)。
**警告**
DataSync は、スラッシュ (`/`) で始まるプレフィックス、または `//`、`/./`、または `/../` パターンを含むプレフィックスを持つオブジェクトを転送できません。例えば、次のようになります。
`/photos`
`photos//2006/January`
`photos/./2006/February`
`photos/../2006/March`
1. **[IAM role]** (IAM ロール) で、次のいずれかを実行します。
+ DataSync の **[自動生成]** を DataSync に選択して、S3 バケットへのアクセスに必要なアクセス許可を持つ IAM ロールを自動的に作成します。
DataSync が以前にこの S3 バケット用 IAM ロール を作成した場合、そのロールがデフォルトで選択されます。
+ 作成したカスタム IAM ロールを選択します。詳細については、「[DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](#create-role-manually)」を参照してください。
1. (オプション) **[新しいタグを追加]** を選択して Amazon S3 ロケーションに新しいタグを付けます。
タグは、リソースの管理、フィルタリング、検索に役立ちます。場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
1. 次の `create-location-s3` コマンドをコピーします。
```
aws datasync create-location-s3 \
--s3-bucket-arn 'bucket-access-point' \
--s3-storage-class 'your-S3-storage-class' \
--s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-datasync-operations' \
--subdirectory /your-folder \
--agent-arns 'arn:aws:datasync:your-region:account-id::agent/agent-agent-id'
```
1. [`--s3-bucket-arn`] で、S3 on Outposts バケットにアクセスできる Amazon S3 アクセスポイントの ARN を指定します。
詳細については、「[https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points.html](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points.html)」を参照してください。
1. `--s3-storage-class` で、Amazon S3 が転送先となる場合にオブジェクトで使用するストレージクラスを指定します。
詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](#using-storage-classes)」を参照してください。DataSync は、デフォルトで S3 on Outposts の S3 Outposts ストレージクラスを使用します。
1. `--s3-config` で、DataSync がバケットにアクセスするために必要な IAM ロールの ARN を指定します。
詳細については、「[DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](#create-role-manually)」を参照してください。
1. `--subdirectory` で、DataSync が読み取りと書き込みを行う S3 バケットのプレフィックスを指定します (バケットが送信元のロケーションか送信先のロケーションかに応じて異なります)。
**警告**
DataSync は、スラッシュ (`/`) で始まるプレフィックス、または `//`、`/./`、または `/../` パターンを含むプレフィックスを持つオブジェクトを転送できません。例えば、次のようになります。
`/photos`
`photos//2006/January`
`photos/./2006/February`
`photos/../2006/March`
1. [`--agent-arns`] で、Outpost の DataSync エージェントの ARN を指定します。
1. `create-location-s3` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
}
```
ユーザーはこのロケーションを DataSync タスクの送信元または送信先として使用できます。
## 間の Amazon S3 転送 AWS アカウント
DataSync を使用すると、[異なる AWS アカウント](working-with-locations.md#working-with-locations-across-accounts)の S3 バケット間でデータを移動できます。詳細については、以下のチュートリアルを参照してください。
+ [間でオンプレミスストレージから Amazon S3 にデータを転送する AWS アカウント](s3-cross-account-transfer.md)
+ [間で Amazon S3 から Amazon S3 にデータを転送する AWS アカウント](tutorial_s3-s3-cross-account-transfer.md)
## 商用 と 間の Amazon S3 転送 AWS GovCloud (US) Regions
DataSync は、デフォルトでは商用リージョンの S3 バケットと AWS GovCloud (US) Regionsの S3 バケットとの間の転送を行いません。ただし、転送時に S3 バケットの 1 つにオブジェクトストレージのロケーションを作成することでこのタイプの転送を行うことができます。このタイプの転送は、エージェントの有無にかかわらず実行できます。エージェントを使用する場合は、タスクを**基本**モードに設定する必要があります。エージェントなしで転送するには、**拡張**モードを使用する必要があります。
**開始する前に**: リージョン間での転送によるコストへの影響を理解しておきます。詳細については、[AWS DataSync の料金](https://aws.amazon.com/datasync/pricing/)を参照してください。
**Contents**
+ [DataSync に対するオブジェクトストレージのロケーションのバケットへのアクセス許可の付与](#create-s3-location-govcloud-iam)
+ [DataSync エージェントの作成 (オプション)](#create-s3-location-govcloud-create-agent)
+ [S3 バケットのオブジェクトストレージロケーションの作成](#create-s3-location-govcloud-how-to)
### DataSync に対するオブジェクトストレージのロケーションのバケットへのアクセス許可の付与
転送用のオブジェクトストレージのロケーションを作成するときは、ロケーションにある S3 バケットにアクセスするためのアクセス許可を持つ、IAM ユーザーの認証情報を DataSync に付与する必要があります。詳細については、「[必要なアクセス許可](#create-s3-location-required-permissions)」を参照してください。
**警告**
IAM ユーザーは長期認証情報を保有するため、セキュリティ上のリスクが生じます。このリスクを軽減するために、これらのユーザーにはタスクの実行に必要な権限のみを付与し、不要になったユーザーは削除することをお勧めします。
### DataSync エージェントの作成 (オプション)
**基本**モードを使用して転送を実行する場合は、エージェントを使用する必要があります。商用 と の間で転送するため AWS GovCloud (US) Region、DataSync エージェントを Amazon EC2 インスタンスとしていずれかのリージョンにデプロイします。パブリックインターネットでデータ転送料金が発生しないよう、エージェントが VPC サービスエンドポイントを使用することをお勧めします。詳細については、「[Amazon EC2 Data Transfer pricing](https://aws.amazon.com/ec2/pricing/on-demand/#Data_Transfer)」を参照してください。
DataSync タスクを実行するリージョンに基づいてエージェントを作成する方法を説明した、以下のシナリオの中から 1 つ選択します。
#### 商用リージョンで DataSync タスクを実行する場合
以下の図は、DataSync タスクとエージェントが商用リージョンにある場合の転送を示したものです。
![\[AWS GovCloud (US) Regionにある S3 バケットへのクロスリージョン転送のために、商用リージョンにデプロイされた DataSync エージェント。\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/images/s3-task-in-commercial.png)
| リファレンス | 説明 |
| --- | --- |
| 1 | DataSync タスクを実行している商用リージョンでは、データは送信元の S3 バケットから転送されます。送信元のバケットは、商用リージョンで [Amazon S3 のロケーション](#create-s3-location-how-to)として設定されます。 |
| 2 | DataSync エージェントを介したデータ転送です。DataSync エージェントは VPC サービスエンドポイントおよび[ネットワークインターフェイス](required-network-interfaces.md)が配置されている場所と同じ VPC およびサブネットにあります。 |
| 3 | AWS GovCloud (US) Regionの送信先 S3 バケットへのデータ転送。送信先バケットは商用リージョンの[オブジェクトストレージロケーション](#create-s3-location-govcloud-how-to)として設定されます。 |
この同じ設定を使用して、 から商用リージョン AWS GovCloud (US) Region に反対方向も転送できます。
**DataSync エージェントを作成するには**
1. 商用リージョンに [Amazon EC2 エージェントをデプロイします](deploy-agents.md#ec2-deploy-agent-how-to)。
1. [VPC サービスエンドポイント](choose-service-endpoint.md#datasync-in-vpc)を使用するようにエージェントを設定します。
1. [エージェントをアクティブ化します](activate-agent.md)。
#### GovCloud (米国) リージョンで DataSync タスクを実行する場合
以下の図は、DataSync タスクとエージェントが AWS GovCloud (US) Regionにある場合の転送を示したものです。
![\[にデプロイされた DataSync エージェント、 AWS GovCloud (US) Region または同じ 内の S3 バケットへのクロスリージョン転送 AWS GovCloud (US) Region。\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/images/s3-task-in-govcloud-1.png)
| リファレンス | 説明 |
| --- | --- |
| 1 | 商用リージョンのソース S3 バケットから DataSync タスクを実行 AWS GovCloud (US) Region している へのデータ転送。送信元のバケットは、 AWS GovCloud (US) Regionに[オブジェクトストレージロケーション](#create-s3-location-govcloud-how-to)として設定されます。 |
| 2 | では AWS GovCloud (US) Region、VPC サービスエンドポイントと[ネットワークインターフェイス](required-network-interfaces.md)があるのと同じ VPC とサブネット内の DataSync エージェントを介してデータ転送が行われます。 |
| 3 | AWS GovCloud (US) Regionの送信先 S3 バケットへのデータ転送。送信先のバケットは、 AWS GovCloud (US) Regionの [Amazon S3 ロケーション](#create-s3-location-how-to)として設定されます。 |
この同じ設定を使用して、 から商用リージョン AWS GovCloud (US) Region に反対方向も転送できます。
**DataSync エージェントを作成するには**
1. に[ Amazon EC2 エージェントをデプロイ](deploy-agents.md#ec2-deploy-agent-how-to)します AWS GovCloud (US) Region。
1. [VPC サービスエンドポイント](choose-service-endpoint.md#datasync-in-vpc)を使用するようにエージェントを設定します。
1. [エージェントをアクティブ化します](activate-agent.md)。
データセットの圧縮性が高い場合、 AWS GovCloud (US) Regionでタスクを実行しながら商用リージョンにエージェントを作成することでコストを削減できる可能性があります。このエージェントの作成には通常より多くの設定が必要になります (商用リージョンで使用するためのエージェントの準備など)。この設定用のエージェントの作成については、ブログの[「Move data in and out of AWS GovCloud (US)AWS DataSync](https://aws.amazon.com/blogs/publicsector/move-data-in-out-aws-govcloud-datasync/)」を参照してください。
### S3 バケットのオブジェクトストレージロケーションの作成
DataSync タスクを実行していないリージョンにある S3 バケットには、オブジェクトストレージのロケーションが必要です。
#### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. タスクを実行する予定のリージョンと同じリージョンにいることを確認します。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、[場所] と **[場所を作成する]** を選択します。
1. **場所タイプ**で、**オブジェクトストレージ**を選択します。
1. **[エージェント]** で、転送用に作成した DataSync エージェントを選択します。
1. **[サーバー]** で、次のいずれかの形式を使用して、バケット用の Amazon S3 エンドポイントを入力します。
+ **商用リージョンバケット:** `s3.your-region.amazonaws.com`
+ **AWS GovCloud (US) Region バケット**: `s3.your-gov-region.amazonaws.com`
Amazon S3 エンドポイントのリストについては、「*[AWS 全般のリファレンス](https://docs.aws.amazon.com/general/latest/gr/s3.html)*」を参照してください。
1. **[バケット]** の名前に、S3 バケットの名前を入力します。
1. **[フォルダー]** で、DataSync が読み書きする S3 バケットのプレフィックスを入力します (バケットが送信元または送信先の場所であるかどうかに応じて)。
**警告**
DataSync は、スラッシュ (`/`) で始まるプレフィックス、または `//`、`/./`、または `/../` パターンを含むプレフィックスを持つオブジェクトを転送できません。例えば、次のようになります。
`/photos`
`photos//2006/January`
`photos/./2006/February`
`photos/../2006/March`
1. **[認証情報が必要です]** を選択し、以下を実行します。
+ **[アクセスキー]** に、そのバケットにアクセスできる [IAM ユーザー](#create-s3-location-govcloud-iam)のアクセスキーを入力します。
+ **[シークレットキー]** に、上と同じ IAM ユーザーのシークレットキーを入力します。
1. (オプション)**[タグを追加]** を選択して場所にタグを付けます。
タグは、リソースの管理、フィルタリング、検索に役立ちます。場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
#### の使用 AWS CLI
1. 次の `create-location-object-storage` コマンドをコピーします。
```
aws datasync create-location-object-storage \
--server-hostname s3-endpoint \
--bucket-name amzn-s3-demo-bucket \
--agent-arns arn:aws:datasync:your-region:123456789012:agent/agent-01234567890deadfb
```
1. `--server-hostname` パラメータで、次のいずれかの形式を使用して、バケットの Amazon S3 エンドポイントを指定します。
+ **商用リージョンバケット:** `s3.your-region.amazonaws.com`
+ **AWS GovCloud (US) Region バケット**: `s3.your-gov-region.amazonaws.com`
エンドポイントのリージョンで、タスクを実行する予定のリージョンと同じリージョンを指定していることを確認します。
Amazon S3 エンドポイントのリストについては、「*[AWS 全般のリファレンス](https://docs.aws.amazon.com/general/latest/gr/s3.html)*」を参照してください。
1. `--bucket-name` パラメータで、S3 バケットの名前を指定します。
1. `--agent-arns` パラメータで、この転送用に作成した DataSync エージェントを指定します。
1. `--access-key` パラメータで、このバケットにアクセスできる [IAM ユーザー](#create-s3-location-govcloud-iam)のアクセスキーを指定します。
1. `--secret-key` パラメータで、上と同じ IAM ユーザーのシークレットキーを入力します。
1. (オプション) `--subdirectory` パラメータで、DataSync が読み取りと書き込みを行う S3 バケットのプレフィックスを指定します (バケットが送信元のロケーションか送信先のロケーションかに応じて異なります)。
**警告**
DataSync は、スラッシュ (`/`) で始まるプレフィックス、または `//`、`/./`、または `/../` パターンを含むプレフィックスを持つオブジェクトを転送できません。例えば、次のようになります。
`/photos`
`photos//2006/January`
`photos/./2006/February`
`photos/../2006/March`
1. (オプション) `--tags` パラメータで、ロケーションリソースのタグを表すキーと値のペアを指定します。
タグは、リソースの管理、フィルタリング、検索に役立ちます。場所の名前タグを作成することを推奨します。
1. `create-location-object-storage` コマンドを実行します。
先ほど作成した場所の ARN を示す応答が表示されます。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef"
}
```
ユーザーはこのロケーションを DataSync タスクの送信元または送信先として使用できます。この転送の他の S3 バケットで、[Amazon S3 のロケーションを作成します](#create-s3-location-how-to)。
## 次の手順
取りうる次のステップには、以下のようなものがあります。
1. 必要に応じて他のロケーションを作成します。詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. [DataSync タスクの設定を設定します](task-options.md)。例えば、転送するファイルやメタデータの処理方法などを設定します。
1. DataSync タスクの[スケジュールを設定します](task-scheduling.md)。
1. DataSync タスクの[モニタリングを設定します](monitoring-overview.md)。
1. タスクを[開始します](run-task.md)。
# Amazon EFS を使用した AWS DataSync 転送の設定
Amazon EFS ファイルシステムとの間でデータを転送するには、 AWS DataSync 転送*場所*を作成する必要があります。DataSync では、このロケーションをデータ転送元あるいは転送先として利用することができます。
## DataSync に対する Amazon EFS ファイルシステムへのアクセス許可の付与
[ロケーションを作成する](#create-efs-location-how-to)ときは、DataSync がどのようにストレージにアクセスするのかを理解しておく要があります。Amazon EFS では、DataSync は[ネットワークインターフェイス](required-network-interfaces.md)を使用して、ルートユーザーとしてファイルシステムを仮想プライベートクラウド (VPC) からマウントします。
**Contents**
+ [マウントターゲットのサブネットおよびセキュリティグループの決定](#create-efs-location-mount-target)
+ [制限付きファイルシステムへのアクセス](#create-efs-location-iam)
+ [ファイルシステムにアクセスするための DataSync の IAM ロールの作成](#create-efs-location-iam-role)
+ [DataSync にアクセスを許可するファイルシステムポリシーの例](#create-efs-location-iam-policy)
### マウントターゲットのサブネットおよびセキュリティグループの決定
ロケーションを作成するときは、Amazon EFS ファイルシステムの[マウントターゲット](https://docs.aws.amazon.com/efs/latest/ug/accessing-fs.html)の 1 つに接続することを DataSync に許可するサブネットとセキュリティグループを指定します。
指定するサブネットは次の場所にある必要があります。
+ ファイルシステムと同じ VPC。
+ ファイルシステムの 1 つ以上のマウントターゲットと同じアベイラビリティーゾーン。
**注記**
ファイルシステムのマウントターゲットが含まれるサブネットを指定する必要はありません。
指定するセキュリティグループは、ネットワークファイルシステム (NFS) ポート 2049 でのインバウンドトラフィックを許可する必要があります。マウントターゲットのセキュリティグループの作成および更新に関する詳細は、「[https://docs.aws.amazon.com/efs/latest/ug/network-access.html](https://docs.aws.amazon.com/efs/latest/ug/network-access.html)」を参照してください。
**マウントターゲットに関連付けられたセキュリティグループの指定**
ユーザーは、ファイルシステムのマウントターゲットのうちの 1 つに関連付けられているセキュリティグループを指定することができます。ネットワーク管理の観点からこの方法を使用することをお勧めします。
**マウントターゲットに関連付けられていないセキュリティグループの指定**
ユーザーは、ファイルシステムのマウントターゲットのうちの 1 つに関連付けられていないセキュリティグループも指定できます。ただし、このセキュリティグループはマウントターゲットのセキュリティグループと通信できる必要があります。
例えば、以下の方法で、セキュリティグループ D (DataSync の場合) とセキュリティグループ M (マウントターゲットの場合) の間の関係を作成します。
+ ロケーションの作成時に指定するセキュリティグループ D には、NFS ポート 2049 でセキュリティグループ M へのアウトバウンド接続を許可するルールが必要です。
+ マウントターゲットに関連付けたセキュリティグループ M は、NFS ポート (2049) でセキュリティグループ D からのインバウンドアクセスを許可する必要があります。
**マウントターゲットのセキュリティグループを見つけるには**
以下の手順は、DataSync が転送に使用する Amazon EFS ファイルシステムのマウントターゲットのセキュリティグループを特定するのに役立ちます。
1. で AWS CLI、次の`describe-mount-targets`コマンドを実行します。
```
aws efs describe-mount-targets \
--region file-system-region \
--file-system-id file-system-id
```
このコマンドにより、ファイルシステムのマウントターゲットに関する情報が返されます (次の出力例に類似したもの)。
```
{
"MountTargets": [
{
"OwnerId": "111222333444",
"MountTargetId": "fsmt-22334a10",
"FileSystemId": "fs-123456ab",
"SubnetId": "subnet-f12a0e34",
"LifeCycleState": "available",
"IpAddress": "11.222.0.123",
"NetworkInterfaceId": "eni-1234a044"
}
]
}
```
1. 使用する `MountTargetId` 値をメモしておきます。
1. `MountTargetId` を使用して次の `describe-mount-target-security-groups` コマンドを実行し、マウントターゲットのセキュリティグループを見つけます。
```
aws efs describe-mount-target-security-groups \
--region file-system-region \
--mount-target-id mount-target-id
```
このセキュリティグループは[ロケーションを作成する](#create-efs-location-how-to)ときに指定します。
### 制限付きファイルシステムへのアクセス
DataSync は、[アクセスポイント](https://docs.aws.amazon.com/efs/latest/ug/efs-access-points.html)と [IAM ポリシー](https://docs.aws.amazon.com/efs/latest/ug/iam-access-control-nfs-efs.html) を介してアクセスを制限している Amazon EFS ファイルシステムとの間の転送を行うことができます。
**注記**
DataSync が、[ユーザー ID を必須とする](https://docs.aws.amazon.com/efs/latest/ug/efs-access-points.html#enforce-identity-access-points)アクセスポイントを介して送信先のファイルシステムにアクセスする場合、DataSync のタスクで[所有権をコピーする](configure-metadata.md)ように設定していると、送信元のデータの POSIX ユーザー ID とグループ ID は保持されません。代わりに、転送されたファイルとフォルダは、アクセスポイントのユーザー ID とグループ ID に設定されます。この場合、DataSync が送信元と送信先の各ロケーションのメタデータ間の不一致が検出されるため、タスクの検証は失敗します。
**Contents**
+ [ファイルシステムにアクセスするための DataSync の IAM ロールの作成](#create-efs-location-iam-role)
+ [DataSync にアクセスを許可するファイルシステムポリシーの例](#create-efs-location-iam-policy)
#### ファイルシステムにアクセスするための DataSync の IAM ロールの作成
IAM ポリシーを介してアクセスを制限する Amazon EFS ファイルシステムを使用している場合、ファイルシステムとの間でデータの読み取りまたは書き込みを行うためのアクセス許可を DataSync に付与する IAM ロールを作成できます。続いて、そのロールを[ファイルシステムポリシー](#create-efs-location-iam-policy)で指定する必要がある場合もあります。
**DataSync IAM ロールを作成するには**
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[カスタム信頼ポリシー]** を選択します。
1. 以下の JSON をポリシーエディタに貼り付けます。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole"
}]
}
```
------
1. [**次へ**] を選択します。**[アクセス許可を追加]** ページで **[次へ]** を選択してください。
1. ロール名を入力し、**[ロールの作成]** を選択します。
[ロケーションを作成する](#create-efs-location-how-to)ときにこのロールを指定します。
#### DataSync にアクセスを許可するファイルシステムポリシーの例
次のファイルシステムポリシーの例では、Amazon EFS ファイルシステム (ポリシーで `fs-1234567890abcdef0` と識別される) へのアクセスが制限されているものの、`MyDataSyncRole` という IAM ロールを介して DataSync にアクセスを許可する方法を示しています。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Id": "ExampleEFSFileSystemPolicy",
"Statement": [{
"Sid": "AccessEFSFileSystem",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:role/MyDataSyncRole"
},
"Action": [
"elasticfilesystem:ClientMount",
"elasticfilesystem:ClientWrite",
"elasticfilesystem:ClientRootAccess"
],
"Resource": "arn:aws:elasticfilesystem:us-east-1:111122223333:file-system/fs-1234567890abcdef0",
"Condition": {
"Bool": {
"aws:SecureTransport": "true"
},
"StringEquals": {
"elasticfilesystem:AccessPointArn": "arn:aws:elasticfilesystem:us-east-1:111122223333:access-point/fsap-abcdef01234567890"
}
}
}]
}
```
------
+ `Principal` - DataSync にファイルシステムへのアクセスを許可する [IAM ロール](#create-efs-location-iam)を指定します。
+ `Action` - DataSync にルートアクセスを付与してファイルシステムとの間で読み取りと書き込みを許可します。
+ `aws:SecureTransport` - ファイルシステムに接続するときに、NFS クライアントが TLS を使用する必要があります。
+ `elasticfilesystem:AccessPointArn` - 特定のアクセスポイントのみからファイルシステムにアクセスすることを許可します。
## Amazon EFS 転送に関するネットワークの考慮事項
DataSync で使用する VPC にはデフォルトのテナンシーが必要です。専用テナンシーを持つ VPC はサポートされていません。
## Amazon EFS 転送に関するパフォーマンスの考慮事項
Amazon EFS ファイルシステムのスループットモードは、転送の所要時間とファイルシステムのパフォーマンスに影響を与える可能性があります。以下の点を考慮してください。
+ 最善の結果を得るには、Elastic スループットモードを使用することをお勧めします。Elastic スループットモードを使用しないと、転送に時間がかかる可能性があります。
+ バーストスループットモードを使用すると、DataSync がファイルシステムのバーストクレジットを消費するため、ファイルシステムのアプリケーションのパフォーマンスに影響する可能性があります。
+ [DataSync での転送済みデータの検証方法の設定](configure-data-verification-options.md)は、ファイルシステムのパフォーマンスとデータアクセスコストに影響を与える可能性があります。
詳細については、「*Amazon Elastic File System ユーザーガイド*」の「[Amazon EFS performance](https://docs.aws.amazon.com/efs/latest/ug/performance.html)」、および「[Amazon EFS の料金](https://aws.amazon.com/efs/pricing/)」のページを参照してください。
## Amazon EFS の転送場所の作成
転送場所を作成するには、既存の Amazon EFS ファイルシステムが必要です。まだお持ちでない場合は、「*Amazon Elastic File System ユーザーガイド*」の「[Getting started with Amazon EFS](https://docs.aws.amazon.com/efs/latest/ug/getting-started.html)」を参照してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** には、**[Amazon EFS ファイルシステム]** を選択します。
後でこのロケーションを送信元あるいは送信先として設定します。
1. **[ファイルシステム]** で、エンドポイントとして使用する Amazon EFSファイルシステムを選択します。
1. **[マウントパス]** に Amazon EFS ファイルシステムのマウントパスを入力します。
これにより、ファイルシステム上で DataSync がデータの読み取りまたは書き込み (送信元のロケーションか送信先のロケーションかによって異なります) を行う場所を指定します。
デフォルトでは、DataSync はルートディレクトリ (**EFS アクセスポイント**設定に指定する場合は[アクセスポイント](https://docs.aws.amazon.com/efs/latest/ug/efs-access-points.html)) を使用します。フォワードスラッシュ (例: `/path/to/directory`) を使用してサブディレクトリを指定することもできます。
1. **[サブネット]** で、DataSync がデータ転送のトラフィックを管理するための[ネットワークインターフェイス](required-network-interfaces.md)を作成するサブネットを選択します。
サブネットは次の場所にある必要があります。
+ ファイルシステムと同じ VPC。
+ 少なくとも 1 つのファイルシステムのマウントターゲットと同じアベイラビリティゾーン内。
**注記**
ファイルシステムのマウントターゲットが含まれるサブネットを指定する必要はありません。
1. **[セキュリティグループ]** で、Amazon EFS ファイルシステムのマウントターゲットに関連付けられているセキュリティグループを選択します。複数のセキュリティグループを選択できます。
**注記**
指定するセキュリティ グループは、NFS ポート2049 でのインバウンドトラフィックを許可する必要があります。詳細については、「[マウントターゲットのサブネットおよびセキュリティグループの決定](#create-efs-location-mount-target)」を参照してください。
1. **[転送時の暗号化]** で、DataSync がファイルシステムとの間でデータを転送するときに Transport Layer Security (TLS) 暗号化を使用するかどうかを選択します。
**注記**
Amazon EFS ロケーションでアクセスポイント、IAM ロール、またはその両方を設定する場合は、この設定を有効にする必要があります。
1. (オプション) **[EFS アクセスポイント]** で、DataSync がファイルシステムをマウントするときに使用できるアクセスポイントを選択します。
詳細については、「[制限付きファイルシステムへのアクセス](#create-efs-location-iam)」を参照してください。
1. (オプション) **[IAM ロール]** には、DataSync がファイルシステムにアクセスすることを許可するロールを指定します。
このロールを作成する方法については、「[ファイルシステムにアクセスするための DataSync の IAM ロールの作成](#create-efs-location-iam-role)」を参照してください。
1. (オプション) **[タグを追加]** を選択してファイルシステムにタグを付けます。
タグは、場所の管理、フィルタリング、検索に便利なキー値ペアです。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
1. 次の `create-location-efs` コマンドをコピーします。
```
aws datasync create-location-efs \
--efs-filesystem-arn 'arn:aws:elasticfilesystem:region:account-id:file-system/file-system-id' \
--subdirectory /path/to/your/subdirectory \
--ec2-config SecurityGroupArns='arn:aws:ec2:region:account-id:security-group/security-group-id',SubnetArn='arn:aws:ec2:region:account-id:subnet/subnet-id' \
--in-transit-encryption TLS1_2 \
--access-point-arn 'arn:aws:elasticfilesystem:region:account-id:access-point/access-point-id' \
--file-system-access-role-arn 'arn:aws:iam::account-id:role/datasync-efs-access-role
```
1. `--efs-filesystem-arn` で、送信先または送信元となる Amazon EFS ファイルシステムの Amazon リソースネーム (ARN) を指定します。
1. `--subdirectory` で、ファイルシステムのマウントパスを指定します。
これは、ファイルシステム上で DataSync がデータの読み取りまたは書き込み (送信元のロケーションか送信先のロケーションかによって異なります) を行う場所です。
デフォルトでは、DataSync はルートディレクトリ (`--access-point-arn` で指定する場合は[アクセスポイント](https://docs.aws.amazon.com/efs/latest/ug/efs-access-points.html)) を使用します。フォワードスラッシュ (例: `/path/to/directory`) を使用してサブディレクトリを指定することもできます。
1. `--ec2-config` について、次の操作を行います。
+ `SecurityGroupArns` で、ファイルシステムのマウントターゲットに関連付けられたセキュリティグループの ARN を指定します。複数のセキュリティグループを指定できます。
**注記**
指定するセキュリティ グループは、NFS ポート2049 でのインバウンドトラフィックを許可する必要があります。詳細については、「[マウントターゲットのサブネットおよびセキュリティグループの決定](#create-efs-location-mount-target)」を参照してください。
+ `SubnetArn` で、DataSync に、データ転送のトラフィックを管理するための[ネットワークインターフェイス](required-network-interfaces.md)を作成させる、サブネットの ARN を指定します。
サブネットは次の場所にある必要があります。
+ ファイルシステムと同じ VPC。
+ 少なくとも 1 つのファイルシステムのマウントターゲットと同じアベイラビリティゾーン内。
**注記**
ファイルシステムのマウントターゲットが含まれるサブネットを指定する必要はありません。
1. `--in-transit-encryption` で、DataSync がファイルシステムとの間でデータを転送するときに Transport Layer Security (TLS) 暗号化を使用するかどうかを指定します。
**注記**
Amazon EFS ロケーションでアクセスポイント、IAM ロール、またはその両方を設定する場合は、この設定を `TLS1_2` にする必要があります。
1. (オプション) `--access-point-arn` で、DataSync がファイルシステムをマウントするときに使用できるアクセスポイントの ARN を指定します。
詳細については、「[制限付きファイルシステムへのアクセス](#create-efs-location-iam)」を参照してください。
1. (オプション) `--file-system-access-role-arn` で、DataSync がファイルシステムにアクセスすることを許可する IAM ロールの ARN を指定します。
このロールを作成する方法については、「[ファイルシステムにアクセスするための DataSync の IAM ロールの作成](#create-efs-location-iam-role)」を参照してください。
1. `create-location-efs` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
}
```
# FSx for Windows File Server による転送の設定
Amazon FSx for Windows File Server ファイルシステムとの間でデータを転送するには、 AWS DataSync 転送*場所*を作成する必要があります。DataSync では、このロケーションをデータ転送元あるいは転送先として利用することができます。
## DataSync に対する FSx for Windows File Server ファイルシステムへのアクセス許可の付与
DataSync はサーバーメッセージブロック (SMB) プロトコルを使用して FSx for Windows File Server ファイルシステムに接続し、[ネットワークインターフェイス](required-network-interfaces.md)を使用して仮想プライベートクラウド (VPC) からこのファイルシステムをマウントします。
**注記**
DataSync で使用する VPC にはデフォルトのテナンシーが必要です。専用テナンシーを持つ VPC はサポートされていません。
**Topics**
+ [必要なアクセス許可](#create-fsx-windows-location-permissions)
+ [必要な認証プロトコル](#configuring-fsx-windows-authentication-protocols)
+ [DFS 名前空間](#configuring-fsx-windows-location-dfs)
### 必要なアクセス許可
FSx for Windows File Server のファイル、フォルダ、ファイルメタデータをマウントし、これらにアクセスするために必要な権限を持つユーザーを DataSync で指定する必要があります。
このユーザーは、ファイルシステムを管理するための Microsoft Active Directory グループに属していることが推奨されています。このグループの詳細は、Active Directory の設定によって異なります。
+ FSx for Windows File Server AWS Directory Service for Microsoft Active Directory で を使用している場合、ユーザーは**AWS 委任 FSx 管理者**グループのメンバーである必要があります。
+ FSx for Windows File Server でセルフマネージドの Active Directory を使用している場合、ユーザーは次の 2 つのグループのいずれかに属している必要があります。
+ **Domain Admins** グループは、デフォルトの委任された管理者グループです。
+ カスタムの委任された管理者グループは、オブジェクトの所有権のアクセス許可と Windows のアクセスコントロールリスト (ACL) とをコピーすることを DataSync に許可するユーザー権限を持つグループです。
**重要**
ファイルシステムをデプロイした後は、委任された管理者グループを変更することはできません。ファイルシステムを再デプロイするか、バックアップから復元して、DataSync がメタデータをコピーする際に必要な以下のユーザー権限を持つカスタムの委任された管理者グループを使用する必要があります。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/create-fsx-location.html)
+ Windows ACL をコピーし、SMB ファイルサーバーと FSx for Windows File Server ファイルシステムとの間、または、FSx for Windows File Server ファイルシステム間で転送を行う場合は、DataSync で指定されたユーザーが、同じ Active Directory ドメインに属しているか、またはドメイン間に Active Directory の信頼関係を持っている必要があります。
**警告**
FSx for Windows File Server ファイルシステムの SYSTEM ユーザーは、ファイルシステム内のすべてのフォルダに対して**フルコントロール**のアクセス許可を持っている必要があります。フォルダでこのユーザーの NTFSACL アクセス許可を変更しないでください。変更すると、DataSync がファイルシステムのアクセス許可を変更して、ファイル共有にアクセスできなくしたり、ファイルシステムのバックアップを使用不可にしたりする可能性があります。詳細については、「*[Amazon FSx for Windows File Server ユーザーガイド](https://docs.aws.amazon.com/fsx/latest/WindowsGuide/limit-access-file-folder.html)*」を参照してください。
### 必要な認証プロトコル
FSx for Windows File Server にアクセスするには、DataSync の NTLM 認証を使用する必要があります。DataSync は Kerberos 認証を使用するファイルサーバーにアクセスできません。
### DFS 名前空間
DataSync は Microsoft Distributed File System (DFS) 名前空間をサポートしていません。DataSync ロケーションを作成するときは、基盤となるファイルサーバーを指定するか、共有することをお勧めします。
詳細については、「*Amazon FSx for Windows File Server ユーザーガイド*」の「[Grouping multiple file systems with DFS Namespaces](https://docs.aws.amazon.com/fsx/latest/WindowsGuide/group-file-systems.html)」を参照してください。
## FSx for Windows File Server の場所の作成
始める前に、 AWS リージョンでFSx for Windows File Server が既にインストールされていることを確認します。詳細については、「*Amazon FSx for Windows File Server ユーザーガイド*」の「[Amazon FSxの使用開始](https://docs.aws.amazon.com/fsx/latest/WindowsGuide/getting-started.html)」を参照してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** で **[Amazon FSx]** を選択します。
1. **[FSx File system]** で、場所として使用する FSx for Windows ファイル サーバー ファイル システムを選択します。
1. **[共有名]** には、FSx for Windows File Server マウントパスをフォワードスラッシュで入力します。
これは、DataSync がデータを読み書きするパスを指定します (送信元あるいは送信先の場所によって異なります)。
サブディレクトリ (例:`/path/to/directory`) を含めることもできます。
1. **セキュリティグループ**では、ファイルシステムの優先サブネットへのアクセスを提供する Amazon EC2 セキュリティグループを5つまで選択します。
選択したセキュリティグループは、ファイルシステムのセキュリティグループと通信できる必要があります。ファイルシステムアクセスのセキュリティグループの設定については、「[https://docs.aws.amazon.com/fsx/latest/WindowsGuide/limit-access-security-groups.html](https://docs.aws.amazon.com/fsx/latest/WindowsGuide/limit-access-security-groups.html)」を参照してください。
**注記**
内部からの接続を許可しないセキュリティグループを選択した場合は、次のいずれかの操作を行います。
セキュリティグループをセキュリティグループ内で通信できるように設定します。
マウントターゲットのセキュリティグループと通信できる、別のセキュリティグループを選択します。
1. **[ユーザー]** には、FSx for Windows File Server にアクセスできるユーザーの名前を入力します。
詳細については、「[必要なアクセス許可](#create-fsx-windows-location-permissions)」を参照してください。
1. **[パスワード]**: 上記のユーザー名のパスワードを入力します。
1. (オプション) **[ドメイン]** に、FSx for Windows File Server ファイルシステムが属する Windows ドメインの名前を入力します。
環境内に複数の Active Directory ドメインがある場合、この設定を定義するすることで、DataSync が適切なファイルシステムに接続できるようになります。
1. (オプション) **[キー]** と **[値]** に値を入力して、FSx for Windows File Server にタグを付けます。
タグは、 AWS リソースの管理、フィルタリング、検索に役立ちます。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
**を使用して FSx for Windows File Server の場所を作成するには AWS CLI**
+ Amazon FSx のロケーションを作成するには、以下のコマンドを使用します。
```
aws datasync create-location-fsx-windows \
--fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
--security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
--user smb-user --password password
```
`create-location-fsx-windows` コマンドで、次の操作を行います。
+ `fsx-filesystem-arn` - 送信元および送信先となるファイルシステムの Amazon リソースネーム (ARN) を指定します。
+ `security-group-arns` - ファイルシステムの優先サブネットへのアクセスを許可する最大 5 つの Amazon EC2 セキュリティグループの ARN を指定します。
指定したセキュリティグループは、ファイルシステムのセキュリティグループと通信できる必要があります。セキュリティグループの設定については、「[https://docs.aws.amazon.com/fsx/latest/WindowsGuide/limit-access-security-groups.html](https://docs.aws.amazon.com/fsx/latest/WindowsGuide/limit-access-security-groups.html)」を参照してください。
**注記**
内部からの接続を許可しないセキュリティグループを選択した場合は、次のいずれかの操作を行います。
セキュリティグループをセキュリティグループ内で通信できるように設定します。
マウントターゲットのセキュリティグループと通信できる、別のセキュリティグループを選択します。
+ AWS リージョン - 指定したリージョンは、ターゲットの Amazon FSx ファイルシステムがあるリージョンです。
上記のコマンドは、次に示すような場所 ARN を返します。
```
{
"LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07db7abfc326c50fb"
}
```
# FSx for Lustre を使用した DataSync 転送の設定
Amazon FSx for Lustre ファイルシステムとの間でデータを転送するには、 AWS DataSync 転送*場所*を作成する必要があります。DataSync では、このロケーションをデータ転送元あるいは転送先として利用することができます。
## DataSync に対する FSx for Lustre ファイルシステムへのアクセス許可の付与
DataSync は Lustre クライアントを使用して FSx for Lustre ファイルシステムにアクセスします。DataSync では FSx for Lustre ファイルシステム上のすべてのデータにアクセスする必要があります。このレベルのアクセス権限を取得するには、DataSync は、ユーザー ID (UID) と `0` グループ ID (GID) を使用して、ファイルシステムを root ユーザーとしてマウントします。
DataSync は、[ネットワークインターフェイス](required-network-interfaces.md)を使用して、仮想プライベートクラウド (VPC) からファイルシステムをマウントします。DataSync は、ユーザーに代わってこれらのネットワークインターフェイスの作成、使用、および削除を完全に管理します。
**注記**
DataSync で使用する VPC にはデフォルトのテナンシーが必要です。専用テナンシーを持つ VPC はサポートされていません。
## FSx for Lustre の転送場所の作成
転送のロケーションを作成するには、既存の FSx for Lustre ファイルシステムが必要です。詳細については、「*Amazon FSx for Lustre ユーザーガイド*」の「[Getting started with Amazon FSx for Lustre](https://docs.aws.amazon.com/fsx/latest/LustreGuide/getting-started.html)」を参照してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** で **[Amazon FSx]** を選択します。
後でこのロケーションを送信元あるいは送信先として設定します。
1. **FSx ファイルシステム**の場合、場所として使用する FSx for Lustre ファイルシステムを選択します。
1. [**マウントパス**] に FSx for Lustreファイルシステムのマウントパスを入力します。
パスにはサブディレクトリを含めることができます。場所が送信元として使用される場合、DataSync はマウントパスからデータを読み込みます。場所が送信先として使用される場合、DataSync はすべてのデータをマウントパスに書き込みます。サブディレクトリが指定されない場合、DataSync はルートディレクトリ (`/`) を使用します。
1. **セキュリティグループ**では、FSx for Lustre ファイルシステムへのアクセスを提供するセキュリティグループを5つまで選択します。
セキュリティグループはファイルシステムのポートにアクセスできる必要があります。ファイルシステムはセキュリティグループからのアクセスを許可する必要もあります。
セキュリティグループの詳細については、「*Amazon FSx for Lustre ユーザーガイド*」の「[File system access control with Amazon VPC](https://docs.aws.amazon.com/fsx/latest/LustreGuide/limit-access-security-groups.html)」を参照してください。
1. (オプション) [**キー**] と [**値**] に値を入力して、FSx for Lustre ファイルシステムにタグを付けます。
タグは、 AWS リソースの管理、フィルタリング、検索に役立ちます。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
**を使用して FSx for Lustre の場所を作成するには AWS CLI**
+ 次のコマンドを使用して、FSx for Lustre の場所を作成します。
```
aws datasync create-location-fsx-lustre \
--fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system:filesystem-id \
--security-group-arns arn:aws:ec2:region:account-id:security-group/group-id
```
以下のパラメータは、`create-location-fsx-lustre` コマンドで必須です。
+ `fsx-filesystem-arn` - 読み書きするファイルシステムの完全修飾 Amazon リソースネーム (ARN)。
+ `security-group-arns` - ファイルシステムの優先サブネットの Elastic [Network Interface](required-network-interfaces.md) に適用する Amazon EC2 セキュリティグループの ARN。
上記のコマンドは、次に類似するロケーション ARN を返します。
```
{
"LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07sb7abfc326c50fb"
}
```
# Amazon FSx for OpenZFS を使用した DataSync 転送の設定
Amazon FSx for OpenZFS ファイルシステムとの間でデータを転送するには、 AWS DataSync 転送*場所*を作成する必要があります。DataSync では、このロケーションをデータ転送元あるいは転送先として利用することができます。
## DataSync に FSx for OpenZFS ファイルシステムへのアクセスを許可する
DataSync は、[ネットワークインターフェイス](required-network-interfaces.md)を使用して FSx for OpenZFS ファイルシステムを仮想プライベートクラウド (VPC) からマウントします。DataSync は、ユーザーに代わってこれらのネットワークインターフェイスの作成、使用、および削除を完全に管理します。
**注記**
DataSync で使用する VPC にはデフォルトのテナンシーが必要です。専用テナンシーを持つ VPC はサポートされていません。
## OpenZFS ファイルシステム認可のための FSx の設定
DataSync は FSx for OpenZFS ファイルシステムにアクセスし、ユーザー ID (UID) と `0` グループ ID (GID) を持つルートユーザーとしてファイルシステムをマウントします。
DataSync がすべてのファイルメタデータをコピーするには、 `no_root_squash` を使用してファイルシステムボリュームの NFS エクスポート設定を行う必要があります。ただし、このレベルのアクセスを特定の DataSync タスクのみに制限できます。
詳細については、「*Amazon FSx for OpenZFS ユーザーガイド*」の「[Managing Amazon FSx for OpenZFS volumes](https://docs.aws.amazon.com/fsx/latest/OpenZFSGuide/managing-volumes.html#volume-properties)」を参照してください。
### DataSync 専用の NFS エクスポートの設定 (推奨)
DataSync タスクによってのみアクセスされる各ボリュームに固有の NFS エクスポートを設定できます。FSx for OpenZFS の場所を作成するときに指定したマウント パスの最新の原型ボリュームに対してこれを実行します。
**DataSync 専用の NFS エクスポートを設定するには**
1. [DataSync タスク](create-task-how-to.md)を作成します。
これにより、NFS エクスポート設定で指定したタスクのネットワークインターフェイスが作成されます。
1. Amazon EC2 コンソールまたは を使用して、タスクのネットワークインターフェイスのプライベート IP アドレスを見つけます AWS CLI。
1. FSx for OpenZFS ファイルシステムボリュームでは、タスクのネットワークインターフェースごとに次の NFS エクスポート設定を行います。
+ **クライアントアドレス**:ネットワークインターフェースのプライベート IP アドレス (例:`10.24.34.0`) を入力します。
+ **NFS オプション**: `rw,no_root_squash` を入力してください。
### すべてのクライアントの NFS エクスポートの設定
すべてのクライアントにルートアクセスを許可する NFS エクスポートを指定できます。
**すべてのクライアントに NFS エクスポートを設定するには**
+ FSx for OpenZFS ファイルシステムボリュームには、次の NFS エクスポート設定を行います。
+ **クライアントアドレス**: `*` を入力してください。
+ **NFS オプション**: `rw,no_root_squash` を入力してください。
## OpenZFS 用 FSx の転送場所の作成
場所を作成するには、既存の FSx for OpenZFS ファイルシステムが必要です。まだお持ちでない場合は、「*Amazon FSx for OpenZFS ユーザーガイド*」の「[OpenZFS 用 Amazon FSx 入門](https://docs.aws.amazon.com/fsx/latest/OpenZFSGuide/getting-started.html)」を参照してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで、**[ロケーション]** を選択し、それから **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** で **[Amazon FSx]** を選択します。
後でこのロケーションを送信元あるいは送信先として設定します。
1. **FSx ファイルシステム**の場合、場所として使用する FSx for OpenZFS ファイルシステムを選択します。
1. **[マウントパス]** に EFS ファイルシステムのマウントパスを入力します。
パスは `/fsx` で始まって、ファイル システム内の任意の既存のディレクトリパスになる可能性があります。場所が送信元として使用される場合、DataSync はマウントパスからデータを読み込みます。場所が送信先として使用される場合、DataSync はすべてのデータをマウントパスに書き込みます。サブディレクトリが指定されていない場合、DataSync はルートボリュームディレクトリ (例:`/fsx`) を使用します。
1. **セキュリティグループ**では、FSx for OpenZFS ファイルシステムへのネットワークアクセスを提供するセキュリティグループを5つまで選択します。
セキュリティ グループは FSx for OpenZFS ファイル システムによって使用されるネットワーク ポートへのアクセスを提供する必要があります。ファイルシステムは、セキュリティグループからのネットワークアクセスを許可する必要があります。
セキュリティグループの詳細については、「*Amazon FSx for OpenZFS ユーザーガイド*」の「[Amazon VPC によるファイルシステムアクセスコントロール](https://docs.aws.amazon.com/fsx/latest/OpenZFSGuide/limit-access-security-groups.html)」を参照してください。
1. (オプション) **[その他の設定]** を展開して、**[NFS バージョン]** で DataSync がファイルシステムへのアクセスに使用する NFS バージョンを選択します。
デフォルトでは、DataSync は NFS バージョン 4.1 を選択します。
1. (オプション) **[キー]** と **[値]** に値を入力して、EFS ファイルシステムにタグを付けます。
タグは、リソースの管理、フィルタリング、検索に役立ちます。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
**を使用して FSx for OpenZFS の場所を作成するには AWS CLI**
1. 次の `create-location-fsx-open-zfs` コマンドをコピーします。
```
aws datasync create-location-fsx-open-zfs \
--fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
--security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
--protocol NFS={}
```
1. コマンドに以下の必須パラメータを指定します。
+ `fsx-filesystem-arn` には、場所ファイルシステムの完全修飾Amazon リソースネーム (ARN)を指定します。これには、ファイルシステムが存在する AWS リージョン 、 AWS アカウント、およびファイルシステム ID が含まれます。
+ `security-group-arns` には、FSx for OpenZFS [ファイルシステムの優先サブネットのネットワークインターフェイス](required-network-interfaces.md)へのアクセスを提供する Amazon EC2 セキュリティグループの ARN を指定します。これには、Amazon EC2 AWS リージョン インスタンスが存在する 、 AWS アカウント、およびセキュリティグループ ID が含まれます。
セキュリティグループの詳細については、「*Amazon FSx for OpenZFS ユーザーガイド*」の「[Managing file system access with Amazon VPC](https://docs.aws.amazon.com/fsx/latest/OpenZFSGuide/limit-access-security-groups.html)」を参照してください。
+ `protocol` には、DataSync がファイルシステムにアクセスするために使用するプロトコルを指定します。(DataSync は現在 NFS のみをサポートしています。)
1. コマンドを実行します。先ほど作成した場所を示す応答が表示されます。
```
{
"LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890"
}
```
# Amazon FSx for NetApp ONTAP による 転送の設定
Amazon FSx for NetApp ONTAP ファイルシステムとの間でデータを転送するには、 AWS DataSync 転送*場所*を作成する必要があります。DataSync では、このロケーションをデータ転送元あるいは転送先として利用することができます。
## DataSync に FSx for ONTAP ファイルシステムへのアクセスを許可する
FSx for ONTAP ファイルシステムにアクセスするために、DataSync は仮想プライベートクラウド（VPC）の[ネットワークインターフェイス](required-network-interfaces.md)を使用してファイルシステムにストレージ仮想マシン（SVM）をマウントします。DataSyncは、FSx for ONTAPの場所を含むタスクを作成した場合にのみ、ファイルシステムの優先サブネットにこれらのネットワークインターフェイスを作成します。
**注記**
DataSync で使用する VPC にはデフォルトのテナンシーが必要です。専用テナンシーを持つ VPC はサポートされていません。
DataSync は、ネットワークファイルシステム (NFS) またはサーバーメッセージブロック (SMB) プロトコルを使用することで、FSx for ONTAP ファイルシステムの SVM に接続し、データをコピーすることができます。
**Topics**
+ [NFS プロトコルの使用](#create-ontap-location-supported-protocols)
+ [SMB プロトコルの使用](#create-ontap-location-smb)
+ [サポートされていないプロトコル](#create-ontap-location-unsupported-protocols)
+ [適切なプロトコルを選択する](#create-ontap-location-choosing-protocol)
+ [SnapLock ボリュームへのアクセス](#create-ontap-location-snaplock)
### NFS プロトコルの使用
NFS プロトコルでは、DataSync はユーザー ID (UID) と `0` のグループ ID (GID) で `AUTH_SYS` セキュリティメカニズムを使用して SVM を認証します。
**注記**
DataSync は現在、FSx for ONTAP ロケーションでの NFS バージョン 3 のみをサポートしています。
### SMB プロトコルの使用
DataSync は SMB プロトコル使用して、付与された認証情報を使用して SVM で認証を行います。
**サポートされている SMB バージョン**
デフォルトでは、DataSync は SMB ファイルサーバーとのネゴシエーションに基づいて自動的に SMB プロトコルのバージョンを選択します。特定の SMB バージョンを使用するように DataSync を設定することもできますが、これは DDataSync が SMB ファイル サーバーと自動的にネゴシエートするときに問題が発生する場合にのみこれを行うことをお勧めします。セキュリティ上の理由から、SMB バージョン 3.0.2 以降を使用することをお勧めします。
FSx for ONTAP の場所で SMB バージョンを設定するための DataSync コンソールと API のオプションのリストについては、次の表を参照してください。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/create-ontap-location.html)
**必要なアクセス許可**
ファイル、フォルダ、ファイルメタデータをマウントしてアクセスするための必要な権限を持つ SVM のローカルユーザー、または Microsoft Active Directory のドメインユーザーを DataSync で指定する必要があります。
Active Directory でユーザーを提供する場合は、次の点に注意してください。
+ を使用している場合 AWS Directory Service for Microsoft Active Directory、ユーザーは**AWS 委任 FSx 管理者**グループのメンバーである必要があります。
+ セルフマネージドの Microsoft Active Directory を使用している場合、ユーザーは 2 つのグループいずれかのメンバーでなければなりません。
+ **Domain Admins** グループは、デフォルトの委任された管理者グループです。
+ カスタムの委任された管理者グループは、オブジェクトの所有権のアクセス許可と Windows のアクセスコントロールリスト (ACL) とをコピーすることを DataSync に許可するユーザー権限を持つグループです。
**重要**
ファイルシステムをデプロイした後は、委任された管理者グループを変更することはできません。ファイルシステムを再デプロイするか、バックアップから復元して、DataSync がメタデータをコピーする際に必要な以下のユーザー権限を持つカスタムの委任された管理者グループを使用する必要があります。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/create-ontap-location.html)
+ Windows ACL をコピーし、SMB を使用する FSx for ONTAP ファイルシステム間で (または SMB を使用する他のタイプのファイルシステム間で) 転送を行う場合は、DataSync で指定されたユーザーが、同じ Active Directory ドメインに属しているか、またはドメイン間に Active Directory の信頼関係を持っている必要があります。
**必要な認証プロトコル**
DataSync が SMB 共有にアクセスするには、FSx for ONTAP ファイルシステムが NTLM 認証を使用する必要があります。DataSync は Kerberos 認証を使用する FSx for ONTAP ファイルシステムにアクセスできません。
**DFS 名前空間**
DataSync は Microsoft Distributed File System (DFS) 名前空間をサポートしていません。DataSync ロケーションを作成するときは、基盤となるファイルサーバーを指定するか、共有することをお勧めします。
### サポートされていないプロトコル
DataSync は、iSCSI (Internet Small Computer Systems Interface) プロトコルを使用して FSx for ONTAP ファイルシステムにアクセスできません。
### 適切なプロトコルを選択する
FSx for ONTAP移行でファイルメタデータを保存するには、DataSync のソースとデスティネーションの場所が同じプロトコルを使用するように設定します。サポートされているプロトコル間で、SSMB はメタデータを最高の忠実度で保存します（詳細については、 [DataSync のファイルとオブジェクトのメタデータの処理方法を理解する](metadata-copied.md) を参照してください）。
NFS 経由でユーザーにサービスを提供する UNIX (Linux) サーバーまたはネットワークアタッチドストレージ (NAS)) 共有から移行する場合は、次のことを行ってください。
1. UNIX (Linux) サーバーまたは NAS 共有の [NFS ロケーションを作成します](create-nfs-location.md)。(これはソースの場所になります)。
1. [UNIXセキュリティスタイル](https://docs.aws.amazon.com/fsx/latest/ONTAPGuide/managing-volumes.html#volume-security-style)でデータを転送するFSx for ONTAPボリュームを設定します。
1. NFS 用に構成された FSx for ONTAP ファイルシステムの場所を作成します。(これがデスティネーションロケーションになります)。
SMB 経由でユーザーにサービスを提供する Windows サーバーまたは NAS 共有から移行する場合は、次の操作を行います。
1. Windows サーバーまたは NAS 共有の [SMB ロケーションを作成します](create-smb-location.md)。(これはソースの場所になります)。
1. [NTFSセキュリティスタイル](https://docs.aws.amazon.com/fsx/latest/ONTAPGuide/managing-volumes.html#volume-security-style)でデータを転送するFSx for ONTAPボリュームを構成します。
1. SMB 用に構成された FSx for ONTAP ファイルシステムの場所を作成します。(これがデスティネーションロケーションになります)。
FSx for ONTAP 環境で複数のプロトコルを使用している場合は、 AWS ストレージスペシャリストと連携することをお勧めします。マルチプロトコルアクセスのベストプラクティスについては、「[Amazon FSx for NetApp ONTAP によるマルチプロトコルワークロードの有効化](https://aws.amazon.com/blogs/storage/enabling-multiprotocol-workloads-with-amazon-fsx-for-netapp-ontap/)」を参照してください。
### SnapLock ボリュームへのアクセス
FSx for ONTAP ファイルシステムの [SnapLock ボリューム](https://docs.aws.amazon.com/fsx/latest/ONTAPGuide/snaplock.html)にデータを転送する場合は、転送中にボリュームで SnapLock 設定の**[自動コミット]** モードと **[ボリューム付加]** モードが無効になっていることを確認します。データ転送の完了後にこれらの設定を再度有効にすることができます。
## FSx for ONTAP Transfer ロケーションの作成
場所を作成するには、既存の FSx for ONTAP ファイルシステムが必要です。まだお持ちでない場合は、「*Amazon FSx for NetApp ONTAP ユーザーガイド*」の「[Amazon FSx for NetApp ONTAP 入門](https://docs.aws.amazon.com/fsx/latest/ONTAPGuide/getting-started.html)」を参照してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[ロケーションタイプ]** で **[Amazon FSx]** を選択します。
後でこのロケーションを送信元あるいは送信先として設定します。
1. **FSx ファイルシステム**の場合は、場所として使用する FSx for ONTAP ファイルシステムを選択します。
1. **Storage virtual machineで**、データのコピーのやり取りをするファイルシステム上のストレージ仮想マシン (SVM) を選択します。
1. **[マウントパス]** に、データをコピーする SVM 内のファイル共有へのパスを指定します。
ジャンクションパス (マウントポイントとも呼ばれます)、qtree パス (NFS ファイル共有用)、または共有名 (SMB ファイル共有用) を指定できます。例えば、マウントパスは `/vol1`、`/vol1/tree1`、または `/share1` かもしれません。
**ヒント**
SVM のルートボリューム内のパスは指定しないでください。詳細については、「*Amazon FSx for NetApp ONTAP ユーザーガイド*」の「[FSx for ONTAP ストレージ仮想マシンの管理](https://docs.aws.amazon.com/fsx/latest/ONTAPGuide/managing-svms.html)」を参照してください。
1. **セキュリティグループ**では、ファイルシステムの優先サブネットへのアクセスを提供する Amazon EC2 セキュリティグループを5つまで選択します。
次のポートでアウトバウンドトラフィックを許可するようにセキュリティグループを設定する必要があります (使用しているプロトコルによって異なります)。
+ **NFS** — TCP ポート 111、635、2049
+ **SMB** — TCP ポート445
ファイルシステムのセキュリティグループは、同じポートでのインバウンドトラフィックも許可する必要があります。
1. **Protocol** で、DataSync がファイルシステムの SVM にアクセスするために使用するデータ転送プロトコルを選択します。
詳細については、「[適切なプロトコルを選択する](#create-ontap-location-choosing-protocol)」を参照してください。
------
#### [ NFS ]
DataSync は NFS バージョン 3 を使用します。
------
#### [ SMB ]
SVM にアクセスするために SMB バージョン、ユーザー、パスワード、および Active Directory ドメイン名 (必要な場合) を設定します。
+ (オプション) [**その他の設定**] を展開して、DataSync が SVM にアクセスするときに使用する **SMB バージョン**を選択します。
デフォルトでは、DataSync は SMB サーバーとのネゴシエーションに基づいて自動的にバージョンを選択します。詳細については、「[SMB プロトコルの使用](#create-ontap-location-smb)」を参照してください。
+ **[ユーザー]** には、SVM で転送するファイル、フォルダ、メタデータをマウントしてアクセスできるユーザー名を入力します。
詳細については、「[SMB プロトコルの使用](#create-ontap-location-smb)」を参照してください。
+ **[パスワード]** には、SVM にアクセスできる指定したユーザーのパスワードを入力します。
+ (オプション) **[Active Directoryのドメイン名]** に、SVM が属する Active Directory の完全修飾ドメイン名 (FQDN) を入力します。
環境内に複数のドメインがある場合、この設定を構成すると、DataSync が正しい SVM に接続されるようになります。
------
1. (オプション) **[キー]** と **[値]** に値を入力して、EFS ファイルシステムにタグを付けます。
タグは、 AWS リソースの管理、フィルタリング、検索に役立ちます。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
**を使用して FSx for ONTAP の場所を作成するには AWS CLI**
1. 次の `create-location-fsx-ontap` コマンドをコピーします。
```
aws datasync create-location-fsx-ontap \
--storage-virtual-machine-arn arn:aws:fsx:region:account-id:storage-virtual-machine/fs-file-system-id \
--security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
--protocol data-transfer-protocol={}
```
1. コマンドに以下の必須パラメータを指定します。
+ `storage-virtual-machine-arn` には、データのコピーのやり取りをするファイルシステム上のストレージ仮想化マシン (SVM) の完全修飾 Amazon リソースネーム (ARN)を指定します。
この ARN には、ファイルシステムが存在する AWS リージョン 、 AWS アカウント、ファイルシステムと SVM IDs。
+ `security-group-arns` には、[ファイルシステムの優先サブネットのネットワークインターフェイス](required-network-interfaces.md)へのアクセスを提供する Amazon EC2 セキュリティグループの ARN を指定します。
これには、Amazon EC2 AWS リージョン インスタンスが存在する 、 AWS アカウント、およびセキュリティグループ IDs。セキュリティグループ ARN は最大 5 つまで指定できます。
セキュリティグループの詳細については、「*Amazon FSx for NetApp ONTAP ユーザーガイド*」の「[File system access control with Amazon VPC](https://docs.aws.amazon.com/fsx/latest/ONTAPGuide/limit-access-security-groups.html)」を参照してください。
+ `protocol` には、DataSync がファイルシステム上の SVM にアクセスするために使用するプロトコルを指定します。
+ NFS には、次のデフォルト構成を使用できます。
`--protocol NFS={}`
+ SMB には、SVM にアクセスできるユーザー名とパスワードを指定する必要があります。
`--protocol SMB={User=smb-user,Password=smb-password}`
1. コマンドを実行します。
先ほど作成した場所を示す応答が表示されます。
```
{
"LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890"
}
```
# を使用した他のクラウドストレージとの間の転送 AWS DataSync
を使用すると AWS DataSync、他のクラウドプロバイダーと AWS ストレージサービス間でデータを転送できます。詳細については、「[Where can I transfer my data with DataSync?](working-with-locations.md)」を参照してください。
**Topics**
+ [サードパーティーのクラウドストレージシステムとの間の転送を計画する](third-party-cloud-transfer-considerations.md)
+ [Google Cloud Storage を使用した AWS DataSync 転送の設定](tutorial_transfer-google-cloud-storage.md)
+ [Microsoft Azure Blob Storage を使用した転送の設定](creating-azure-blob-location.md)
+ [SMB Microsoft Azure Files 共有を使用した AWS DataSync 転送の設定](transferring-azure-files.md)
+ [他のクラウドオブジェクトストレージでの転送の設定](creating-other-cloud-object-location.md)
# サードパーティーのクラウドストレージシステムとの間の転送を計画する
クラウド間のデータ転送を計画するときは、次の点を考慮してください。
+ **エージェントの使用:** エージェントは、基本モードタスクを使用する場合にのみ、他のクラウドのストレージにアクセスする必要があります。[拡張モードタスク](https://docs.aws.amazon.com/datasync/latest/userguide/choosing-task-mode.html)にはエージェントは必要ありません。エージェントを使用する場合は、クラウドプロバイダーの S3 互換オブジェクトストレージから転送するときに [Amazon EC2 インスタンス](https://docs.aws.amazon.com/datasync/latest/userguide/deploy-agents.html#ec2-deploy-agent)としてデプロイするか、それらの特定のストレージサービスからの転送用に Google Compute Engine や Azure 仮想マシンとしてデプロイできます。Google や Azure のファイルシステムから転送する場合は、エージェントを Google または Azure VM としてデプロイし、可能な限りファイルシステムの近くに配置することをお勧めします。さらに、DataSync はエージェントから にデータを圧縮するため AWS、エグレスコストを削減できます。DataSync は、必要な [Amazon S3 API の互換性](https://docs.aws.amazon.com/datasync/latest/userguide/creating-other-cloud-object-location.html#other-cloud-access)を提供する[検証済みのクラウドロケーション](https://docs.aws.amazon.com/datasync/latest/userguide/creating-other-cloud-object-location.html)のリストを提供します。
+ **もう 1 つのクラウドのオブジェクトストレージエンドポイント:** サードパーティーのクラウドプロバイダーのストレージエンドポイントは通常、リージョンまたはアカウント固有です。リージョンエンドポイントは、DataSync オブジェクトストレージロケーションのサーバーとして、指定されたバケット名とともに使用されます。
+ **ソースオブジェクトのストレージクラス:** Amazon S3 と同様に、一部のクラウドプロバイダーは、アーカイブされたオブジェクトにアクセスする前に復元を必要とするアーカイブ階層をサポートしています。例えば、Azure Blob のアーカイブ階層内のオブジェクトは、データ転送前に標準アクセスで取得する必要があります。Google Cloud Storage のアーカイブ階層内のオブジェクトにはすぐにアクセスでき、復元は必要ありませんが、アーカイブ階層への直接アクセスに関連する取得コストがかかります。データ転送を開始する前に、クロスクラウドストレージクラスのドキュメントを確認して、アクセス要件と取得料金を確認してください。Amazon S3 でアーカイブされたオブジェクトを復元する方法の詳細については、「*Amazon Simple Storage Service ユーザーガイド*」の「[アーカイブされたオブジェクトの復元](https://docs.aws.amazon.com/AmazonS3/latest/userguide/restoring-objects.html)」を参照してください。
+ **オブジェクトストレージアクセス:** サードパーティーのクラウドプロバイダー間でデータを転送するには、認証キーの形式で他のクラウドのオブジェクトストレージにアクセスする必要があります。例えば、Google Cloud Storage へのアクセスを提供するには、[Google Cloud Storage XML API](https://cloud.google.com/storage/docs/xml-api/overview) に接続し、サービスアカウントの [Hash-based Message Authentication Code (HMAC) キー](https://docs.aws.amazon.com/datasync/latest/userguide/tutorial_transfer-google-cloud-storage.html#transfer-google-cloud-storage-create-hmac-key)を使用して認証する DataSync オブジェクトストレージロケーションを設定します。Azure Blob ストレージの場合は、[SAS トークン](https://docs.aws.amazon.com/datasync/latest/userguide/creating-azure-blob-location.html#azure-blob-access)を使用して認証する専用の [Azure Blob DataSync ロケーション](https://docs.aws.amazon.com/datasync/latest/userguide/creating-azure-blob-location.html#creating-azure-blob-location-how-to)を設定します。DataSync は AWS Secrets Manager を使用してオブジェクトストレージ認証情報を安全に保存します。詳細については、「[Securing storage location credentials with Secrets Manager](https://docs.aws.amazon.com/datasync/latest/userguide/location-credentials.html)」を参照してください。
+ **オブジェクトタグのサポート:**
+ Amazon S3 と異なり、すべてのクラウドプロバイダーが[オブジェクトタグ](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-tagging.html)をサポートしているわけではありません。クラウドプロバイダーが Amazon S3 API を介してオブジェクトタグをサポートしていない場合、または指定された認証情報がタグの取得に不十分な場合、DataSync タスクはソースロケーションからタグを読み取ろうとして失敗する可能性があります。DataSync には、オブジェクトタグがサポートされていない場合、またはタグを保持したくない場合に、転送中の[オブジェクトタグの読み取りとコピー](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-ObjectTags)をオフにするタスクオプションが用意されています。クラウドプロバイダーのドキュメントを確認して、オブジェクトタグがサポートされているかどうかを確認し、転送を開始する前に転送タスクのオブジェクトタグの設定を確認してください。
+ Amazon S3 API を使用して、クラウドプロバイダーが `get-object-tagging` リクエストを返すかどうかを確認できます。詳細については、「*AWS CLI Command Reference*」の「[get-object-tagging](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/s3api/get-object-tagging.html)」を参照してください。
オブジェクトタグをサポートするクラウドプロバイダーは、次の例のようなレスポンスを返します。
```
aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
{
"TagSet": []
}
```
`get-object-tagging` をサポートしていないクラウドプロバイダーは、次のメッセージを返します。
```
aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource
```
+ **リクエストとデータエグレスの関連コスト:** クラウドオブジェクトストレージからのデータ転送には、データの読み取りとデータ転送に関連する[リクエストとエグレスのコスト](https://docs.aws.amazon.com/datasync/latest/userguide/creating-other-cloud-object-location.html#other-cloud-considerations-costs)がかかります。リクエスト料金は、クラウドプロバイダー (該当する場合はストレージクラス) によって異なります。読み取り元のストレージクラスに関連するリクエストの具体的なコストについては、クラウドプロバイダーのドキュメントを参照してください。DataSync がデータ転送に関して行うリクエストの料金の概要については、「[Evaluating S3 request costs when using DataSync](https://docs.aws.amazon.com/datasync/latest/userguide/create-s3-location.html#create-s3-location-s3-requests)」と「[AWS DataSync の料金](https://aws.amazon.com/datasync/pricing/)」を参照してください。特定のクラウドプロバイダーからデータを転送すると、エグレス料金が発生します。データ転送コストはクラウドプロバイダーによって異なり、データが保存されているリージョンにも依存します。
+ **オブジェクトストレージのリクエストレート:** クラウドプロバイダーが提供するオブジェクトストレージプラットフォームには、さまざまなパフォーマンスとリクエストレートの特性があります。他のクラウドプロバイダーのリクエストレートを確認し、リクエスト制限が適用されるロケーションを特定してください。また、複数のエージェントで構成される高度に並列化された転送を事前に計画してください。その際、特定のパーティショニングやパフォーマンスの向上が必要になる場合があります。
Amazon S3 のリクエストレートは文書化されているため、それに基づいてソリューションを構築できます。Amazon S3 のリクエストレートはパーティションプレフィックスごとに設定されており、複数のプレフィックスにまたがるスケーラビリティを備えています。詳細については、「*Amazon S3 ユーザーガイド*」の「[設計パターンのベストプラクティス: Amazon S3 のパフォーマンスの最適化](https://docs.aws.amazon.com/AmazonS3/latest/userguide/optimizing-performance.html)」を参照してください。
# Google Cloud Storage を使用した AWS DataSync 転送の設定
を使用すると AWS DataSync、Google Cloud Storage と次の AWS ストレージサービス間でデータを転送できます。
+ Amazon S3
+ Amazon EFS
+ Amazon FSx for Windows File Server
+ Amazon FSx for Lustre
+ Amazon FSx for OpenZFS
+ Amazon FSx for NetApp ONTAP
転送設定を開始するには、Google Cloud Storage の場所を作成します。この場所は送信元または送信先として使用できます。DataSync エージェントは、Google Cloud Storage と Amazon EFS または Amazon FSx の間でデータを転送する場合、または**基本モード**タスクを使用する場合にのみ必要です。Google Cloud Storage と Amazon S3 間の**拡張モード**のデータ転送には、エージェントは必要ありません。
**注記**
Google Cloud Storage と 間のプライベートクラウド接続の場合は AWS、エージェントでベーシックモードを使用します。
## 概要:
DataSync は、データ転送に [Google Cloud Storage XML API](https://cloud.google.com/storage/docs/xml-api/overview) を使用します。この API は、Google Cloud Storage バケットでデータを読み書きするための Amazon S3 互換インターフェイスを提供します。
転送に基本モードを使用する場合、Google Cloud Storage または Amazon VPC にエージェントをデプロイできます。
------
#### [ Agent in Google Cloud ]
1. Google クラウド環境に DataSync エージェントをデプロイします。
1. エージェントは、Hash-based Message Authentication Code (HMAC) キーを使用して Google クラウドストレージバケットを読み取ります。
1. Google Cloud Storage バケットからのオブジェクトは、パブリックエンドポイント AWS クラウド を使用して TLS 1.3 を介して に安全に転送されます。
1. DataSync サービスによって S3 バケットにデータが書き込まれます。
以下の図は 転送について解説しています。
![\[DataSync 転送の例は、オブジェクトデータが Google クラウドストレージバケットから S3 バケットにどのように転送するかを示しています。まず、DataSync エージェントを Google クラウド環境にデプロイします。次に、DataSync エージェントは Google クラウドストレージバケットを読み取ります。データはパブリックエンドポイントを介して に安全に移動し AWS、DataSync は DataSync を使用している AWS リージョン のと同じ の S3 DataSync バケットにオブジェクトを書き込みます。\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/images/diagram-transfer-google-cloud-storage-public.png)
------
#### [ Agent in your VPC ]
1. DataSync エージェントを、 AWS 環境内の仮想プライベートクラウド (VPC) にデプロイします。
1. エージェントは、Hash-based Message Authentication Code (HMAC) キーを使用して Google クラウドストレージバケットを読み取ります。
1. Google Cloud Storage バケットからのオブジェクトは、プライベート VPC エンドポイント AWS クラウド を使用して TLS 1.3 を介して に安全に転送されます。
1. DataSync サービスによって S3 バケットにデータが書き込まれます。
以下の図は 転送について解説しています。
![\[DataSync 転送の例は、オブジェクトデータが Google クラウドストレージバケットから S3 バケットにどのように転送するかを示しています。まず、DataSync エージェントは AWSの VPC にデプロイされます。次に、DataSync エージェントは Google クラウドストレージバケットを読み取ります。データは VPC エンドポイントを介して に安全に移動し AWS、DataSync は VPC AWS リージョン と同じ 内の S3 バケットにオブジェクトを書き込みます。\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/images/diagram-transfer-google-cloud-storage.png)
------
## コスト
この移行に関連する料金には以下が含まれます。
+ Google [コンピューティングエンジン](https://cloud.google.com/compute/all-pricing) 仮想マシン (VM) インスタンスの実行 (Google クラウドに DataSync エージェントをデプロイする場合)
+ [Amazon EC2](https://aws.amazon.com/ec2/pricing/) インスタンスの実行 ( AWS内の VPC に DataSync エージェントをデプロイする場合)
+ [DataSync](https://aws.amazon.com/datasync/pricing/) を使用してデータを転送します ([Google クラウドストレージ](https://cloud.google.com/storage/pricing)と [Amazon S3](create-s3-location.md#create-s3-location-s3-requests) に関連するリクエスト料金を含む)(S3 が転送先の場合)
+ [Google クラウドストレージ](https://cloud.google.com/storage/pricing)からのデータ転送
+ [Amazon S3](https://aws.amazon.com/s3/pricing/) へのデータの保存
## 前提条件
開始する前に、まだ行っていない場合は、以下を実行します。
+ AWSに転送したいオブジェクトを含む [Google クラウドストレージバケットを作成します](https://cloud.google.com/storage/docs/creating-buckets)。
+ [AWS アカウントにサインアップします](https://portal.aws.amazon.com/billing/signup)。
+ オブジェクトが AWSに入った後に保存するための [Amazon S3 バケットを作成します](https://docs.aws.amazon.com/AmazonS3/latest/userguide/create-bucket-overview.html)。
## Google クラウドストレージバケット用の HMAC キーを作成します。
DataSync は、Google サービスアカウントに関連付けられた HMAC キーを使用して、データ転送元のバケットを認証して読み取ります。(HMAC キーの作成方法の詳細については、「[Google クラウドストレージのドキュメント](https://cloud.google.com/storage/docs/authentication/hmackeys)」を参照してください。)
**HMAC キーを作成するには**
1. Google サービスアカウント用の HMAC キーを作成します。
1. Google サービスアカウントに少なくとも `Storage Object Viewer` のアクセス許可があることを確認してください。
1. HMAC キーのアクセス ID とシークレットは安全な場所に保存します。
これらのアイテムは、後で DataSync ソースの場所を設定する際に必要になります。
## ステップ 2: ネットワークの構成
ネットワーク設定は、転送で DataSync エージェントを使用する場合にのみ必要です。この移行のネットワーク要件は、エージェントをどのようにデプロイするかによって異なります。
### Google クラウド DataSync エージェントの場合
DataSync エージェントを Google クラウドでホストする場合は、[パブリックエンドポイント経由の DataSync 転送を許可する](datasync-network.md#using-public-endpoints)ようにネットワークを構成します。
### VPC DataSync エージェントの場合
でエージェントをホストする場合は AWS、インターフェイスエンドポイントを持つ VPC が必要です。DataSync は VPC エンドポイントを使用して転送を容易にします。
**VPC エンドポイント用にネットワークを構成するには**
1. 持っていない場合は、S3 バケット AWS リージョン と同じ に [VPC を作成します](https://docs.aws.amazon.com/vpc/latest/userguide/working-with-vpcs.html#Create-VPC)。
1. [VPC のプライベートサブネットを作成します](https://docs.aws.amazon.com/vpc/latest/userguide/create-subnets.html)。
1. DataSync の [VPC サービスエンドポイントを作成します](https://docs.aws.amazon.com/vpc/latest/privatelink/create-interface-endpoint.html)。
1. [VPC サービスエンドポイント経由で転送するのを DataSync に許可する](datasync-network.md#using-vpc-endpoint)ようにネットワークを設定します。
これを行うには、VPC サービスエンドポイントに関連付けられている[セキュリティグループ](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-security-groups.html)を変更します。
## ステップ 3: DataSync エージェントの作成 (オプション)
DataSync エージェントは、**基本**モードタスクを使用する場合にのみ必要です。**拡張**モードを使用して Google Cloud Storage (GCS) と Amazon S3 間で転送する場合、エージェントは必要ありません。**基本**モードを使用する場合は、GCS バケットにアクセスできる DataSync エージェントが必要です。
### Google クラウドの場合
このシナリオでは、DataSync エージェントは Google Cloud 環境で実行されます。
**始める前に**：[Google クラウド CLI をインストールしてください](https://cloud.google.com/sdk/docs/install)。
**Google クラウド 用のエージェントを作成するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインから、**[エージェント]** を選択し、**[エージェントの作成]** を選択します。
1. **[ハイパーバイザー]** で、**[VMware ESXi]** を選択し、**[イメージのダウンロードする]** を選択して、エージェントを含む `.zip` ファイルをダウンロードします。
1. ターミナルを開きます。次のコマンドを実行して、イメージを解凍します。
```
unzip AWS-DataSync-Agent-VMWare.zip
```
1. 以下のコマンドを実行して、`aws-datasync` で始まるエージェントの `.ova` ファイルの内容を抽出します。
```
tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova
```
1. 次の Google クラウド CLI コマンドを実行して、エージェントの `.vmdk` ファイルを Google クラウドにインポートします。
```
gcloud compute images import aws-datasync-2-test \
--source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
--os centos-7
```
**注記**
`.vmdk` ファイルのインポートには最長で 2 時間かかることがあります。
1. インポートしたエージェントイメージの VM インスタンスを作成して起動します。
インスタンスには、エージェント用に以下の設定が必要です。(インスタンスを作成する方法の詳細については、「[Google クラウドコンピューティングエンジンのドキュメント](https://cloud.google.com/compute/docs/instances)」を参照してください。)
+ マシンタイプで、以下のいずれかを選択します。
+ **e2-standard-8**：最大 2,000 万個のオブジェクトを扱う DataSync タスク実行用。
+ **e2-standard-16**：2,000 万個を超えるオブジェクトを扱う DataSync タスク実行用。
+ ブートディスクの設定については、カスタムイメージセクションを参照してください。次に、インポートした DataSync エージェントイメージを選択します。
+ サービスアカウントの設定では、Google サービスアカウント ([ステップ 1](#transfer-google-cloud-storage-create-hmac-key) で使用したのと同じアカウント) を選択します。
+ ファイアウォール設定では、HTTP (ポート 80)トラフィックを許可するオプションを選択します。
DataSync エージェントをアクティブ化するには、エージェントのポート 80 が開いている必要があります。ポートがパブリックにアクセス可能である必要はありません。アクティブ化されると、DataSync はポートを閉じます。
1. VM インスタンスを実行したら、パブリック IP アドレスを書き留めておきます。
この IP アドレスは、エージェントをアクティブ化するために必要です。
1. DataSync コンソールに戻ります。エージェントイメージをダウンロードした **[エージェントの作成]** 画面で、次の操作を行ってエージェントをアクティブ化します。
+ **[エンドポイントタイプ]** には、パブリックサービスエンドポイントのオプション (たとえば、**米国東部(オハイオ)のパブリックサービスエンドポイント**) を選択します。
+ **[アクティベーションキー]** には、**[エージェントからアクティベーションキーを自動的に取得]** を選択します。
+ **[エージェントアドレス]** には、作成したエージェント VM インスタンスのパブリック IP アドレスを入力します。
+ **[キーを取得]** を選択します。
1. エージェントに名前を付けて、**[エージェントを作成]** を選択します。
エージェントはオンラインであり、データを転送する準備ができています。
### VPC の場合
このシナリオでは、エージェントは に関連付けられている VPC 内の Amazon EC2 インスタンスとして実行されます AWS アカウント。
**始める前に**：[AWS Command Line Interface (AWS CLI) を設定します](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html)。
**VPC のエージェントを作成するには**
1. ターミナルを開きます。S3 バケットに関連付けられているアカウントを使用するように AWS CLI プロファイルを設定してください。
1. 次の コマンドをコピーします。`vpc-region` を VPC が存在する AWS リージョン (たとえば `us-east-1`) に置き換えてください。
```
aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region
```
1. コマンドを実行します。出力内の `"Value"` プロパティをメモしておきます。
この値は、指定したリージョンの DataSync Amazon マシンイメージ (AMI) ID です。たとえば、AMI ID は `ami-1234567890abcdef0` のようになります。
1. 以下の URL をコピーします。再度、`vpc-region` を VPC が存在する AWS リージョン に置き換えてください。その後 `ami-id` を、以前のステップで書き留めた AMI ID に置き換えます。
```
https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id
```
1. ブラウザに URL を貼り付けます。
の Amazon EC2 インスタンス起動ページ AWS マネジメントコンソール が表示されます。
1. **[インスタンスタイプ]** で、[[DataSync エージェントに推奨される Amazon EC2 インスタンス]](agent-requirements.md#ec2-instance-types) を選択します。
1. **[キーペア]** で、既存のキーペアを選択するか、新しいキーペアを作成します。
1. **[ネットワーク設定]** で、エージェントをデプロイする VPC とサブネットを選択します。
1. **[インスタンスを起動]** を選択します。
1. Amazon EC2 インスタンスが実行を開始したら、[VPC エンドポイントを選択します](choose-service-endpoint.md#datasync-in-vpc)。
1. [エージェントをアクティブ化します](activate-agent.md)。
## ステップ 4：Google クラウドストレージバケットの DataSync ソース場所を作成します
Google クラウドストレージバケットに DataSync の場所を設定するには、[ステップ 1](#transfer-google-cloud-storage-create-hmac-key) で作成した HMAC キーのアクセス ID とシークレットが必要です。
**DataSync ソース場所を作成するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、[場所] と **[場所を作成する]** を選択します。
1. **場所タイプ**で、**オブジェクトストレージ**を選択します。
1. **[サーバー]** には、**storage.googleapis.com** と入力します。
1. **[バケット名]** には、Google クラウドストレージバケットの名前を入力します。
1. **[フォルダ]** には、オブジェクトプレフィックスを入力します。
DataSync は、このプレフィックスを持つオブジェクトのみをコピーします。
1. 転送にエージェントが必要な場合は、**[エージェントを使用する]** を選択し、[ステップ 3](#transfer-google-cloud-storage-create-agent) で作成したエージェントを選択します。
1. **[追加の設定]** を展開します。**[サーバープロトコル]** で **[HTTPS]** を選択します。**[サーバーポート]** には **[443]** を選択します。
1. **[認証]** セクションまでにスクロールします。**[認証情報が必要です]** チェックボックスが選択されていることを確認し、次の操作を行います。
+ **[アクセスキー]** で、HMAC キーのアクセス ID を入力します。
+ **シークレットキー**の場合は、HMAC キーのシークレットキーを直接入力するか、キーを含む シーク AWS Secrets Manager レットを指定します。詳細については、「[Providing credentials for storage locations](https://docs.aws.amazon.com/datasync/latest/userguide/location-credentials.html)」を参照してください。
1. **[ロケーションを作成]** を選択します。
## ステップ 5：S3 バケットの DataSync 転送先の場所を作成します
データを保存したい場所には、DataSync の場所が必要です。
**DataSync 転送先の場所を作成するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. [S3 バケット用の DataSync 場所を作成します](create-s3-location.md)。
DataSync エージェントを VPC にデプロイした場合、このチュートリアルでは、S3 バケットが VPC および DataSync エージェント AWS リージョン と同じ にあることを前提としています。
## ステップ 6：DataSync タスクを作成して開始します
送信元と送信先の場所を設定すると、データの移動を開始できます AWS。
**DataSync タスクを作成して開始するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. **[ソースの場所の構成]** ページで、次の作業を行います。
1. **[既存の場所を選択]** を選択します。
1. [ステップ 4](#transfer-google-cloud-storage-create-source) で作成したソース場所を選択し、**[次へ]** を選択します。
1. **[転送先の場所の構成]** ページで、次の作業を行います。
1. **[既存の場所を選択]** を選択します。
1. [ステップ 5](#transfer-google-cloud-storage-create-destination) で作成した転送先の場所を選択し、**[次へ]** を選択します。
1. **[設定の構成]** ページで、次の操作を行います。
1. **[データ転送設定]** で **[その他の設定]** を展開し、**[オブジェクトタグのコピー]** チェックボックスをオフにします。
**重要**
Google Cloud Storage XML API はオブジェクトタグの読み取りまたは書き込みをサポートしていないため、オブジェクトタグをコピーしようとすると DataSync タスクが失敗する可能性があります。
1. 必要なその他のタスク設定を構成し、**[次へ]** を選択します。
1. **[レビュー]** ページで、設定を確認し、**[タスクを作成]** を選択します。
1. タスクの詳細ページで、**[開始]** を選択し、次のいずれかを選択します。
+ 変更せずにタスクを実行するには、**[デフォルトで開始]** を選択します
+ 実行前にタスクを変更するには、**[優先オプションで開始]** を選択します。
タスクが完了すると、Google クラウドストレージバケットのオブジェクトが S3 バケットに表示されます。
# Microsoft Azure Blob Storage を使用した転送の設定
を使用すると AWS DataSync、 Microsoft Azure Blob Storage (BLOB ストレージを含む) Azure Data Lake Storage Gen2 と次の AWS ストレージサービスとの間でデータを転送できます。
+ [Amazon S3](create-s3-location.md)
+ [Amazon EFS](create-efs-location.md)
+ [Amazon FSx for Windows File Server](create-fsx-location.md)
+ [Amazon FSx for Lustre](create-lustre-location.md)
+ [Amazon FSx for OpenZFS](create-openzfs-location.md)
+ [Amazon FSx for NetApp ONTAP](create-ontap-location.md)
このような転送を設定するには、Azure Blob Storage に[場所](how-datasync-transfer-works.md#sync-locations)を作成する必要があります。このロケーションは送信元または送信先として使用できます。DataSync エージェントは、Azure Blob と Amazon EFS または Amazon FSx の間でデータを転送する場合、または**基本**モードタスクを使用する場合にのみ必要です。**拡張**モードを使用して Azure Blob と Amazon S3 の間でデータを転送する場合はエージェントは必要ありません。
## Azure Blob Storage への DataSync アクセスの提供
DataSync が Azure Blob Storage にアクセスする方法は、Blob Storage に転送するか、Blob Storage から転送するか、使用する[共有アクセス署名 (SAS) トークンの種類など](#azure-blob-sas-tokens)、いくつかの要因によって異なります。また、オブジェクトは DataSync が処理できる[アクセス層](#azure-blob-access-tiers)にある必要があります。
**Topics**
+ [SAS トークン](#azure-blob-sas-tokens)
+ [アクセス層](#azure-blob-access-tiers)
### SAS トークン
SAS トークンは Blob ストレージのアクセス許可を指定します。(SAS の詳細については、「[Azure Blob Storageドキュメンテーション](https://learn.microsoft.com/azure/storage/common/storage-sas-overview)」を参照してください。
SAS トークンを生成して、さまざまなレベルのアクセスを提供できます。DataSync は、以下のアクセスレベルのトークンをサポートします。
+ アカウント
+ コンテナ
DataSync に必要なアクセス権限は、トークンの範囲によって異なります。適切なアクセス許可がないと、転送が失敗する可能性があります。たとえば、タグ付きのオブジェクトを Azure Blob Storage に移動しようとしても、SAS トークンにタグ権限がない場合、転送は成功しません。
**Topics**
+ [アカウントレベルのアクセスのための SAS トークンアクセス許可](#account-sas-tokens)
+ [SAS トークンのコンテナレベルのアクセス許可](#container-sas-tokens)
+ [SAS 有効期限ポリシー](#azure-blob-sas-expiration-policies)
#### アカウントレベルのアクセスのための SAS トークンアクセス許可
DataSync には、以下の権限を持つアカウントレベルのアクセストークンが必要です (Azure Blob Storage に、またから転送するかどうかによって異なります)。
------
#### [ Transfers from blob storage ]
+ **許可されたサービス** — Blob
+ **許可されるリソースタイプ**：コンテナ、オブジェクト
これらの権限を含めないと、DataSync は[オブジェクトタグ](#azure-blob-considerations-object-tags)を含むオブジェクトメタデータを転送できません。
+ **許可されるアクセス許可**：読み取り、一覧表示
+ **許可される BLOB インデックス権限** — 読み取り/書き込み (DataSync に[オブジェクトタグ](#azure-blob-considerations-object-tags)をコピーさせたい場合)
------
#### [ Transfers to blob storage ]
+ **許可されたサービス** — Blob
+ **許可されるリソースタイプ**：コンテナ、オブジェクト
これらの権限を含めないと、DataSync は[オブジェクトタグ](#azure-blob-considerations-object-tags)を含むオブジェクトメタデータを転送できません。
+ **許可される権限** — 読み取り、書き込み、一覧表示、削除 (DataSync に転送元にないファイルを削除させたい場合)
+ **許可される BLOB インデックス権限** — 読み取り/書き込み (DataSync に[オブジェクトタグ](#azure-blob-considerations-object-tags)をコピーさせたい場合)
------
#### SAS トークンのコンテナレベルのアクセス許可
DataSync には、以下の権限を持つコンテナレベルのアクセストークンが必要です (Azure Blob Storage に、またから転送するかどうかによって異なります)。
------
#### [ Transfers from blob storage ]
+ 読み取り
+ リスト
+ タグ (DataSync に[オブジェクトタグ](#azure-blob-considerations-object-tags)をコピーさせたい場合)
**注記**
Azure ポータルで SAS トークンを生成するときに、タグ権限を追加することはできません。タグ権限を追加するには、代わりに [https://learn.microsoft.com/en-us/azure/vs-azure-tools-storage-manage-with-storage-explorer](https://learn.microsoft.com/en-us/azure/vs-azure-tools-storage-manage-with-storage-explorer) アプリを使用してトークンを生成するか、[アカウントレベルのアクセスを提供する SAS トークン](#account-sas-tokens)を生成します。
------
#### [ Transfers to blob storage ]
+ 読み込み
+ 書き込み
+ リスト
+ 削除 (DataSync に転送元にないファイルを削除させたい場合)
+ タグ (DataSync に[オブジェクトタグ](#azure-blob-considerations-object-tags)をコピーさせたい場合)
**注記**
Azure ポータルで SAS トークンを生成するときに、タグ権限を追加することはできません。タグ権限を追加するには、代わりに [https://learn.microsoft.com/en-us/azure/vs-azure-tools-storage-manage-with-storage-explorer](https://learn.microsoft.com/en-us/azure/vs-azure-tools-storage-manage-with-storage-explorer) アプリを使用してトークンを生成するか、[アカウントレベルのアクセスを提供する SAS トークン](#account-sas-tokens)を生成します。
------
#### SAS 有効期限ポリシー
転送が完了する前に SAS の有効期限が切れないように注意してください。SAS 有効期限ポリシーの構成の詳細については、「[Azure Blob Storageドキュメント](https://learn.microsoft.com/en-us/azure/storage/common/sas-expiration-policy)」を参照してください。
転送中に SAS の有効期限が切れる場合、DataSync は Azure Blob Storage 場所にアクセスできなくなります。(「ディレクトリを開くことができませんでした」というエラーが表示される場合があります)。このような場合は、新しい SAS トークンで[ロケーションを更新](#azure-blob-update-location)し、DataSync タスクを再開してください。
### アクセス層
Azure Blob Storage からの転送時に、DataSync はホット層とクール層のオブジェクトをコピーすることができます。アーカイブアクセス層のオブジェクトについては、コピーする前にホット層またはクール層にこれらのオブジェクトをリハイドレートする必要があります。
Azure Blob Storage への転送時に、DataSync はオブジェクトをホット、クール、アーカイブのアクセス層にコピーすることができます。オブジェクトをアーカイブアクセス層にコピーする場合、[コピー先のすべてのデータを検証](configure-data-verification-options.md)しようとしても、DataSync は転送を検証することができません。
DataSync はコールドアクセス層をサポートしていません。各アクセス層の詳細については、「[Azure Blob Storageドキュメント](https://learn.microsoft.com/en-us/azure/storage/blobs/access-tiers-overview?tabs=azure-portal)」を参照してください。
## Azure Blob Storage 転送に関する考慮事項
DataSync で Azure Blob Storage とのデータ転送を計画している場合、注意すべき点がいくつかあります。
**Topics**
+ [コスト](#azure-blob-considerations-costs)
+ [BLOB 型](#blob-types)
+ [AWS リージョン 可用性](#azure-blob-considerations-regions)
+ [オブジェクトタグのコピー](#azure-blob-considerations-object-tags)
+ [Amazon S3 への転送](#azure-blob-considerations-s3)
+ [転送先のディレクトリの削除](#azure-blob-considerations-deleted-files)
+ [制限事項](#azure-blob-limitations)
### コスト
Azure Blob Storage へ、またからデータを移動することによる料金には、次のようなものがあります。
+ [Azure 仮想マシン (VM)](https://azure.microsoft.com/en-us/pricing/details/virtual-machines/linux/) の実行 (DataSync エージェントを Azure にデプロイする場合)
+ [Amazon EC2](https://aws.amazon.com/ec2/pricing/) インスタンスの実行 ( AWS内の VPC に DataSync エージェントをデプロイする場合)
+ [DataSync](https://aws.amazon.com/datasync/pricing/) を使用したデータ転送 ([https://azure.microsoft.com/en-us/pricing/details/storage/blobs/](https://azure.microsoft.com/en-us/pricing/details/storage/blobs/) と [Amazon S3](create-s3-location.md#create-s3-location-s3-requests) に関連するリクエスト料金を含む) (S3 が転送場所の 1 つである場合)
+ [https://azure.microsoft.com/en-us/pricing/details/storage/blobs/](https://azure.microsoft.com/en-us/pricing/details/storage/blobs/) へ、またはからデータを転送すること
+ DataSync がサポートする [AWS ストレージサービス](working-with-locations.md)へのデータの保存
### BLOB 型
DataSync が BLOB 型でどのように機能するかは、Azure Blob Storage が転送先か転送元かによって異なります。データを BLOB ストレージに移動する場合、DataSync が転送するオブジェクトまたはファイルはブロック BLOB のみです。BLOB ストレージからデータを移動する場合、DataSync はブロック、ページ、および追加 BLOB を転送できます。
BLOB 型の詳細については、「[Azure Blob Storageドキュメント](https://learn.microsoft.com/en-us/rest/api/storageservices/understanding-block-blobs--append-blobs--and-page-blobs)」を参照してください。
### AWS リージョン 可用性
[DataSync がサポートする任意のAWS リージョン](https://docs.aws.amazon.com/general/latest/gr/datasync.html#datasync-region) に Azure Blob Storage 転送場所を作成できます。
### オブジェクトタグのコピー
DataSyncが Azure Blob Storage との間で転送する際にオブジェクトタグを保持できるかどうかは、以下の要因に決定されます。
+ **オブジェクトのタグのサイズ** — DataSync は 2KB を超えるタグを持つオブジェクトを転送できません。
+ **DataSync がオブジェクトタグをコピーするように設定されているかどうか** — DataSync はデフォルトで[オブジェクトタグをコピーします](configure-metadata.md)。
+ **Azure ストレージアカウントが使用する名前空間** – DataSync は、Azure ストレージアカウントがフラット名前空間を使用している場合はオブジェクトタグをコピーできますが、アカウントが階層型名前空間 (Azure Data Lake Storage Gen2 の機能) を使用している場合はコピーできません。オブジェクトタグをコピーしようとして、ストレージアカウントが階層型名前空間を使用している場合、DataSync タスクは失敗します。
+ **SAS トークンがタグ付けを許可するかどうか**：オブジェクトタグのコピーに必要な権限は、トークンが提供するアクセスレベルによって異なります。オブジェクトタグをコピーしようとして、トークンにタグ付けに必要なアクセス許可がないと、タスクは失敗します。詳細については、「[アカウントレベルのアクセストークン](#account-sas-tokens)」または「[コンテナレベルのアクセストークン](#container-sas-tokens)」のアクセス許可の要件を確認してください。
### Amazon S3 への転送
Amazon S3 に転送する際、DataSync は 5 TB を超える Azure Blob Storage オブジェクトや 2 KB を超えるメタデータを持つオブジェクトを転送しません。
### 転送先のディレクトリの削除
Azure Blob Storage への転送時に、DataSync は[転送元に存在しない BLOB ストレージ内のオブジェクトを削除](configure-metadata.md)できます。(このオプションは、DataSync コンソールの [**削除したファイルを保持する**] 設定をクリアすることで設定できます。[SAS トークン](#azure-blob-sas-tokens)には削除アクセス許可も必要です。)
このように転送を設定しても、Azure ストレージアカウントが階層型名前空間を使用している場合、DataSync は Blob ストレージ内のディレクトリを削除しません。この場合、ディレクトリは手動で (たとえば、[https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-explorer](https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-explorer) を使用して) 削除する必要があります。
### 制限事項
以下は、Azure Blob Storage との間でデータを転送する際の制限です。
+ DataSync は、転送を容易にするため、ある場所に[いくつかのディレクトリを作成します](filtering.md#directories-ignored-during-transfers)。Azure Blob Storage が転送先であり、ストレージアカウントが階層型名前空間をしている場合、`/.aws-datasync` フォルダ内にタスク固有のサブディレクトリ (`task-000011112222abcde` など) があることに気付くことがあります。DataSync は通常、転送後にこれらのサブディレクトリを削除します。削除されない場合は、タスクが実行されていない限り、これらのタスク固有のディレクトリを自分で削除できます。
+ DataSync は、SAS トークンを使用して Azure Blob Storage コンテナ内の特定のフォルダにのみアクセスすることをサポートしていません。
+ blob ストレージにアクセスするためのユーザー委任 SAS トークンを DataSync に提供することはできません。
## DataSync エージェントの作成 (オプション)
DataSync エージェントは、Azure Blob と Amazon EFS または Amazon FSx の間でデータを転送する場合、または**基本**モードタスクを使用する場合にのみ必要です。**拡張**モードを使用して Azure Blob と Amazon S3 の間でデータを転送する場合はエージェントは必要ありません。このセクションでは、エージェントをデプロイして有効化する方法について説明します。
**ヒント**
Amazon EC2 インスタンスにエージェントをデプロイすることもできますが、Microsoft Hyper-V エージェントを使用するとネットワークレイテンシーが減少し、データ圧縮率が高くなる可能性があります。
### Microsoft Hyper-V エージェント
DataSync エージェントは Microsoft Hyper-V イメージを使って Azure に直接デプロイできます。
**ヒント**
次に進む前に、Azure に Hyper-V エージェントをより迅速にデプロイするのに役立つシェルスクリプトの使用を検討してください。[GitHub](https://github.com/aws-samples/aws-datasync-deploy-agent-azure) で詳細情報を入手し、コードをダウンロードできます。
スクリプトを使用する場合は、「[エージェントのアクティベーションキーの取得](#azure-blob-creating-agent-hyper-v-3)」に関するセクションまでスキップできます。
**Topics**
+ [前提条件](#azure-blob-creating-agent-hyper-v-0)
+ [エージェントのダウンロードと準備](#azure-blob-creating-agent-hyper-v-1)
+ [Azure にエージェントをデプロイする](#azure-blob-creating-agent-hyper-v-2)
+ [エージェントのアクティベーションキーの取得](#azure-blob-creating-agent-hyper-v-3)
+ [エージェントのアクティブ化](#azure-blob-creating-agent-hyper-v-4)
#### 前提条件
DataSync エージェントを準備して Azure にデプロイするには、次の操作を行う必要があります。
+ Hyper-V をローカルマシンで有効にします。
+ [https://learn.microsoft.com/en-us/powershell/scripting/install/installing-powershell?view=powershell-7.3&viewFallbackFrom=powershell-7.1](https://learn.microsoft.com/en-us/powershell/scripting/install/installing-powershell?view=powershell-7.3&viewFallbackFrom=powershell-7.1) をインストールします (Hyper-V Module を含む)。
+ [Azure CLI](https://learn.microsoft.com/en-us/cli/azure/install-azure-cli) をインストールします。
+ [https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10?toc=%2Fazure%2Fstorage%2Fblobs%2Ftoc.json&bc=%2Fazure%2Fstorage%2Fblobs%2Fbreadcrumb%2Ftoc.json](https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10?toc=%2Fazure%2Fstorage%2Fblobs%2Ftoc.json&bc=%2Fazure%2Fstorage%2Fblobs%2Fbreadcrumb%2Ftoc.json) をインストールします。
#### エージェントのダウンロードと準備
DataSync コンソールからエージェントをダウンロードします。Azure でエージェントをデプロイする前に、エージェントを固定サイズの仮想ハードディスク (VHD) に変換する必要があります。詳細については、[Azure のドキュメント](https://learn.microsoft.com/en-us/azure/virtual-machines/windows/prepare-for-upload-vhd-image)を参照してください。
**エージェントをダウンロードして準備するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインから、**[エージェント]** を選択し、**[エージェントの作成]** を選択します。
1. **[Hypervisor]** の場合は、**[Microsoft Hyper-V]** を選択し、次に **[イメージのダウンロード]** を選択します。
エージェントは `.vhdx` ファイルを含む `.zip` ファイルをダウンロードします。
1. ローカルマシンで `.vhdx` ファイルを抽出します。
1. PowerShell を開いて、以下の操作を行います。
1. 以下の `Convert-VHD` コマンドレットをコピーします。
```
Convert-VHD -Path .\local-path-to-vhdx-file\aws-datasync-2.0.1686143940.1-x86_64.xfs.gpt.vhdx `
-DestinationPath .\local-path-to-vhdx-file\aws-datasync-2016861439401-x86_64.vhd -VHDType Fixed
```
1. `local-path-to-vhdx-file` の各インスタンスを、ローカルマシン上の `.vhdx` ファイルの場所に置き換えます。
1. コマンドを実行します。
これで、エージェントは固定サイズの VHD (`.vhd` ファイル形式) になり、Azure にデプロイする準備が整いました。
#### Azure にエージェントをデプロイする
Azure に DataSync エージェントをデプロイするには、以下が必要です。
+ Azure でマネージドディスクを作成します
+ エージェントをそのマネージドディスクにアップロードします
+ マネージドディスクを Linux 仮想マシンにアタッチします。
**Azure にエージェントをデプロイするには**
1. PowerShell で、エージェントの `.vhd` ファイルが格納されているディレクトリに移動します。
1. `ls` コマンドを実行し、`Length` 値 (たとえば `85899346432`) を保存します。
これはエージェントイメージのサイズをバイト単位で表したもので、イメージを格納できるマネージドディスクを作成する際に必要になります。
1. マネージドディスクを作成するには、次の操作を行います。
1. 次の Azure CLI コマンドをコピーします。
```
az disk create -n your-managed-disk `
-g your-resource-group `
-l your-azure-region `
--upload-type Upload `
--upload-size-bytes agent-size-bytes `
--sku standard_lrs
```
1. `your-managed-disk` をマネージドディスクの名前に置き換えます。
1. `your-resource-group` をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。
1. `your-azure-region` をリソースグループがある Azure リージョンに置き換えてください。
1. `agent-size-bytes` をエージェントイメージのサイズに置き換えてください。
1. コマンドを実行します。
このコマンドは、DataSync エージェントをアップロードできる[標準 SKU](https://learn.microsoft.com/en-us/rest/api/storagerp/srp_sku_types) を含む空のマネージドディスクを作成します。
1. マネージドディスクへの書き込みアクセスを許可する共有アクセス署名 (SAS) を生成するには、以下を実行します。
1. 次の Azure CLI コマンドをコピーします。
```
az disk grant-access -n your-managed-disk `
-g your-resource-group `
--access-level Write `
--duration-in-seconds 86400
```
1. `your-managed-disk` を作成したバケットの名前に置き換えます。
1. `your-resource-group` をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。
1. コマンドを実行します。
出力の SAS URI をメモしておきます。この URI は、エージェントを Azure にアップロードする際に必要になります。
SAS では、最大 1 時間までディスクに書き込むことができます。つまり、エージェントをマネージドディスクにアップロードするのに 1 時間あります。
1. Azure でマネージドディスクにエージェントをアップロードするには、以下を実行します。
1. 次の `AzCopy` コマンドをコピーします。
```
.\azcopy copy local-path-to-vhd-file sas-uri --blob-type PageBlob
```
1. `local-path-to-vhd-file` をローカルマシン上のエージェントの `.vhd` ファイルの場所に置き換えます。
1. `sas-uri` を `az disk grant-access` コマンドを実行したときに取得した SAS URI に置き換えます。
1. コマンドを実行します。
1. エージェントのアップロードが完了したら、マネージドディスクへのアクセスを取り消します。これを行うには、次の Azure コマンドをコピーします。
```
az disk revoke-access -n your-managed-disk -g your-resource-group
```
1. `your-resource-group` をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。
1. `your-managed-disk` を作成したバケットの名前に置き換えます。
1. コマンドを実行します。
1. マネージドディスクを新しい Linux VM に接続するには、次の手順を実行します。
1. 次の Azure CLI コマンドをコピーします。
```
az vm create --resource-group your-resource-group `
--location eastus `
--name your-agent-vm `
--size Standard_E4as_v4 `
--os-type linux `
--attach-os-disk your-managed-disk
```
1. `your-resource-group` をストレージアカウントが属する Azure リソースグループの名前に置き換えてください。
1. `your-agent-vm` を覚えやすい VM の名前に置き換えてください。
1. `your-managed-disk` を、VM にアタッチするマネージドディスクの名前に置き換えます。
1. コマンドを実行します。
エージェントをデプロイしました。データ転送の構成を開始する前に、エージェントをアクティブ化する必要があります。
#### エージェントのアクティベーションキーの取得
DataSync エージェントのアクティベーションキーを手動で取得するには、次の手順に従います。
別の方法として、[DataSync がアクティベーションキーを自動的に取得することもできますが](activate-agent.md)、この方法ではある程度のネットワーク構成が必要です。
**エージェントのアクティベーションキーを取得するには**
1. Azure ポータルで、**[カスタムストレージアカウントで有効化]** 設定を選択し、Azure ストレージアカウントを指定して、[エージェントの VM のブート診断を有効にします](https://learn.microsoft.com/en-us/azure/virtual-machines/boot-diagnostics)。
エージェントの VM のブート診断を有効にしたら、エージェントのローカルコンソールにアクセスしてアクティベーションキーを取得できます。
1. Azure ポータルにいる間、VM に移動して [**シリアルコンソール**] を選択します。
1. エージェントのローカルコンソールで、以下のデフォルト認証情報を使用してログインします。
+ **Username** - **admin**
+ **Password** – **password**
ある時点で、少なくともエージェントのパスワードを変更することをおすすめします。エージェントのローカルコンソールで、メインメニューに「**5**」と入力し、`passwd` コマンドを使用してパスワードを変更します。
1. **0** を入力してエージェントのアクティベーションキーを取得します。
1. DataSync AWS リージョン を使用している を入力します (例: **us-east-1**)。
1. エージェントが接続に使用する[サービスエンドポイント](choose-service-endpoint.md)を選択します AWS。
1. `Activation key` 出力のエラー値を保存します。
#### エージェントのアクティブ化
アクティベーションキーを取得したら、DataSync エージェントの作成を完了できます。
**エージェントをアクティブ化するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインから、**[エージェント]** を選択し、**[エージェントの作成]** を選択します。
1. **[Hypervisor]** には、**[Microsoft Hyper-V]** を選択します。
1. **[エンドポイントタイプ]** には、エージェントのアクティベーションキーを取得したときに指定したのと同じ種類のサービスエンドポイントを選択します (たとえば、**[*リージョン名*でのパブリックサービスエンドポイント]** を選択します)。
1. エージェントが使用しているサービスエンドポイントタイプで動作するようにネットワークを構成します。サービスエンドポイントのネットワーク要件については、次のトピックを参照してください。
+ [VPC エンドポイント](datasync-network.md#using-vpc-endpoint)
+ [パブリックエンドポイント](datasync-network.md#using-public-endpoints)
+ [連邦情報処理規格 (FIPS) エンドポイント](datasync-network.md#using-public-endpoints)
1. **[アクティベーションキー]** については、次の操作を行います。
1. **[エージェントのアクティベーションキーを手動で入力]** を選択します。
1. エージェントのローカルコンソールから入手したアクティベーションキーを入力します。
1. **[エージェントの作成]** を選択します。
エージェントが Azure Blob Storage と接続する準備ができました。詳細については、「[Azure Blob Storage 転送場所の作成](#creating-azure-blob-location-how-to)」を参照してください。
### Amazon EC2 エージェント
DataSync エージェントを Amazon EC2 インスタンスにデプロイできます。
**Amazon EC2 エージェントを作成するには**
1. [Amazon EC2 エージェントをデプロイします](deploy-agents.md#ec2-deploy-agent)。
1. エージェントが AWSとの通信に使用する[サービスエンドポイントを選択](choose-service-endpoint.md)します。
このような状況では、仮想プライベートクラウド (VPC) サービスエンドポイントを使用することをお勧めします。
1. [VPC サービスエンドポイント](datasync-network.md#using-vpc-endpoint)と連携するようにネットワークを構成します。
1. [エージェントをアクティブ化](https://docs.aws.amazon.com/datasync/latest/userguide/activate-agent.html)します。
## Azure Blob Storage 転送場所の作成
Azure Blob Storage を転送元または転送先として使用するように DataSync を構成できます。
**[開始する前に]**
[DataSync が Azure Blob Storage にアクセス](#azure-blob-access)し、[アクセス層](#azure-blob-access-tiers)と [BLOB タイプ](#blob-types)を操作する方法を確認しておいてください。Azure Blob Storage コンテナに接続できる [DataSync エージェント](#azure-blob-creating-agent)も必要です。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[場所のタイプ]** で、**[Microsoft Azure Blob Storage]** を選択します。
1. **[コンテナ URL]** には、転送に関係するコンテナの URL を入力します。
1. (オプション) **[転送先として使用するアクセス層]** には、オブジェクトまたはファイルの転送先となる [[アクセス層]](#azure-blob-access-tiers) を選択します。
1. コンテナ内の仮想ディレクトリへの転送を制限したい場合 (たとえば `/my/images`)、**[フォルダ]** にパスセグメントを入力します。
1. 転送にエージェントが必要な場合は、**[エージェントを使用する]** を選択し、Azure Blob Storage コンテナに接続できる DataSync エージェントを選択します。
1. **SAS トークン**の場合は、DataSync がブロブストレージにアクセスするために必要な認証情報を指定します。Azure Blob ストレージの一部のパブリックデータセットには、認証情報は必要ありません。SAS トークンを直接入力することも、トークンを含む AWS Secrets Manager シークレットを指定することもできます。詳細については、「[Providing credentials for storage locations](https://docs.aws.amazon.com/datasync/latest/userguide/location-credentials.html)」を参照してください。
SAS トークンは、ストレージリソース URI と疑問符 (`?`) の後ろにある SAS URI 文字列の一部です。トークンは以下のようになります。
```
sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D
```
1. (オプション) **[キー]** と **[値]** に値を入力して、 にタグを付けます。
タグは、 AWS リソースの管理、フィルタリング、検索に役立ちます。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
### の使用 AWS CLI
1. 次の `create-location-azure-blob` コマンドをコピーします。
```
aws datasync create-location-azure-blob \
--container-url "https://path/to/container" \
--authentication-type "SAS" \
--sas-configuration '{
"Token": "your-sas-token"
}' \
--agent-arns my-datasync-agent-arn \
--subdirectory "/path/to/my/data" \
--access-tier "access-tier-for-destination" \
--tags [{"Key": "key1","Value": "value1"}]
```
1. `--container-url` パラメータには、転送に関係する Azure Blob Storage コンテナの URL を指定します。
1. `--authentication-type` パラメータでは、`SAS` を指定します。認証を必要としないパブリックデータセットにアクセスする場合は、`NONE` を指定します。
1. `--sas-configuration` パラメータの `Token` オプションには、DataSync が Blob ストレージにアクセスできるようにする SAS トークンを指定します。
AWS Secrets Managerを使用してキーを保護するための追加パラメータを指定することもできます。詳細については、「[Providing credentials for storage locations](https://docs.aws.amazon.com/datasync/latest/userguide/location-credentials.html)」を参照してください。
SAS トークンは、ストレージリソース URI と疑問符 (`?`) の後ろにある SAS URI 文字列の一部です。トークンは以下のようになります。
```
sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D
```
1. (オプション) `--agent-arns` パラメータについては、コンテナに接続できる DataSync エージェントの Amazon リソースネーム (ARN) を指定します。
ARN エージェントの例を示します。`arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890aaabfb`
複数のエージェントを指定できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. 転送をコンテナ内の仮想ディレクトリ (たとえば `/my/images`) に制限する場合は、`--subdirectory` パラメータにパスセグメントを指定します。
1. (オプション) `--access-tier` パラメータには、オブジェクトまたはファイルの転送先となる[アクセス層](#azure-blob-access-tiers) (`HOT`、`COOL`、または `ARCHIVE`) を指定します。
このパラメータは、この場所を転送先として使用する場合にのみ適用されます。
1. (オプション) `--tags` パラメータについては、場所の管理、フィルタリング、検索に役立つキーと値のペアを指定します。
場所の名前タグを作成することを推奨します。
1. `create-location-azure-blob` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh"
}
```
## Azure Blob Storage 転送場所の表示
Azure Blob Storage の既存の DataSync 転送場所に関する詳細を取得できます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** を選択します。
1. Azure Blob Storage 場所を選択します。
現在場所を使用する DataSync 転送タスクなど、場所に関する詳細を確認できます。
### の使用 AWS CLI
1. 次の `describe-location-azure-blob` コマンドをコピーします。
```
aws datasync describe-location-azure-blob \
--location-arn "your-azure-blob-location-arn"
```
1. `--location-arn` パラメータには、作成した Azure Blob Storage ロケーションの ARN (たとえば `arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh`) を指定します。
1. `describe-location-azure-blob` コマンドを実行します。
場所情報の詳細を示すレスポンスが返されます。例えば、次のようになります。
```
{
"LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh",
"LocationUri": "azure-blob://my-user.blob.core.windows.net/container-1",
"AuthenticationType": "SAS",
"Subdirectory": "/my/images",
"AgentArns": ["arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb"],
}
```
## Azure Blob Storage 転送場所の更新
必要に応じて、コンソールまたは AWS CLIを使用して場所の設定を変更できます。
### の使用 AWS CLI
1. 次の `update-location-azure-blob` コマンドをコピーします。
```
aws datasync update-location-azure-blob \
--location-arn "your-azure-blob-location-arn" \
--authentication-type "SAS" \
--sas-configuration '{
"Token": "your-sas-token"
}' \
--agent-arns my-datasync-agent-arn \
--subdirectory "/path/to/my/data" \
--access-tier "access-tier-for-destination"
```
1. `--location-arn` パラメータには、更新した Azure Blob Storage ロケーションの ARN (たとえば `arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh`) を指定します。
1. `--authentication-type` パラメータでは、`SAS` を指定します。
1. `--sas-configuration` パラメータの `Token` オプションには、DataSync が Blob ストレージにアクセスできるようにする SAS トークンを指定します。
このトークンは、ストレージリソース URI と疑問符 (`?`) の後ろにある SAS URI 文字列の一部です。トークンは以下のようになります。
```
sp=r&st=2022-12-20T14:54:52Z&se=2022-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=qCBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D
```
1. `--agent-arns` パラメータについては、コンテナに接続する DataSync エージェントの Amazon リソースネーム (ARN) を指定します。
ARN エージェントの例を示します。`arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890aaabfb`
複数のエージェントを指定できます。詳細については、「[複数の DataSync エージェントの使用](do-i-need-datasync-agent.md#multiple-agents)」を参照してください。
1. 転送をコンテナ内の仮想ディレクトリ (たとえば `/my/images`) に制限する場合は、`--subdirectory` パラメータにパスセグメントを指定します。
1. (オプション)`--access-tier` パラメータには、オブジェクトの転送先となる[アクセス層](#azure-blob-access-tiers) (`HOT`、`COOL`、または `ARCHIVE`) を指定します。
このパラメータは、この場所を転送先として使用する場合にのみ適用されます。
## 次の手順
Azure Blob Storage の DataSync 場所の作成が完了したら、転送の設定を続行できます。次に検討すべき手順を以下に示します。
1. まだ行っていない場合は、データを Azure Blob Storage に／から転送する予定の[別の場所を作成してください](working-with-locations.md)。
1. DataSync が[メタデータと特殊ファイルを処理する方法](metadata-copied.md)、特に転送場所のメタデータ構造が類似していない場合について説明します。
1. データの転送方法を構成します。例えば、[データのサブセットのみを転送したり](filtering.md)、blob ストレージ内のソースの場所にないファイルを削除したりすることができます ([SAS トークン](#azure-blob-sas-tokens)に削除アクセス許可がある場合のみ)。
1. [転送を開始します](run-task.md)。
# SMB Microsoft Azure Files 共有を使用した AWS DataSync 転送の設定
Microsoft Azure Files サーバーメッセージブロック (SMB) 共有との間でデータを転送する AWS DataSync ように を設定できます。
**ヒント**
Azure Files SMB 共有から へのデータの移動に関する詳細なチュートリアルについては AWS、 [AWS ストレージブログ](https://aws.amazon.com/blogs/storage/how-to-move-data-from-azure-files-smb-shares-to-aws-using-aws-datasync/)を参照してください。
## DataSync に対する SMB 共有へのアクセス許可の付与
DataSync は SMB プロトコルを使用して SMB 共有に接続し、指定した認証情報を使用して認証します。
**Topics**
+ [サポートされている SMB プロトコルバージョン](#configuring-smb-version-azure-files)
+ [必要なアクセス許可](#configuring-smb-permissions-azure-files)
### サポートされている SMB プロトコルバージョン
デフォルトでは、DataSync は SMB ファイルサーバーとのネゴシエーションに基づいて自動的に SMB プロトコルのバージョンを選択します。
特定の SMB バージョンを使用するように DataSync を設定することもできますが、これは DataSync が SMB ファイルサーバーと自動的にネゴシエーションできない場合にのみ行うことをお勧めします。DataSync は SMB バージョン 1.0 以降をサポートします。セキュリティ上の理由から、SMB バージョン 3.0.2 以降を使用することをお勧めします。SMB 1.0 などの以前のバージョンには、攻撃者がデータを侵害するために悪用できる既知のセキュリティ脆弱性が含まれています。
DataSync コンソールと API のオプションについては、次の表を参照してください。
| コンソールオプション | API オプション | 説明 |
| --- | --- | --- |
| 自動 | `AUTOMATIC` | DataSync と SMB ファイルサーバーは 、2.1 から 3.1.1 の間で 、相互にサポートする最上位の SMB バージョンをネゴシエートします。 これはデフォルトの推奨オプションです。代わりに、ファイルサーバーがサポートしていない特定のバージョンを選択すると、`Operation Not Supported` エラーが表示されることがあります。 |
| SMB 3.0.2 | `SMB3` | プロトコルネゴシエーションを SMB バージョン 3.0.2 のみに制限します。 |
| SMB 2.1 | `SMB2` | プロトコルネゴシエーションを SMB バージョン 2.1 のみに制限します。 |
| SMB 2.0 | `SMB2_0` | プロトコルネゴシエーションを SMB バージョン 2.0 のみに制限します。 |
| SMB 1.0 | `SMB1` | プロトコルネゴシエーションを SMB バージョン 1.0 のみに制限します。 |
### 必要なアクセス許可
DataSync には SMB をマウントし、SMB の場所にアクセスする権限を持つユーザーが必要です。これは、Windows ファイルサーバー上のローカルユーザーとすることも、Microsoft Active Directory で定義されたドメインユーザーとすることもできます。
オブジェクトの所有権を設定するには、DataSync には、通常アクティブディレクトリの組み込みグループである**Backupオペレーター**と**ドメイン管理者**のメンバーに付与されている `SE_RESTORE_NAME` 権限が必要です。また、この権限を持つユーザーを DataSync に提供することにより、NTFS システムアクセス制御リスト (SACL) を除く、ファイル、フォルダ、およびファイルメタデータに対する十分な権限を確保できます。
SACL をコピーするには、追加の権限が必要です。具体的には、これには **ドメイン管理者**グループのメンバーに付与される Windows `SE_SECURITY_NAME` 権限が必要です。SACL をコピーするようにタスクを設定する場合は、ユーザーに必要な権限があることを確認してください。SACL をコピーするタスクの設定の詳細については、「[ファイル、オブジェクト、メタデータの処理方法の設定](configure-metadata.md)」を参照してください。
SMB ファイルサーバーと Amazon FSx for Windows File Server ファイルシステム間でデータをコピーする場合、送信元と送信先の両方が同じ Microsoft Active Directory ドメインに属しているか、ドメイン間に Active Directory 信頼関係がある必要があります。
## コンソールを使用して Azure ファイル転送場所を作成する
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[ロケーション]** と **[ロケーションの作成]** を選択します。
1. **[Location type (場所のタイプ)]** で **[サーバーメッセージブロック (SMB)]**The UI tags need to be placed outside the brackets. を選択します。
後でこのロケーションを送信元あるいは送信先として設定します。
1. **[エージェント]** で、SMB 共有に接続する DataSync エージェントを 1 つ以上選択します。
複数のエージェントを選択する場合は、[1 つのロケーションで複数のエージェント](do-i-need-datasync-agent.md#multiple-agents)を使用することについて理解しておいてください。
1. **[SMB サーバー]** に、DataSync エージェントがマウントする SMB 共有のドメインネームシステム (DNS) 名あるいは IP アドレスを入力します。
**注記**
IP バージョン 6 (IPv6) アドレスは指定できません。
1. **[共有名]** には、DataSync がデータを読み書きする SMB 共有によってエクスポートされた共有の名前を入力します。
共有パスにはサブディレクトリ (例: `/path/to/subdirectory`) を含めることができます。ネットワーク内の他の SMB クライアントもこのパスをマウントできることを確認してください。
サブディレクトリ内のすべてのデータをコピーするには、DataSync が SMB 共有をマウントし、その共有内のすべてのデータにアクセスできるようにする必要があります。詳細については、「[必要なアクセス許可](create-smb-location.md#configuring-smb-permissions)」を参照してください。
1. (オプション) **[追加設定]** を展開し、DataSync が SMB 共有にアクセスするときに使用する **SMB バージョン**を選択します。
デフォルトでは、DataSync は SMB 共有とのネゴシエーションに基づいて自動的にバージョンを選択します。詳細については、[サポートされている SMB バージョン](create-smb-location.md#configuring-smb-version) を参照してください。
1. **[ユーザー]** に、SMB 共有をマウントでき、転送に関連するファイルとフォルダへのアクセス権限を持つユーザーの名前を入力します。
詳細については、「[必要なアクセス許可](create-smb-location.md#configuring-smb-permissions)」を参照してください。
1. **[パスワード]** に、SMB 共有をマウントでき、転送に関連するファイルとフォルダへのアクセス権限を持つユーザーのパスワードを入力します。
1. (オプション)**[ドメイン]** に、SMB 共有が属する Windows ドメイン名を入力します。
環境内に複数のドメインがある場合、この設定を構成すると、DataSync が正しい共有に接続されるようになります。
1. (オプション)**[タグを追加]** を選択して場所にタグを付けます。
タグは、ロケーションの管理、フィルタリング、検索に役立つキーバリューペアです。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
# 他のクラウドオブジェクトストレージでの転送の設定
を使用すると AWS DataSync、[AWS ストレージサービスと](transferring-aws-storage.md)次のクラウドオブジェクトストレージプロバイダー間でデータを転送できます。
+ [https://docs.wasabi.com/](https://docs.wasabi.com/)
+ [https://docs.digitalocean.com/](https://docs.digitalocean.com/)
+ [https://docs.oracle.com/iaas/Content/home.htm](https://docs.oracle.com/iaas/Content/home.htm)
+ [https://developers.cloudflare.com/r2/](https://developers.cloudflare.com/r2/)
+ [https://www.backblaze.com/docs/cloud-storage](https://www.backblaze.com/docs/cloud-storage)
+ [https://guide.ncloud-docs.com/docs/](https://guide.ncloud-docs.com/docs/)
+ [https://www.alibabacloud.com/help/en/oss/product-overview/what-is-oss](https://www.alibabacloud.com/help/en/oss/product-overview/what-is-oss)
+ [https://cloud.ibm.com/docs/cloud-object-storage?topic=cloud-object-storage-getting-started-cloud-object-storage](https://cloud.ibm.com/docs/cloud-object-storage?topic=cloud-object-storage-getting-started-cloud-object-storage)
+ [https://help.lyvecloud.seagate.com/en/product-features.html](https://help.lyvecloud.seagate.com/en/product-features.html)
DataSync エージェントは、他のクラウドのストレージシステムと Amazon EFS または Amazon FSx の間でデータを転送する場合、または**基本**モードタスクを使用する場合にのみ必要です。**拡張**モードを使用して、エージェントが他のクラウドのストレージシステムと Amazon S3 の間でデータを転送する必要はありません。
エージェントを使用するかどうかにかかわらず、クラウドオブジェクトストレージの転送[場所](how-datasync-transfer-works.md#sync-locations) (具体的には**オブジェクトストレージの場所**) も作成する必要があります。DataSync はこの場所を転送元または転送先として使用できます。
## 他のクラウドオブジェクトストレージへの DataSync アクセスの提供
DataSync がクラウドオブジェクトストレージにアクセスする方法は、ストレージが Amazon S3 API と互換性があるかどうか、DataSync がストレージにアクセスするために必要な権限と認証情報など、いくつかの要因によって異なります。
**Topics**
+ [Amazon S3 API 互換性](#other-cloud-s3-compatibility)
+ [ストレージ権限とエンドポイント](#other-cloud-permissions)
+ [認証情報の保存](#other-cloud-credentials)
### Amazon S3 API 互換性
DataSync が接続するには、クラウドオブジェクトストレージが次の [Amazon S3 API オペレーション](https://docs.aws.amazon.com/AmazonS3/latest/API/API_Operations.html)と互換性がある必要があります。
+ `AbortMultipartUpload`
+ `CompleteMultipartUpload`
+ `CopyObject`
+ `CreateMultipartUpload`
+ `DeleteObject`
+ `DeleteObjects`
+ `DeleteObjectTagging`
+ `GetBucketLocation`
+ `GetObject`
+ `GetObjectTagging`
+ `HeadBucket`
+ `HeadObject`
+ `ListObjectsV2`
+ `PutObject`
+ `PutObjectTagging`
+ `UploadPart`
### ストレージ権限とエンドポイント
DataSync がクラウドオブジェクトストレージにアクセスできるようにする権限を構成する必要があります。オブジェクトストレージがソースの場所である場合、DataSync にはデータの送信元であるバケットの読み取りと一覧表示を行うアクセス許可が必要です。オブジェクトストレージが転送先の場所である場合、DataSync にはバケットの読み取り、一覧表示、書き込み、削除を行うアクセス許必要です。
DataSync には、ストレージに接続するためのエンドポイント (またはサーバー) も必要です。以下の表では、DataSync が他のクラウドオブジェクトストレージにアクセスするために使用できるエンドポイントについて説明しています。
| 他のクラウドプロバイダー | Endpoint |
| --- | --- |
| Wasabi Cloud Storage | `S3.region.wasabisys.com` |
| DigitalOcean Spaces | `region.digitaloceanspaces.com` |
| Oracle Cloud Infrastructure Object Storage | `namespace.compat.objectstorage.region.oraclecloud.com` |
| Cloudflare R2 Storage | `account-id.r2.cloudflarestorage.com` |
| Backblaze B2 Cloud Storage | `S3.region.backblazeb2.com` |
| NAVER Cloud Object Storage | `region.object.ncloudstorage.com` (ほとんどの地域) |
| Alibaba Cloud Object Storage Service | `region.aliyuncs.com` |
| IBM Cloud Object Storage | `s3.region.cloud-object-storage.appdomain.cloud` |
| Seagate Lyve Cloud | `s3.region.lyvecloud.seagate.com` |
**重要**
ストレージエンドポイントのバケット権限と最新情報を構成する方法の詳細については、クラウドプロバイダのドキュメントを参照してください。
### 認証情報の保存
DataSync には、転送に関係するオブジェクトストレージバケットにアクセスするための認証情報も必要です。これは、クラウドストレージプロバイダがこれらの認証情報を参照する方法によっては、アクセスキーやシークレットキーなどである場合があります。
詳細については、クラウドプロバイダーのドキュメントを参照してください。
## 他のクラウドオブジェクトストレージから転送する場合の考慮事項
DataSync を使用してオブジェクトを別のクラウドストレージプロバイダへ転送したり、別のクラウドストレージプロバイダから転送したりする場合に、注意すべき点がいくつかあります。
**Topics**
+ [コスト](#other-cloud-considerations-costs)
+ [ストレージクラス](#other-cloud-considerations-storage-classes)
+ [オブジェクトタグ](#other-cloud-considerations-object-tags)
+ [Amazon S3 への転送](#other-cloud-considerations-s3)
### コスト
別のクラウドストレージプロバイダとの間でのデータの移動に関連する料金には、次のものが含まれます。
+ DataSync エージェント向けに [Amazon EC2](https://aws.amazon.com/ec2/pricing/) インスタンスを実行する
+ [DataSync](https://aws.amazon.com/datasync/pricing/) を使用してデータを転送します。これには、クラウドオブジェクトストレージと [Amazon S3](create-s3-location.md#create-s3-location-s3-requests)（転送先が S3 の場合）に関連するリクエスト料金が含まれます。
+ クラウドストレージ内で、またはクラウドストレージからのデータ転送 (クラウドプロバイダーの価格を確認)
+ DataSync がサポートする[AWS ストレージサービス](transferring-aws-storage.md)へのデータの保存
+ 別のクラウドプロバイダへのデータの保存 (ご利用のクラウドプロバイダの価格を確認)
### ストレージクラス
一部のクラウドストレージプロバイダーには、最初に復元しないとDataSyncが読み取れないストレージクラス（[Amazon S3](create-s3-location.md#using-storage-classes) と同様）があります。たとえば、Oracle Cloud Infrastructure Object Storage にはアーカイブストレージクラスがあります。DataSync がオブジェクトを転送する前に、そのストレージクラスのオブジェクトを復元する必要があります。詳細については、クラウドプロバイダーのドキュメントを参照してください。
### オブジェクトタグ
すべてのクラウドプロバイダがオブジェクトタグをサポートしているわけではありません。Amazon S3 API によるタグのクエリを許可しないものもあります。いずれの場合でも、オブジェクトタグをコピーしようとすると DataSync 転送タスクが失敗する可能性があります。
これを回避するには、タスクを作成、開始、または更新するときに DataSync コンソールの [**オブジェクトタグをコピー**] チェックボックスをオフにします。
### Amazon S3 への転送
Amazon S3 に転送する場合、DataSync は 5 TB を超えるオブジェクトを転送できません。また、DataSync は最大 2 KB のオブジェクトメタデータしかコピーできません。
## DataSync エージェントの作成
DataSync エージェントは、他のクラウドのストレージシステムと Amazon EFS または Amazon FSx の間でデータを転送する場合、または**基本**モードタスクを使用する場合にのみ必要です。**拡張**モードを使用して、エージェントが他のクラウドのストレージシステムと Amazon S3 の間でデータを転送する必要はありません。このセクションでは、 AWSの仮想プライベートクラウド (VPC) の Amazon EC2 インスタンスにエージェントをデプロイしてアクティブ化する方法について説明します。
**Amazon EC2 エージェントを作成するには**
1. [Amazon EC2 エージェントをデプロイします](deploy-agents.md#ec2-deploy-agent)。
1. エージェントが通信に使用する[サービスエンドポイントを選択します](choose-service-endpoint.md) AWS。
このような状況では、VPC サービスエンドポイントの使用をお勧めします。
1. [VPC サービスエンドポイント](datasync-network.md#using-vpc-endpoint)と連携するようにネットワークを構成します。
1. [エージェントをアクティブ化します](activate-agent.md)。
## 他のクラウドオブジェクトストレージの転送場所の作成
クラウドオブジェクトストレージをソースまたは転送先の場所として使用するように DataSync を設定できます。
**[開始する前に]**
[DataSync がクラウドオブジェクトストレージにどのようにアクセスするか](#other-cloud-access)を理解しているようにしてください。また、クラウドオブジェクトストレージに接続できる [DataSync エージェントも必要です](#other-cloud-creating-agent)。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、[場所] と **[場所を作成する]** を選択します。
1. **場所タイプ**で、**オブジェクトストレージ**を選択します。
1. **[サーバー]** には、DataSync がクラウドオブジェクトストレージへのアクセスに使用できる[エンドポイント](#other-cloud-permissions)を入力します。
+ **Wasabi Cloud Storage** – `S3.region.wasabisys.com`
+ **DigitalOcean Spaces** – `region.digitaloceanspaces.com`
+ **Oracle Cloud Infrastructure Object Storage** – `namespace.compat.objectstorage.region.oraclecloud.com`
+ **Cloudflare R2 Storage** – `account-id.r2.cloudflarestorage.com`
+ **Backblaze B2 Cloud Storage** – `S3.region.backblazeb2.com`
+ **NAVER Cloud Object Storage** — `region.object.ncloudstorage.com` (ほとんどのリージョン)
+ **Alibaba Cloud Object Storage Service** – `region.aliyuncs.com`
+ **IBM Cloud Object Storage** – `s3.region.cloud-object-storage.appdomain.cloud`
+ **Seagate Lyve Cloud** – `s3.region.lyvecloud.seagate.com`
1. **[バケット名]** に、データ転送に使用するオブジェクトストレージバケットの名前を入力します。
1. **[フォルダ]** には、オブジェクトプレフィックスを入力します。DataSync は、このプレフィックスを持つオブジェクトのみを転送します。
1. 転送にエージェントが必要な場合は、**[エージェントを使用する]** を選択し、クラウドオブジェクトストレージに接続できる DataSync エージェントを選択します。
1. **[追加の設定]** を展開します。**[サーバープロトコル]** で **[HTTPS]** を選択します。**[サーバーポート]** には **[443]** を選択します。
1. **[認証]** セクションまでにスクロールします。**[認証情報が必要]** チェックボックスがオンになっていることを確認し、DataSync に[ストレージ認証情報](#other-cloud-credentials)を入力します。
+ **[アクセスキー]** には、クラウドオブジェクトストレージにアクセスするための ID を入力します。
+ **[シークレットキー]** には、クラウドオブジェクトストレージにアクセスするためのシークレットキーを指定します。キーを直接入力するか、キーを含む AWS Secrets Manager シークレットを指定できます。詳細については、「[Providing credentials for storage locations](https://docs.aws.amazon.com/datasync/latest/userguide/location-credentials.html)」を参照してください。
1. (オプション) **[キー]** と **[値]** に値を入力して、 にタグを付けます。
タグは、 AWS リソースの管理、フィルタリング、検索に役立ちます。少なくとも場所の名前タグを作成することを推奨します。
1. **[ロケーションを作成]** を選択します。
## 次の手順
クラウドオブジェクトストレージ用の DataSync 場所の作成が完了したら、転送の設定を続行できます。次に検討すべき手順を以下に示します。
1. まだ作成していない場合は、 AWSでデータの転送先または転送先となる[別の場所を作成](transferring-aws-storage.md)してください。
1. DataSync ががオブジェクトストレージの場所の[メタデータと特殊ファイルを処理する](metadata-copied.md)方法を学びます。
1. データの転送方法を構成します。例えば、[データのサブセットだけを転送したい場合などです](filtering.md)。
**重要**
DataSync がオブジェクトタグを正しくコピーするように構成してください。詳細については、「[オブジェクトタグに関する考慮事項](#other-cloud-considerations-object-tags)」を参照してください。
1. [転送を開始します](run-task.md)。
# データを転送するタスクの作成
*タスク*は、 がデータ AWS DataSync を転送する場所と方法について説明します。タスクは以下で構成されます。
+ [**ソースの場所**](working-with-locations.md) – DataSync がデータを転送する元のストレージシステムまたはサービス。
+ [**転送先の場所**](working-with-locations.md) – DataSync がデータを転送する先のストレージシステムまたはサービス。
+ [**タスクオプション**](task-options.md) – 転送するファイル、データの検証方法、タスクの実行日時などの設定。
+ [**タスクの実行**](run-task.md) – タスクを実行することを、*タスクの実行*と呼びます。
## タスクの作成
DataSync タスクを作成するときは、ソースと転送先の場所を指定します。また、転送するファイル、メタデータの処理方法、スケジュールの設定などを選択することで、タスクをカスタマイズすることもできます。
タスクを作成する前に、[DataSync 転送の仕組み](how-datasync-transfer-works.md#transferring-files)を理解し、[タスククォータ](datasync-limits.md#task-hard-limits)を確認してください。
**重要**
Amazon S3 ロケーションとの間でデータを転送する予定がある場合は、開始する前に [DataSync が S3 リクエスト料金にどのような影響を与えるか](create-s3-location.md#create-s3-location-s3-requests)について、および [DataSync 料金ページ](https://aws.amazon.com/datasync/pricing/)を確認してください。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. データを転送する AWS リージョン 予定の のいずれかにいることを確認します。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. **[送信元のロケーションを設定する]** ページで、ソースの場所を[作成](transferring-data-datasync.md)または選択し、**[次へ]** を選択します。
1. **[送信先ロケーションを設定する]** ページで、転送先の場所[を作成](transferring-data-datasync.md)または選択し、**[次へ]** を選択します。
1. (推奨) **[Configure settings]** ページで、タスクに簡単に覚えられる名前を付けてください。
1. **[Configure settings]** ページにいる間、タスクオプションを選択するか、デフォルト設定を使用してください。
オプションは以下のとおりです。
+ 使用する[タスクモード](choosing-task-mode.md)を指定します。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch](monitor-datasync.md) を使用して転送をモニタリングします。タスクに何らかのモニタリングを設定することをお勧めします。
終了したら、**[次へ]** を選択します。
1. タスク構成を確認し、**[Create task]** を選択します。
[タスクを開始する](run-task.md)準備ができました。
### の使用 AWS CLI
[DataSync の転送元と転送先の場所を作成したら](transferring-data-datasync.md)、タスクを作成できます。
1. AWS CLI 設定で、データ転送する AWS リージョン 予定の のいずれかを使用していることを確認してください。
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--name "task-name"
```
1. `--source-location-arn` パラメータには、ソースの場所の Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` には、転送先の場所の ARN を指定します。
AWS リージョン または アカウント間で転送する場合は、ARN に他のリージョンまたはアカウント ID が含まれていることを確認してください。
1. (推奨) `--name` では、簡単に覚えられる名前をタスクに指定してください。
1. 必要に応じて、他のタスクオプションを指定してください。オプションは以下のとおりです。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch](monitor-datasync.md) を使用して転送をモニタリングします。タスクに何らかのモニタリングを設定することをお勧めします。
その他のオプションについては、「[create-task](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-task.html)」を参照してください。以下は、いくつかのオプションを指定する `create-task` コマンドの例です。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--cloud-watch-log-group-arn "arn:aws:logs:region:account-id" \
--name "task-name" \
--options VerifyMode=NONE,OverwriteMode=NEVER,Atime=BEST_EFFORT,Mtime=PRESERVE,Uid=INT_VALUE,Gid=INT_VALUE,PreserveDevices=PRESERVE,PosixPermissions=PRESERVE,PreserveDeletedFiles=PRESERVE,TaskQueueing=ENABLED,LogLevel=TRANSFER
```
1. `create-task` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026"
}
```
[タスクを開始する](run-task.md)準備ができました。
## タスクのステータス
DataSync タスクを作成するときに、そのステータスをチェックして、実行する準備ができているかどうかを確認することができます。
| コンソールのステータス | API ステータス | 説明 |
| --- | --- | --- |
| 使用可能 | `AVAILABLE` | タスクのデータ転送を開始する準備が整いました。 |
| 実行中 | `RUNNING` | タスクの実行が進行中です。詳細については、「[タスクの実行ステータス](run-task.md#understand-task-execution-statuses)」を参照してください。 |
| 使用不可 | `UNAVAILABLE` | タスクで使用されている DataSync エージェントはオフラインです。詳細については、[エージェントがオフラインの場合の対処は?](troubleshooting-datasync-agents.md#troubleshoot-agent-offline)を参照してください。 |
| Queued (キューに追加済み) | `QUEUED` | 同じ DataSync エージェントを使用する別のタスクの実行が進行中です。詳細については、「[タスクがキューに登録されるタイミングを知る](run-task.md#queue-task-execution)」を参照してください。 |
## 複数のタスクを持つ大規模なデータセットのパーティショニング
数百万のファイルやオブジェクト[の移行](datasync-large-migration.md)など、大規模なデータセットを転送する場合は、転送に DataSync 拡張モードを使用することをお勧めします。これにより、実質的に無制限のファイルでデータセットを転送できます。数十億のファイルを含む非常に大規模なデータセットの場合は、データセットを複数の DataSync タスクでパーティション化することを検討する必要があります。データを複数のタスク (場合によっては、場所に応じて[エージェント](do-i-need-datasync-agent.md#multiple-agents)) に分割することで、DataSync がデータの準備と転送にかかる時間を短縮できます。
複数の DataSync タスク間で大きなデータセットをパーティショニングできる方法をいくつか検討してください。
+ 個別のフォルダを転送するタスクを作成します。例えば、ソースストレージで `/FolderA` と `/FolderB` をそれぞれターゲットとする 2 つのタスクを作成できます。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、ファイル、オブジェクト、フォルダのサブセットを転送するタスクを作成します。
このアプローチは、ストレージの I/O 処理を増加し、ネットワーク帯域幅に影響を与える可能性があることに注意してください。詳細については、「[How to accelerate your data transfers with DataSync scale out architectures](https://aws.amazon.com/blogs/storage/how-to-accelerate-your-data-transfers-with-aws-datasync-scale-out-architectures/)」を参照してください。
## 複数のタスクで転送されたデータをセグメント化する
異なるデータセットを同じ転送先に転送する場合は、転送するデータを簡単にセグメント化できるように複数のタスクを作成することができます。
例えば、`MyBucket` という名前の同じ S3 バケットに転送する場合は、各タスクに対応する異なるプレフィックスをバケットに作成できます。この方法では、ファイル名がデータセットと競合するのを防ぎ、プレフィックスごとに異なるアクセス許可を設定できます。この設定方法は次のとおりです。
1. `task1`、`task2`、および `task3` という名前の 3 つのプレフィックスを転送先 `MyBucket` に作成します。
+ `s3://MyBucket/task1`
+ `s3://MyBucket/task2`
+ `s3://MyBucket/task3`
1. `task1`、`task2` および `task3` という名前の 3 つの DataSync タスクを作成し、`MyBucket` に対応するプレフィックスに転送します。
# データ転送のタスクモードの選択
AWS DataSync タスクは、次のいずれかのモードで実行できます。
+ **拡張モード** – ベーシックモードよりも高いパフォーマンスのファイルまたはオブジェクトを事実上無制限に転送します。拡張モードタスクは、データの一覧表示、準備、転送、検証を並行して行うことで、データ転送プロセスを最適化します。拡張モードは現在、Amazon S3 ロケーション間の転送、エージェントなしで Azure Blobと Amazon S3 間の転送、エージェントなしで他のクラウドと Amazon S3 間の転送、拡張モードエージェントを使用した NFS または SMB ファイルサーバーと Amazon S3 間の転送に使用できます。
+ **基本モード** – AWS ストレージと他のサポートされているすべての DataSync ロケーション間でファイルまたはオブジェクトを転送します。基本モードタスクは、データセット内のファイル、オブジェクト、ディレクトリの数に対する[クォータ](datasync-limits.md)の対象となります。基本モードはデータの準備、転送、検証を順に実行するため、ほとんどのワークロードで拡張モードよりも速度は遅くなります。
## タスクモードの違いを理解する
次の情報は、使用するタスクモードを決定するのに役立ちます。
| 機能 | 拡張モードの動作 | 基本モードの動作 |
| --- | --- | --- |
| パフォーマンス | DataSync は、データの一覧表示、準備、転送、検証を並行して実行します。ほとんどのワークロード (大規模なオブジェクトの転送など) で基本モードよりも高いパフォーマンスを発揮します | DataSync は、データの準備、転送、検証を順に実行します。ほとんどのワークロードで、拡張モードよりもパフォーマンスが低くなります |
| DataSync がタスク実行ごとに操作できるデータセット内の項目の数 | 事実上無制限のオブジェクト数 | [クォータ](datasync-limits.md#task-hard-limits)が適用される |
| データ転送の[カウンター](transfer-performance-counters.md)と[メトリクス](monitor-datasync.md) | DataSync がソースロケーションで検出したオブジェクトの数、各タスクの実行中に準備されるオブジェクトの数、ファイルカウンターやオブジェクトカウンターに似たフォルダカウンターなど、ベーシックモードよりも多くのカウンターとメトリクス | 拡張モードよりも少ないカウンターとメトリクス |
| [ログ記録](configure-logging.md) | 構造化ログ (JSON 形式) | 非構造化ログ |
| [サポートされている場所](working-with-locations.md) | 現在、Amazon S3 ロケーション間の転送、エージェントなしの Azure Blob と Amazon S3 間の転送、エージェントなしの他のクラウドと Amazon S3 間の転送、拡張モードエージェントを使用した NFS または SMB ファイルサーバーと Amazon S3 間の転送の場合。 | DataSync がサポートするすべての場所間の転送に使用可能 |
| [データ検証オプション](configure-data-verification-options.md) | DataSync は転送されたデータのみを検証します | DataSync はデフォルトですべてのデータを検証します |
| Cost | 詳細については、「[AWS DataSync の料金](https://aws.amazon.com/datasync/pricing)」ページを参照してください。 | 詳細については、「[AWS DataSync の料金](https://aws.amazon.com/datasync/pricing)」ページを参照してください。 |
| サポートされていないオブジェクトタグの障害の処理 | オブジェクトのタグ付けをサポートしていない場所とのクラウドストレージ転送の場合、ObjectTags オプションが指定されていないか、PRESERVE に設定されている場合、タスクの実行は即座に失敗します。 | オブジェクトのタグ付けをサポートしていない場所とのクラウドストレージ転送の場合、タスクの実行は正常に実行されますが、ObjectTags オプションが指定されていない場合、または PRESERVE に設定されている場合、タグ付けされたオブジェクトのオブジェクトごとの障害が報告されます。 |
## タスクモードの選択
拡張モードは、Amazon S3 ロケーション間の転送、エージェントなしで Azure Blobと Amazon S3 間の転送、エージェントなしで他のクラウドと Amazon S3 間の転送、拡張モードエージェントを使用した NFS または SMB ファイルサーバーと Amazon S3 間の転送にのみ選択できます。それ以外の場合は、基本モードを使用する必要があります。たとえば、オンプレミスの [HDFS ロケーション](create-hdfs-location.md)から S3 ロケーションへの転送には、ベーシックモードが必要です。
タスクのオプションとパフォーマンスは、選択したタスクモードによって異なる場合があります。タスクを作成すると、タスクモードを変更することはできません。
**必要なアクセス許可**
拡張モードタスクを作成するには、DataSync を使用している IAM ロールに `iam:CreateServiceLinkedRole` アクセス許可が必要です。
DataSync ユーザーのアクセス許可については、[AWSDataSyncFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-awsdatasyncfullaccess) の使用を検討してください。これは、ユーザーに DataSync へのフルアクセスと依存関係への最小限のアクセスを提供する AWS マネージドポリシーです。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **タスクモード**では、以下のいずれかのオプションを選択します。
+ **拡張**
+ **ベーシック**
詳細については、「[タスクモードの違いを理解する](#task-mode-differences)」を参照してください。
1. **[設定の構成]** ページにいる間、別のタスクオプションを選択するか、デフォルト設定を使用してください。
オプションは以下のとおりです。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch Logs](monitor-datasync.md) を使用して転送をモニタリングします。
終了したら、**[次へ]** を選択します。
1. タスク構成を確認し、**[Create task]** を選択します。
### の使用 AWS CLI
1. AWS CLI 設定で、データ転送する AWS リージョン 予定の のいずれかを使用していることを確認してください。
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--task-mode "ENHANCED-or-BASIC"
```
1. `--source-location-arn` パラメータには、ソースの場所の Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` には、転送先の場所の ARN を指定します。
AWS リージョン または アカウント間で転送する場合は、ARN に他のリージョンまたはアカウント ID が含まれていることを確認してください。
1. `--task-mode` には `ENHANCED` または `BASIC` を指定します。
詳細については、「[タスクモードの違いを理解する](#task-mode-differences)」を参照してください。
1. 必要に応じて、他のタスクオプションを指定してください。オプションは以下のとおりです。
+ [マニフェスト](transferring-with-manifest.md)または[フィルター](filtering.md)を使用して、転送するデータを指定します。
+ [ファイルメタデータを処理し](configure-metadata.md)、[データ整合性を検証する](configure-data-verification-options.md)方法を設定します。
+ [タスクレポート](task-reports.md)または [Amazon CloudWatch Logs](monitor-datasync.md) を使用して転送をモニタリングします。
その他のオプションについては、「[create-task](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-task.html)」を参照してください。以下は、拡張モードとその他のいくつかのオプションを指定する `create-task` コマンドの例です。
```
aws datasync create-task \
--source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
--name "task-name" \
--task-mode "ENHANCED" \
--options TransferMode=CHANGED,VerifyMode=ONLY_FILES_TRANSFERRED,ObjectTags=PRESERVE,LogLevel=TRANSFER
```
1. `create-task` コマンドを実行します。
コマンドが成功すると、作成した場所の ARN を示す応答が返されます。例えば、次のようになります。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026"
}
```
### DataSync API の使用
[CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html) オペレーションで `TaskMode` パラメータを設定することで DataSync タスクモードを指定できます。
# AWS DataSync 転送対象の選択
AWS DataSync では、転送する内容とデータの処理方法を選択できます。オプションには以下が含まれます。
+ マニフェストを使用してファイルまたはオブジェクトの正確なリストを転送します。
+ フィルターを使用して、転送中の特定のタイプのデータを含めるか除外します。
+ 定期的な転送の場合、前回の転送以降に変更されたデータのみを移動します。
+ ソースの場所にあるデータと一致するように、ソースの場所のデータを上書きします。
+ ストレージ場所間で保存するファイルまたはオブジェクトメタデータを選択します。
**Topics**
+ [マニフェストを使用した特定のファイルまたはオブジェクトの転送](transferring-with-manifest.md)
+ [フィルターを使用した特定のファイル、オブジェクト、フォルダの転送](filtering.md)
+ [DataSync のファイルとオブジェクトのメタデータの処理方法を理解する](metadata-copied.md)
+ [によってコピーされたリンクとディレクトリ AWS DataSync](special-files-copied.md)
+ [ファイル、オブジェクト、メタデータの処理方法の設定](configure-metadata.md)
# マニフェストを使用した特定のファイルまたはオブジェクトの転送
*マニフェスト*は、 AWS DataSync 転送するファイルまたはオブジェクトのリストです。例えば、DataSync は、S3 バケットにある数百万件のオブジェクトをすべて転送するのではなく、ユーザーがマニフェストにリストしたオブジェクトのみを転送します。
マニフェストは[フィルター](filtering.md)に似ていますが、ユーザーはフィルターパターンに一致するデータではなく、転送するファイルまたはオブジェクトを正確に特定することができます。
**注記**
拡張モードタスクを使用するマニフェストファイルの最大許容サイズは 20 GB です。
## マニフェストの作成
マニフェストは、送信元のロケーションにある DataSync で転送するファイルまたはオブジェクトを一覧表示したカンマ区切り (CSV) 形式のファイルです。送信元が S3 バケットの場合は、転送するオブジェクトのバージョンも含めることができます。
**Topics**
+ [ガイドライン](#transferring-with-manifest-guidelines)
+ [マニフェストの例](#manifest-examples)
### ガイドライン
以下は、DataSync と連携するマニフェストを作成するときに役立つガイドラインです。
------
#### [ Do ]
+ 転送する各ファイルまたはオブジェクトの完全なパスを指定する。
ディレクトリまたはフォルダのみを指定して、その中にあるすべてのコンテンツを転送することはできません。その場合は、マニフェストではなく[包含フィルター](filtering.md)の使用を検討します。
+ 各ファイルまたはオブジェクトパスが、DataSync の送信元のロケーションを設定するときに指定した、マウントパス、フォルダ、ディレクトリ、プレフィックスと関連していることを確認する。
例えば、[S3 ロケーション](create-s3-location.md#create-s3-location-how-to)のプレフィックスを `photos` と設定したとします。このプレフィックスには、転送するオブジェクト `my-picture.png` が含まれています。このマニフェストで指定する必要があるのはオブジェクト (`my-picture.png`) のみで、プレフィックスとオブジェクト (`photos/my-picture.png`) ではありません。
+ Amazon S3 オブジェクトのバージョン ID を指定するために、オブジェクトのパスとバージョン ID をカンマを使って区切る。
以下は、2 つのフィールドがあるマニフェストエントリの例です。1 つめのフィールドには `picture1.png` というオブジェクトが含まれています。2 つめのフィールドはカンマで区切られ、バージョン ID `111111` が含まれています。
```
picture1.png,111111
```
+ 以下の場合に引用符を使用する。
+ パスに特殊文字 (カンマ、引用符、改行コード) が含まれている場合。
`"filename,with,commas.txt"`
+ パスが複数の行にまたがる場合。
```
"this
is
a
filename.txt"
```
+ パスに引用符が含まれている場合。
`filename""with""quotes.txt`
これは `filename"with"quotes.txt` という名前のパスです。
これらの引用符ルールはバージョン ID のフィールドにも適用されます。一般に、マニフェストのフィールドに引用符が含まれている場合は、別の引用符を使用してエスケープする必要があります。
+ 各ファイルまたはオブジェクトエントリを改行で区切る。
行は、Linux (ラインフィードかキャリッジリターン) または Windows (キャリッジリターンの後にラインフィード) 形式の改行を使うことで分離できます。
+ マニフェストを保存する (`my-manifest.csv` や `my-manifest.txt` など)。
+ マニフェストを [DataSync がアクセスできる](#transferring-with-manifest-access) S3 バケットにアップロードする。
このバケットは、DataSync を使用しているのと同じ AWS リージョン または アカウントに存在する必要はありません。
------
#### [ Don't ]
+ ディレクトリまたはフォルダのみを指定して、その中のすべてのコンテンツを転送しようとする。
マニフェストに含めることができるのは、転送するファイルまたはオブジェクトへの完全なパスのみです。特定のマウントパス、フォルダ、ディレクトリ、プレフィックスを使用するように送信元のロケーションを設定する場合は、マニフェストにそれを含める必要はありません。
+ 4,096 文字を超えるファイルまたはオブジェクトパスを指定する。
+ 1,024 バイトを超えるファイルパス、オブジェクトパス、Amazon S3 オブジェクトのバージョン ID のいずれかを指定する。
+ 重複するファイルまたはオブジェクトパスを指定する。
+ 送信元のロケーションが S3 バケットでない場合にオブジェクトのバージョン ID を含める。
+ マニフェストエントリに 3 つ以上のフィールドを含める。
1 つのエントリに含めることができるのは、1 つのファイルパスまたはオブジェクトパスと、Amazon S3 オブジェクトのバージョン ID (該当する場合) のみです。
+ UTF-8 エンコーディングに準拠しない文字を含める。
+ 入力フィールドで引用符の外側にスペースを意図せず含める。
------
### マニフェストの例
以下は、DataSync と連携するマニフェストを作成するときに役立つ例です。
**完全なファイルまたはオブジェクトパスを含むマニフェスト**
以下は、転送する完全なファイルまたはオブジェクトパスを含むマニフェストの例です。
```
photos/picture1.png
photos/picture2.png
photos/picture3.png
```
**オブジェクトキーのみを含むマニフェスト**
以下は、Amazon S3 の送信元のロケーションから転送するオブジェクトを含むマニフェストの例です。[ロケーション](create-s3-location.md#create-s3-location-how-to)はプレフィックス `photos` で設定されているため、オブジェクトキーのみを指定します。
```
picture1.png
picture2.png
picture3.png
```
**オブジェクトパスとバージョン ID を含むマニフェスト**
次のマニフェスト例の、最初の 2 つのエントリには、転送する Amazon S3 オブジェクトの具体的なバージョンが含まれています。
```
photos/picture1.png,111111
photos/picture2.png,121212
photos/picture3.png
```
**UTF-8 文字を使用したマニフェスト**
以下は、UTF-8 文字を使用したファイルを含むマニフェストの例です。
```
documents/résumé1.pdf
documents/résumé2.pdf
documents/résumé3.pdf
```
## DataSync に対するマニフェストへのアクセス許可の付与
DataSync に S3 バケット内のマニフェストへのアクセスを許可する AWS Identity and Access Management (IAM) ロールが必要です。このロールには以下のアクセス許可が含まれている必要があります。
+ `s3:GetObject`
+ `s3:GetObjectVersion`
このロールは DataSync コンソールで自動的に生成できますが、自分で作成することもできます。
**注記**
マニフェストが別の にある場合は AWS アカウント、このロールを手動で作成する必要があります。
### IAM ロールの自動作成
コンソールで転送タスクを作成または開始する場合、DataSync は、ユーザーがマニフェストにアクセスするために必要な `s3:GetObject` および `s3:GetObjectVersion` のアクセス許可を持つ IAM ロールを、自動的に作成することができます。
**ロールを自動的に作成するために必要なアクセス許可**
ロールを自動的に作成するには、DataSync コンソールへのアクセスに使用しているロールに以下のアクセス許可があることを確認します。
+ `iam:CreateRole`
+ `iam:CreatePolicy`
+ `iam:AttachRolePolicy`
### IAM ロールの作成 (同じアカウント)
DataSync がマニフェストにアクセスするために必要な IAM ロールは、手動で作成することができます。以下の手順では、DataSync を使用する場所とマニフェストの S3 バケットがある場所が、同じ AWS アカウント である場合を想定しています。
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[AWS のサービス]** を選択します。
1. **[ユースケース]** では、ドロップダウンリストから **[DataSync]** を選び、**[DataSync]** を選択します。**[次へ]** をクリックします。
1. **[アクセス許可を追加]** ページで **[次へ]** を選択してください。ロール名を入力し、**[ロールの作成]** を選択します。
1. **[ロール]** ページで、作成したロールを検索し、その名前を選択します。
1. [データセットの詳細] ページが開くので、**[アクセス許可]** タブを選択します。**[アクセス許可の追加]** を選択し、次いで **[インラインポリシーの作成]** を選択します。
1. **[JSON]** タブを選択し、以下のサンプルポリシーをコピーしてポリシーエディタに貼り付けます。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "DataSyncAccessManifest",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv"
}]
}
```
------
1. 貼り付けたサンプルポリシーで、以下の値を自分の値に置き換えます。
1. `amzn-s3-demo-bucket` を、マニフェストをホストしている S3 バケットの名前に置き換えます。
1. `my-manifest.csv` を、マニフェストのファイル名に置き換えます。
1. [**次へ**] を選択します。ポリシーの名前を入力し、**[ポリシーの作成]** を選択します。
1. (推奨) [サービス間の混乱による代理問題の発生](cross-service-confused-deputy-prevention.md)を防ぐには、次の操作を行います。
1. ロールの詳細ページで **[信頼関係]** タブを選択します。**[信頼ポリシーを編集]** を選択します。
1. `aws:SourceArn` と `aws:SourceAccount` グローバル条件コンテキストキーを含む次の例で信頼ポリシーを更新します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "555555555555"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:555555555555:*"
}
}
}
]
}
```
------
+ 各インスタンスを DataSync を使用している AWS アカウント ID `account-id`に置き換えます。
+ を DataSync を使用している `region`に置き換え AWS リージョン ます。
1. [**ポリシーの更新**] を選択してください。
DataSync にマニフェストへのアクセスを許可する IAM ロールを作成しました。このロールはタスクを[作成](#manifest-creating-task)または[開始](#manifest-starting-task)するときに指定します。
### IAM ロールの作成 (異なるアカウント)
マニフェストが別の に属する S3 バケットにある場合は AWS アカウント、DataSync がマニフェストにアクセスするために使用する IAM ロールを手動で作成する必要があります。次に、マニフェスト AWS アカウント がある で、ロールを S3 バケットポリシーに含める必要があります。
#### ロールの作成
1. IAM コンソール ([https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)) を開きます。
1. 左側のナビゲーションペインの **[アクセス管理]** で、**[ロール]** を選択し、**[ロールの作成]** を選択します。
1. **[信頼されたエンティティを選択]** ページで、**[信頼されたエンティティタイプ]** に **[AWS のサービス]** を選択します。
1. **[ユースケース]** では、ドロップダウンリストから **[DataSync]** を選び、**[DataSync]** を選択します。**[次へ]** をクリックします。
1. **[アクセス許可を追加]** ページで **[次へ]** を選択してください。ロール名を入力し、**[ロールの作成]** を選択します。
1. **[ロール]** ページで、作成したロールを検索し、その名前を選択します。
1. [データセットの詳細] ページが開くので、**[アクセス許可]** タブを選択します。**[アクセス許可の追加]** を選択し、次いで **[インラインポリシーの作成]** を選択します。
1. **[JSON]** タブを選択し、以下のサンプルポリシーをコピーしてポリシーエディタに貼り付けます。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "DataSyncAccessManifest",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/my-manifest.csv"
}]
}
```
------
1. 貼り付けたサンプルポリシーで、以下の値を自分の値に置き換えます。
1. `amzn-s3-demo-bucket` を、マニフェストをホストしている S3 バケットの名前に置き換えます。
1. `my-manifest.csv` を、マニフェストのファイル名に置き換えます。
1. [**次へ**] を選択します。ポリシーの名前を入力し、**[ポリシーの作成]** を選択します。
1. (推奨) [サービス間の混乱による代理問題の発生](cross-service-confused-deputy-prevention.md)を防ぐには、次の操作を行います。
1. ロールの詳細ページで **[信頼関係]** タブを選択します。**[信頼ポリシーを編集]** を選択します。
1. `aws:SourceArn` と `aws:SourceAccount` グローバル条件コンテキストキーを含む次の例で信頼ポリシーを更新します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "datasync.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "000000000000"
},
"ArnLike": {
"aws:SourceArn": "arn:aws:datasync:us-east-1:000000000000:*"
}
}
}
]
}
```
------
+ の各インスタンスを DataSync を使用している AWS アカウント ID `account-id`に置き換えます。
+ を DataSync を使用している `region`に置き換え AWS リージョン ます。
1. [**ポリシーの更新**] を選択してください。
S3 バケットポリシーに含めることができる IAM ロールを作成しました。
#### ロールを使用した S3 バケットポリシーの更新
IAM ロールを作成したら、マニフェスト AWS アカウント がある別の の S3 バケットポリシーに追加する必要があります。
1. で AWS マネジメントコンソール、マニフェストの S3 バケットを持つアカウントに切り替えます。
1. Amazon S3 コンソール ([https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/)) を開きます。
1. バケットの詳細ページで、**[アクセス許可]** タブを選択します。
1. **[バケットポリシー]** で **[編集]** を選択し、次の操作を行って S3 バケットポリシーを変更します。
1. エディタの内容を更新して、以下のポリシーステートメントを含めてください。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "DataSyncAccessManifestBucket",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetObjectVersion"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket"
}
]
}
```
------
1. を `account-id` DataSync を使用しているアカウントの AWS アカウント ID に置き換えます。 DataSync
1. `datasync-role` を、マニフェストへのアクセスを DataSync に許可する先ほど作成した IAM ロールに置き換えます。
1. `amzn-s3-demo-bucket` を、他の AWS アカウントでマニフェストをホストしている S3 バケットの名前に置き換えます。
1. **[Save changes]** (変更の保存) をクリックします。
別のアカウントにあるマニフェストへのアクセスを DataSync に許可する IAM ロールを作成しました。このロールはタスクを[作成](#manifest-creating-task)または[開始](#manifest-starting-task)するときに指定します。
## タスク作成時のマニフェストの指定
タスクを作成するときは、DataSync で使用するマニフェストを指定することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[タスク]** を選択してから、**[タスクの作成]** を選択します。
1. タスクのソースと転送先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[スキャンするコンテンツ]** で **[特定のファイル、オブジェクト、フォルダ]** を選択し、**[マニフェストの使用]** を選択します。
1. **[S3 URI]** では、S3 バケットでホストされているマニフェストを選択します。
URI を入力することもできます (例: `s3://bucket/prefix/my-manifest.csv`)。
1. **[オブジェクトバージョン]** で、DataSync で使用するマニフェストのバージョンを選択します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. **[マニフェストのアクセスロール]** で、以下のいずれかを実行します。
+ DataSync の **[自動生成]** を選択し、S3 バケット内のマニフェストへのアクセスに必要なアクセス許可を持つ IAM ロールを、自動的に作成します。
+ マニフェストにアクセスできる既存の IAM ロールを選択します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
1. 必要なその他のタスク設定を設定し、**[次へ]** を選択します。
1. **[Create task]** (タスクの作成) を選択します。
### の使用 AWS CLI
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \
--destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \
--manifest-config {
"Source": {
"S3": {
"ManifestObjectPath": "s3-object-key-of-manifest",
"BucketAccessRoleArn": "bucket-iam-role",
"S3BucketArn": "amzn-s3-demo-bucket-arn",
"ManifestObjectVersionId": "manifest-version-to-use"
}
}
}
```
1. `--source-location-arn` パラメータで、転送の送信元ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` パラメータで、転送の送信先ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--manifest-config` パラメータについては、以下を行います。
+ `ManifestObjectPath` – マニフェストの S3 オブジェクトキーを指定します。
+ `BucketAccessRoleArn` – S3 バケット内のマニフェストへのアクセスを DataSync に許可する IAM ロールを指定します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
+ `S3BucketArn` – マニフェストをホストしている S3 バケットの ARN を指定します。
+ `ManifestObjectVersionId` – DataSync で使用するマニフェストのバージョンを指定します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. `create-task` コマンドを実行してタスクを作成します。
準備ができたら[転送タスクを開始](run-task.md)できます。
## タスク開始時のマニフェストの指定
DataSync で使用するマニフェストはタスクの実行時に指定することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで、**[タスク]** を選択し、開始するタスクを選択します。
1. タスクの概要ページで、**[開始]** を選択し、**[オプションを上書きして開始する]** を選択します。
1. **[スキャンするコンテンツ]** で **[特定のファイル、オブジェクト、フォルダ]** を選択し、**[マニフェストの使用]** を選択します。
1. **[S3 URI]** では、S3 バケットでホストされているマニフェストを選択します。
URI を入力することもできます (例: `s3://bucket/prefix/my-manifest.csv`)。
1. **[オブジェクトバージョン]** で、DataSync で使用するマニフェストのバージョンを選択します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. **[マニフェストのアクセスロール]** で、以下のいずれかを実行します。
+ DataSync の **[自動生成]** を選択し、S3 バケット内のマニフェストにアクセスするための IAM ロールを自動的に作成します。
+ マニフェストにアクセスできる既存の IAM ロールを選択します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
1. **[開始]** を選択して転送を開始します。
### の使用 AWS CLI
1. 次の `start-task-execution` コマンドをコピーします。
```
aws datasync start-task-execution \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh \
--manifest-config {
"Source": {
"S3": {
"ManifestObjectPath": "s3-object-key-of-manifest",
"BucketAccessRoleArn": "bucket-iam-role",
"S3BucketArn": "amzn-s3-demo-bucket-arn",
"ManifestObjectVersionId": "manifest-version-to-use"
}
}
}
```
1. `--task-arn` パラメータで、開始するタスクの Amazon リソースネーム (ARN) を指定します。
1. `--manifest-config` パラメータについては、以下を行います。
+ `ManifestObjectPath` – マニフェストの S3 オブジェクトキーを指定します。
+ `BucketAccessRoleArn` – S3 バケット内のマニフェストへのアクセスを DataSync に許可する IAM ロールを指定します。
詳細については、「[DataSync に対するマニフェストへのアクセス許可の付与](#transferring-with-manifest-access)」を参照してください。
+ `S3BucketArn` – マニフェストをホストしている S3 バケットの ARN を指定します。
+ `ManifestObjectVersionId` – DataSync で使用するマニフェストのバージョンを指定します。
デフォルトでは、DataSync はオブジェクトの最新バージョンを使用します。
1. `start-task-execution` コマンドを実行して転送を開始します。
## 制限事項
+ マニフェストを[フィルター](filtering.md)と一緒に使用することはできません。
+ ディレクトリまたはフォルダのみを指定して、その中にあるすべてのコンテンツを転送することはできません。その場合は、マニフェストではなく[包含フィルター](filtering.md)の使用を検討します。
+ **[削除されたファイルを保持する]** のタスクオプション ([API ](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PreserveDeletedFiles)の `PreserveDeletedFiles`) を使用して、[送信元にないファイルまたはオブジェクトを送信先に維持する](configure-metadata.md)ことはできません。DataSync はマニフェストにリストされているもののみを転送し、送信先にあるものを削除することはありません。
## トラブルシューティング
**`HeadObject` または `GetObjectTagging` に関連するエラー**
S3 バケットから特定のバージョン ID を持つオブジェクトを転送すると、`HeadObject` または `GetObjectTagging` に関連したエラーが表示されることがあります。例えば、以下は `GetObjectTagging` に関連したエラーの例です。
```
[WARN] Failed to read metadata for file /picture1.png (versionId: 111111): S3 Get Object Tagging Failed
[ERROR] S3 Exception: op=GetObjectTagging photos/picture1.png, code=403, type=15, exception=AccessDenied,
msg=Access Denied req-hdrs: content-type=application/xml, x-amz-api-version=2006-03-01 rsp-hdrs: content-type=application/xml,
date=Wed, 07 Feb 2024 20:16:14 GMT, server=AmazonS3, transfer-encoding=chunked,
x-amz-id-2=IOWQ4fDEXAMPLEQM+ey7N9WgVhSnQ6JEXAMPLEZb7hSQDASK+Jd1vEXAMPLEa3Km, x-amz-request-id=79104EXAMPLEB723
```
これらのエラーのいずれかが表示された場合は、DataSync が S3 の送信元のロケーションにアクセスするために使用する IAM ロールに、次のアクセス許可があることを確認します。
+ `s3:GetObjectVersion`
+ `s3:GetObjectVersionTagging`
これらのアクセス許可でロールを更新する必要がある場合は、「[DataSync が Amazon S3 ロケーションにアクセスするために必要な IAM ロールの作成](create-s3-location.md#create-role-manually)」を参照してください。
**エラー: `ManifestFileDoesNotExist`**
このエラーは、マニフェスト内のファイルがソースで見つからなかったことを示します。マニフェストを作成するための[ガイドライン](#transferring-with-manifest-guidelines)を確認してください。
## 次の手順
タスクをまだ開始していない場合は、[開始します](run-task.md)。既に開始している場合は、[タスクのアクティビティをモニタリングします](monitoring-overview.md)。
# フィルターを使用した特定のファイル、オブジェクト、フォルダの転送
AWS DataSync では、フィルターを適用して、転送のソースロケーションからデータを含めたり除外したりできます。例えば、`.tmp` で終わる一時ファイルを転送したくない場合、それらのファイルが転送先の場所に転送されないようにする除外フィルターを作成できます。
同じ転送タスクで、除外フィルターと包含フィルターを組み合わせて使用できます。タスクのフィルターを変更すると、それらの変更は次回タスクを実行するときに適用されます。
## フィルタリングの条件、定義、および構文
DataSync フィルタリングに関連する概念を理解します。
**フィルター **
特定のフィルターを構成する文字列全体 (例: `*.tmp``|``*.temp` または `/folderA|/folderB`)
フィルターは、\$1 (パイプ) で区切られたパターンで構成されます。DataSync コンソールでパターンを追加する際には、各パターンを個別に追加するため、区切り文字は必要ありません。
フィルターでは大文字と小文字が区別されます。たとえば、フィルター `/folderA` は `/FolderA` に一致しません。
**パターン**
フィルター内のパターン。たとえば、`*.tmp` は、`*.tmp``|``*.temp` フィルターの一部のパターンです。フィルターに複数のパターンがある場合は、パイプ (\$1) を使用して各パターンを区切ります。
**フォルダ**
+ すべてのフィルターは、ソースの場所のパスと相対的です。例えば、ソースの場所とタスクを作成する際にソースパスとして `/my_source/` を指定し、包含フィルター `/transfer_this/` を指定したとします。この場合、DataSync はディレクトリ `/my_source/transfer_this/` とそのコンテンツのみを転送します。
+ ソースの場所の直下のフォルダを指定するには、フォルダ名の前にスラッシュ (/) を含めます。前の例では、パターンは `transfer_this` ではなく `/transfer_this` を使用します。
+ DataSync は以下のパターンと同じ方法で解釈され、フォルダとそのコンテンツの両方に一致します。
`/dir`
`/dir/`
+ Amazon S3 バケットとの間でデータを転送する場合、DataSync はオブジェクトキー内の `/` 文字をファイルシステム上のフォルダと同じように処理します。
**特殊文字**
フィルタリングで使用する特殊文字は、次のとおりです。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/filtering.html)
## フィルターの例:
次の例では、共通のフィルターを DataSync とともに使用する方法を示しています。
**注記**
フィルターで使用できる文字数には制限があります。詳細については、「[DataSync クォータ](datasync-limits.md#task-hard-limits)」を参照してください。
**ソースの場所から一部のフォルダの除外**
場合によっては、ソースの場所のフォルダを除外してコピー先にコピーしないようにすることもあります。たとえば、作業中の一時的なフォルダーがある場合は、次のようなフィルターを使用できます。
`*/.temp`
内容が似ているフォルダー (`/reports2021` や `/reports2022)` など) を除外するには、次のような除外フィルターを使用できます。
`/reports*`
ファイル階層のいずれかのレベルでフォルダを除外するには、次のように、除外フィルターを使用することができます。
`*/folder-to-exclude-1`\$1`*/folder-to-exclude-2`
ソースの場所の最上位レベルでフォルダを除外するには、次のように、除外フィルターを使用することができます。
`/top-level-folder-to-exclude-1`\$1`/top-level-folder-to-exclude-2`
**ソースの場所でフォルダのサブセットを含める**
場合によっては、ソースの場所の共有が大きく、ルートの下にあるフォルダのサブセットを転送する場合があります。特定のフォルダを含めるには、次のような包含フィルターを使用して、タスクの実行を開始します。
`/folder-to-transfer/*`
**特定のファイルタイプを除外する**
特定の種類のファイルを転送から除外するには、`*.temp` のような除外フィルターを使用してタスクの実行を作成できます。
**指定した個別のファイルを転送する**
個別のファイルのリストを転送するには、次のような包含フィルターを使用して、タスクの実行を開始します:「`/folder/subfolder/file1.txt`\$1`/folder/subfolder/file2.txt`\$1`/folder/subfolder/file2.txt`」
## 包含フィルターの作成
包含フィルターは、タスクの実行時に DataSync によって転送されるファイル、フォルダ、およびオブジェクトを定義します。包含フィルターは、タスクの作成、編集、または開始時に設定できます。
DataSync は、包含フィルターに一致するファイルとフォルダーのみをスキャンして転送します。例えば、ソースフォルダのサブセットが含まれるようにするには、`/important_folder_1`\$1`/important_folder_2` と指定します。
**注記**
包含フィルターは、ワイルドカード (\$1) 文字をパターン内の右端の文字としてのみサポートします。たとえば、`/documents*`\$1`/code*` はサポートされていますが、`*.txt` はサポートされていません。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[タスク]** を選択してから、**[タスクの作成]** を選択します。
1. タスクのソースと転送先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **コンテンツをスキャンするには**、**特定のファイル、オブジェクト、フォルダ**を選択し、**[Using filters]** を選択します。
1. **[包含]** には、フィルター (例えば、重要なディレクトリを含める `/important_folders` など) を入力し、**[パターンを追加する]** を選択します。
1. 必要に応じて、他の包含フィルターも追加します。
### の使用 AWS CLI
を使用する場合は AWS CLI、フィルターの周囲に一重引用符 (`'`) を使用し、複数のフィルターがある場合は \$1 (パイプ) を区切り文字として使用する必要があります。
次の例では、`create-task` コマンドを実行するときに 2 つの包含フィルター `/important_folder1` と `/important_folder2` を指定します。
```
aws datasync create-task
--source-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--includes FilterType=SIMPLE_PATTERN,Value='/important_folder1|/important_folder2'
```
## 除外フィルターの作成
除外フィルターは、ソースの場所にある DataSync が転送しないファイル、オブジェクト、フォルダを定義します。これらのフィルターは、タスクの作成、編集、または開始時に設定できます。
**Topics**
+ [デフォルトで除外されるデータ](#directories-ignored-during-transfers)
### デフォルトで除外されるデータ
DataSync は、一部のデータの送信を自動的に除外します。
+ `.snapshot` – DataSync は、`.snapshot` で終わるパスをすべて無視します。これは通常、ストレージシステムのファイルまたはディレクトリのポイントインタイムスナップショットに使用されます。
+ `/.aws-datasync` と `/.awssync` – DataSync は、転送を容易にするためにこれらのディレクトリをユーザーの場所に作成します。
+ `/.zfs` – Amazon FSx for OpenZFS のロケーションのディレクトリが表示される場合があります。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[タスク]** を選択してから、**[タスクの作成]** を選択します。
1. タスクのソースと転送先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[除外]** の場合は、フィルター (例えば、一時フォルダを除外するための `*/temp` など) を入力して、**[パターンを追加する]** を選択します。
1. 必要に応じて、他の除外フィルターを追加します。
1. 必要に応じて、[包含フィルター](#include-filters)を追加します。
### の使用 AWS CLI
を使用する場合は AWS CLI、フィルターの周囲に一重引用符 (`'`) を使用し、複数のフィルターがある場合は \$1 (パイプ) を区切り文字として使用する必要があります。
次の例では、`create-task` コマンドを実行するときに 2 つの除外フィルター `*/temp` と `*/tmp` を指定します。
```
aws datasync create-task \
--source-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
--excludes FilterType=SIMPLE_PATTERN,Value='*/temp|*/tmp'
```
# DataSync のファイルとオブジェクトのメタデータの処理方法を理解する
AWS DataSync は、データ転送中にファイルまたはオブジェクトのメタデータを保持できます。メタデータがどのようにコピーされるかは、転送場所と、それらの場所で同様の種類のメタデータが使用されているかどうかに依存します。
## システムレベルのメタデータ
一般的に、DataSync はシステムレベルのメタデータをコピーしません。たとえば、SMB ファイルサーバーから転送する場合、ファイルシステムレベルで設定した権限は転送先のストレージシステムにコピーされません。
いくつかの例外があります。Amazon S3 と他のオブジェクトストレージ間で転送する場合、DataSync は[システム定義のオブジェクトメタデータ](#metadata-copied-between-object-s3)をコピーします。
## Amazon S3 転送でコピーされたメタデータ
次の表は、転送が Amazon S3 の場所に関係する場合、 DataSync がコピーできるメタデータを示しています。
**Topics**
+ [Amazon S3 へ](#metadata-copied-to-s3)
+ [Amazon S3 と他のオブジェクトストレージ間](#metadata-copied-between-object-s3)
+ [Amazon S3 と HDFS の間](#metadata-copied-between-hdfs-s3)
### Amazon S3 へ
| これらの場所のいずれかからコピーする場合 | この場所へ | DataSync はコピーできます |
| --- | --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 以下はAmazon S3 ユーザーメタデータです。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) Amazon S3 ユーザーメタデータに保存されているファイルメタデータは、 AWS Storage Gatewayのファイルゲートウェイの NFS 共有と相互運用できます。ファイルゲートウェイは、オンプレミスネットワークから DataSync によって Amazon S3 にコピーされたデータへの低レイテンシーアクセスを可能にします。メタデータは、Amazon FSx for Lustre とも相互運用できます。 DataSync が、このメタデータを含むオブジェクトを NFS サーバーにコピーして戻す際には、ファイルのメタデータは復元されます。メタデータを復元するには、NFS サーバーに昇格したアクセス許可を付与する必要があります。詳細については、「[NFS ファイルサーバーを使用した AWS DataSync 転送の設定](create-nfs-location.md)」を参照してください。 |
### Amazon S3 と他のオブジェクトストレージ間
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html)
### Amazon S3 と HDFS の間
| これらの場所間でコピーする場合 | DataSync はコピーできます |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 以下はAmazon S3 ユーザーメタデータです。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html)HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。 |
## NFS 転送でコピーされたメタデータ
次の表は、DataSync がネットワークファイルシステム (NFS) を使用する場所間でコピーできるメタデータについて説明します。
| これらの場所間でコピーする場合 | DataSync はコピーできます |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) |
## SMB 転送でコピーされたメタデータ
次の表は、DataSync がサーバーメッセージブロック (SMB) を使用する場所間でコピーできるメタデータについて説明します。
| これらの場所間でコピーする場合 | DataSync はコピーできます |
| --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) |
## 他の転送シナリオでコピーされたメタデータ
DataSync は、これらのストレージシステム (多くの場合、メタデータ構造が異なる) 間でコピーする際にメタデータを次のように処理します。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html)
## DataSync がデフォルト POSIX メタデータを適用する時間と方法についての説明
DataSync は、次の場合にデフォルトの POSIX メタデータを適用します。
+ 転送元と転送先のメタデータ構造が似ていない場合
+ ソースの場所にメタデータが欠落している場合
次の表では、DataSyncがこれらのタイプの転送中にデフォルトのPOSIXメタデータを適用する方法について説明します：
| ソース | 目的地 | ファイル権限 | フォルダのアクセス許可 | UID | GID |
| --- | --- | --- | --- | --- | --- |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 0755 | 0755 | 65534 | 65534 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 0644 | 0755 | 65534 | 65534 |
| [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/metadata-copied.html) | 0644 | 0755 | 65534 | 65534 |
1 DataSync によって以前に適用されたメタデータがオブジェクトにない場合。
# によってコピーされたリンクとディレクトリ AWS DataSync
AWS DataSync は、転送に関連するストレージの場所に応じて、ハードリンク、シンボリックリンク、およびディレクトリを異なる方法で処理します。
## ハードリンク
一般的な転送シナリオで DataSync がハードリンクを処理する方法は次のとおりです。
+ **NFS ファイルサーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、および Amazon EFS 間で転送する場合**、ハードリンクは保存されます。
+ **Amazon S3 に転送する場合**、ハードリンクによって参照される各ファイルは 1 回だけ転送されます。増分転送中に、S3 バケットに個別のオブジェクトが作成されます。Amazon S3 でハードリンクが変更されていない場合、NFS ファイル サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用する)、または Amazon EFS ファイル システムに転送すると、正しく復元されます。
+ **Microsoft Azure Blob Storage に転送する場合**、ハード リンクによって参照されるファイルは 1 回だけ転送されます。増分転送中に、ソースに新しい参照がある場合、blob storage に個別のオブジェクトが作成されます。Azure Blob Storage から転送する場合、DataSync はハードリンクを個別のファイルであるかのように転送します。
+ **SMB ファイルサーバー、FSx for Windows ファイル サーバー、および FSx for ONTAP (SMB を使用) の間で転送する場合**、ハードリンクはサポートされません。このような状況で DataSync がハードリンクに遭遇した場合、転送タスクはエラーで完了します。詳細については、CloudWatch のログを確認してください。
+ **HDFS に転送する場合**、ハードリンクはサポートされません。CloudWatch ログには、これらのリンクがスキップされたと表示されます。
## シンボリックリンク
一般的な転送シナリオで DataSync がシンボリックリンクを処理する方法は次のとおりです。
+ **NFS ファイル サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、および Amazon EFS の間で転送する場合**、シンボリックリンクは保存されます。
+ **Amazon S3 に転送ーする場合**、リンクのターゲットパスが Amazon S3 オブジェクトに保存されます。リンクは、NFS ファイル サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP、または Amazon EFS ファイル システムに転送されると正しく復元されます。
+ **Azure Blob Storage に転送する場合**、シンボリックリンクはサポートされません。CloudWatch ログには、これらのリンクがスキップされたと表示されます。
+ **SMB ファイルサーバー、FSx for Windows ファイルサーバー、および FSx for ONTAP (SMB を使用) の間で転送する場合**、シンボリックリンクはサポートされません。DataSync はシンボリックリンク自体を転送せず、シンボリックリンクによって参照されるファイルを転送します。重複したファイルを認識し、シンボリックリンクで重複排除するには、転送先ファイルシステムで重複排除を設定する必要があります。
+ **HDFS に転送する場合**、シンボリックリンクはサポートされません。CloudWatch ログには、これらのリンクがスキップされたと表示されます。
## ディレクトリ
一般に、DataSync はストレージシステム間の転送時にディレクトリを保存します。これは次の状況には当てはまりません。
+ **Amazon S3 に転送する場合**、ディレクトリはプレフィックスが付き、末尾がフォワードスラッシュ (`/`) の空のオブジェクトとして表現されます。
+ **階層名前空間を使用せずに Azure Blob Storage に転送すると**、ディレクトリは存在しません。ディレクトリのように見えるものは、オブジェクト名の一部に過ぎません。
# ファイル、オブジェクト、メタデータの処理方法の設定
ロケーション間で転送するときに、 がファイル、オブジェクト、および関連するメタデータ AWS DataSync を処理する方法を設定できます。
たとえば、定期的な転送では、転送先のファイルを転送元の変更で上書きして、場所間の同期を維持したい場合があります。ファイルやフォルダの POSIX 許可、オブジェクトに関連付けられたタグ、アクセスコントロールリスト (ACL)などのプロパティをコピーできます。
## 転送モードのオプション
DataSync がタスクを実行するたびに、最初のコピーの後に変更されたデータ (メタデータを含む) のみを転送するか、すべてのデータを転送するかを設定できます。定期的に転送を行う予定の場合は、前回のタスク実行以降に変更されたもののみを転送することをお勧めします。
| コンソールのオプション | API のオプション | 説明 |
| --- | --- | --- |
| **変更されたデータのみを転送する** | [TransferMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-TransferMode) を `CHANGED` に設定 | 最初の完全転送後、DataSync は、送信元と送信先の場所で異なるデータとメタデータのみをコピーします。 |
| **すべてのデータを転送する** | [TransferMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-TransferMode) を `ALL` に設定 | DataSync は、場所間の違いを比較せずに、送信元のすべてを送信先にコピーします。 |
## ファイルとオブジェクトの処理オプション
DataSync が送信先の場所にあるファイルまたはオブジェクトを処理する方法の一部を制御できます。例えば、DataSync は送信元にない送信先のファイルを削除できます。
| コンソールのオプション | API のオプション | 説明 |
| --- | --- | --- |
| **削除されたファイルを保持する** | [PreserveDeletedFiles](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PreserveDeletedFiles) | 送信元に存在しない、送信先の場所にある DataSync マニフェストファイルまたはオブジェクトを保持するかどうかを指定します。 タスクが Amazon S3 バケットからオブジェクトを削除するよう設定している場合、特定のストレージクラスに対して最小ストレージ期間料金が発生する可能性があります。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 送信先のデータを削除し、[すべてのデータを転送する](#task-option-transfer-mode)ようにもタスクを設定することはできません。すべてのデータを転送すると、DataSync は転送先の場所をスキャンしないため、何を削除すればよいかがわかりません。 |
| **ファイルを上書きする** | [OverwriteMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-OverwriteMode) | 送信元のデータまたはメタデータが変更されたときに DataSync が送信先の場所のデータを変更するかどうかを指定します。データを上書きするようにタスクを設定していない場合、送信元のデータが異なる場合でも、送信先データは上書きされません。 タスクがオブジェクトを上書きする場合、特定のストレージクラスに対して追加料金が発生する可能性があります (たとえば、取得や早期削除など)。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 |
## メタデータ処理オプション
DataSync は転送中にファイルとオブジェクトのメタデータを保存できます。DataSync が保存できるメタデータは、関連するストレージシステムと、それらのシステムが同様のメタデータ構造を使用しているかどうかによって異なります。
タスクの設定を行う前に、DataSync が送信元と送信先の場所の間で転送を行う際に、[メタデータ](metadata-copied.md)と[特殊ファイル](special-files-copied.md)をどのように処理するのかを理解しておいてください。
**重要**
DataSync は、Google Cloud Storage や IBM Cloud Object Storage など、特定のサードパーティーのクラウドストレージシステムとの間の転送をサポートしています。これらのシステムは、完全に S3 互換ではない方法でシステムメタデータを処理します。これらの転送では、DataSync は `ContentType`、`ContentEncoding`、`ContentLanguage`、`CacheControl` などのメタデータ属性をベストエフォートベースでコピーしようとします。送信先のストレージシステムがこれらの属性を適用しない場合、タスクの検証中は無視されます。
| コンソールのオプション | API のオプション | 説明 |
| --- | --- | --- |
| **所有権のコピー** | [Gid](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Gid) と [Uid](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Uid) | DataSync が POSIX ファイルやフォルダの所有権 (ファイルの所有者のグループ ID やファイルの所有者のユーザー ID など) をコピーするかどうかを指定します。 |
| **権限のコピー** | [PosixPermissions](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-PosixPermissions) | DataSync がファイルやフォルダに対する POSIX アクセス許可を送信元から送信先にコピーするかどうかを指定します。 |
| タイムスタンプのコピー | [Atime](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Atime) と [Mtime](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-Mtime) | DataSync がタイムスタンプのメタデータを送信元から送信先にコピーするかどうかを指定します。タスクを複数回実行する必要がある場合に必要です。 |
| オブジェクトタグのコピー | [ObjectTags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-ObjectTags) | DataSync がオブジェクトストレージシステム間で転送するときに、オブジェクトに関連付けられたタグを保持するかどうかを指定します。 |
| 所有権、DACL、SACL のコピー | [SecurityDescriptorCopyFlags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-SecurityDescriptorCopyFlags) を OWNER\$1DACL\$1SACL に設定 | DataSync は以下をコピーします。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/configure-metadata.html) |
| 所有権と DACL のコピー | [SecurityDescriptorCopyFlags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-SecurityDescriptorCopyFlags) を OWNER\$1DACL に設定 | DataSync は以下をコピーします。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/configure-metadata.html) このオプションを選択すると、DataSync は SACL をコピーしません。 |
| 所有権や ACL をコピーしない | [SecurityDescriptorCopyFlags](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-SecurityDescriptorCopyFlags) を NONE に設定 | DataSync は所有権や権限のデータをコピーしません。DataSync が転送先に書き込むオブジェクトは、DataSync が転送先の場所にアクセスするための認証情報を提供するユーザーによって所有されています。転送先オブジェクトのアクセス許可は、転送先サーバーで設定されたアクセス許可に基づいて決定されます。 |
## ファイル、オブジェクト、メタデータの処理オプションの設定
転送タスクを作成、編集、または開始するときに、DataSync がファイル、オブジェクト、メタデータを処理する方法を設定できます。
### DataSync コンソールの使用
次の手順では、タスクの作成時にファイル、オブジェクト、メタデータの処理オプションを設定する方法について説明します。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **転送モード**の場合、以下のいずれかのオプションを選択します。
+ **変更されたデータのみを転送する**
+ **すべてのデータを転送する**
これらのパラメータの詳細については「[転送モードのオプション](#task-option-transfer-mode)」を参照してください。
1. ソースに存在しないファイルまたはオブジェクトを転送先の場所で DataSync に保持するには、**[削除されたファイルを保持する]** を選択します。
このオプションを選択せず、タスクが Amazon S3 バケットからオブジェクトを削除した場合、特定のストレージクラスに対して最小ストレージ期間料金が発生する可能性があります。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。
**警告**
このオプションを選択解除して [**Transfer all data (すべてのデータを転送)**] を有効にすることはできません。すべてのデータを転送すると、DataSync は転送先の場所をスキャンしないため、何を削除すればよいかがわかりません。
1. ソースデータまたはメタデータが変更されたときに DataSync に転送先のデータを変更する場合は、**[ファイルを上書きする]** を選択します。
タスクがオブジェクトを上書きする場合、特定のストレージクラスに対して追加料金が発生する可能性があります (たとえば、取得や早期削除など)。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。
このオプションを選択しない場合、転送先のデータが異なっていても転送先のデータは上書きされません。
1. **[転送オプション]** で、DataSync がメタデータを処理する方法を選択します。オプションの詳細については、「[メタデータ処理オプション](#task-option-metadata-handling)」を参照してください。
**重要**
コンソールに表示されるオプションは、タスクの送信元と送信先の場所によって異なります。これらのオプションの一部は、表示するために **[追加の設定]** を展開する必要がある場合があります。
+ **所有権のコピー**
+ **権限のコピー**
+ **タイムスタンプのコピー**
+ **オブジェクトタグのコピー**
+ **所有権、DACL、SACL のコピー**
+ **所有権と DACL のコピー**
+ **所有権や ACL をコピーしない**
### DataSync API の使用
次のいずれかのオペレーションで `Options` パラメータを使用して、ファイル、オブジェクト、メタデータの処理オプションを設定できます。
+ [CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html)
+ [StartTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_StartTaskExecution.html)
+ [UpdateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html)
# AWS DataSync がデータ整合性を検証する方法の設定
転送中、 はチェックサム検証 AWS DataSync を使用して、ロケーション間でコピーするデータの整合性を検証します。転送の最後に追加の検証を実行するように DataSync を設定することもできます。
## データ検証オプション
以下の情報は、DataSync がこれらの追加のチェックを実行するかどうか、またはその方法を決定する際に役立ちます。
| コンソールオプション | API オプション | 説明 |
| --- | --- | --- |
| **転送されたデータのみを検証する** (推奨) | [VerifyMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-VerifyMode) を `ONLY_FILES_TRANSFERRED` に設定 | DataSync は、送信元の場所で転送されたデータ (メタデータを含む) のチェックサムを計算します。転送終了時に、DataSync はこのチェックサムを転送先の同じデータで計算されたチェックサムと比較します。 S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスに転送する場合は、このオプションをお勧めします。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 |
| **すべてのデータを検証する** | [VerifyMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-VerifyMode) を `POINT_IN_TIME_CONSISTENT` に設定 | 転送の終了時に、DataSync は送信元全体と送信先全体をチェックし、両方の場所が完全に同期されていることを検証します。 タスクで[拡張モード](choosing-task-mode.md)を使用する場合はサポートされません。 [マニフェスト](transferring-with-manifest.md)を使用する場合、DataSync はマニフェストにリストされているもののみをスキャンおよび検証します。 S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスに転送する場合は、このオプションは使用できません。詳細については、「[Amazon S3 転送におけるストレージクラスに関する考慮事項](create-s3-location.md#using-storage-classes)」を参照してください。 |
| 転送後にデータを検証しない | [VerifyMode](https://docs.aws.amazon.com/datasync/latest/userguide/API_Options.html#DataSync-Type-Options-VerifyMode) を `NONE` に設定 | DataSync は転送中にのみデータ整合性チェックを実行します。他のオプションとは異なり、転送の終了時に追加の検証はありません。 |
## データ検証の設定
タスクの作成、タスクの更新、またはタスク実行の開始時に、データ検証オプションを設定できます。
### DataSync コンソールの使用
次の手順では、タスクを作成するときにデータ検証オプションを設定する方法について説明します。
**コンソールを使用してデータ検証を設定するには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[検証]** では、次のいずれかを選択します。
+ **転送されたデータのみを検証する** (推奨)
+ **すべてのデータを検証する**
+ **転送後にデータを検証しない**
### DataSync API の使用
DataSync のデータを検証する方法は、次の操作で `VerifyMode` パラメータを使用して設定できます。
+ [CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html)
+ [UpdateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html)
+ [StartTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_StartTaskExecution.html)
# AWS DataSync タスクの帯域幅制限の設定
AWS DataSync タスクとその各実行のネットワーク帯域幅制限を設定できます。
## タスクの帯域幅の制限
タスクの作成、編集、または開始時に帯域幅制限を設定します。
### DataSync コンソールの使用
以下の手順では、タスクの作成時に帯域幅制限を設定する方法について説明します。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **[帯域幅制限]** では、次のいずれかを選択します。
+ タスク実行ごとに利用できるすべてのネットワーク帯域幅を使用するには、**[Use available (使用可能)]** を選択します。
+ **[Set bandwidth limit (帯域幅制限を設定) (MiB/秒)]** を選択すると、DataSync がタスク実行ごとに使用する最大帯域幅を入力できます。
### DataSync API の使用
タスクの帯域幅制限は、以下のいずれかの操作で `BytesPerSecond` パラメータを使用して設定できます。
+ [CreateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_CreateTask.html)
+ [UpdateTask](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTask.html)
+ [StartTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_StartTaskExecution.html)
## タスクの実行に必要な帯域幅スロットリング
実行中またはキューに入っているタスク実行の帯域幅制限を変更できます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. ナビゲーションペインで **[Data transfer (データ転送)]** を展開し、**[Tasks (タスク)]** を選択します。
1. タスクを選択し、**[History (履歴)]** を選択すると、タスクの実行が表示されます。
1. 変更するタスク実行を選択し、次に **[Edit (編集)]** を選択します。
1. ダイアログボックスで、次のいずれかの操作を選択します。
+ タスク実行に利用できるすべてのネットワーク帯域幅を使用するには、**[Use available (使用可能)]** を選択します。
+ **[Set bandwidth limit (帯域幅制限を設定) (MiB/秒)]** を選択すると、DataSync がタスク実行に使用する最大帯域幅を入力できます。
1. **[Save changes]** (変更の保存) をクリックします。
新しい帯域幅制限は 60 秒以内に有効になります。
### DataSync API の使用
[UpdateTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_UpdateTaskExecution.html) 操作で `BytesPerSecond` パラメータを使用すると、実行中またはキューに入っているタスク実行の帯域幅制限を変更できます。
# AWS DataSync タスクの実行日時のスケジューリング
AWS DataSync タスクのスケジュールを、ストレージのロケーション間で定期的にデータを転送するように設定します。
## DataSync タスクのスケジューリングの仕組み
スケジュールした DataSync のタスクは、指定した頻度 (最短で 1 時間間隔) で実行されます。タスクのスケジュールは、cron または rate 式を使用して作成できます。
**重要**
タスクの実行間隔は 1 時間より短く設定することはできません。
**cron 式の使用**
特定の日時で実行されるタスクスケジュールには cron 式を使用します。例えば、毎週日曜日と水曜日の午後 12:00 (UTC) に実行されるように AWS CLI でタスクのスケジュールを設定するには、以下の方法を使用します。
```
cron(0 12 ? * SUN,WED *)
```
**rate 式の使用**
12 時間おきなど一定の間隔で実行されるようにタスクをスケジュールするには、rate 式を使用します。例えば、12 時間おきにに実行されるように AWS CLI でタスクのスケジュールを設定するには、以下の方法を使用します。
```
rate(12 hours)
```
**ヒント**
cron 式と rate 式の構文の詳細については、「[https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-cron-expressions.html](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-cron-expressions.html)」を参照してください。
## DataSync タスクのスケジュールの作成
タスクの実行間隔は、DataSync のコンソール、AWS CLI、DataSync API のいずれかからスケジュールできます。
### DataSync コンソールの使用
タスクの作成時にスケジュールを設定する方法について説明します。このスケジュールは、後でタスクを編集する際に変更できます。
コンソールを使用すると、スケジュール設定のオプションを使ってタスクの実行時刻を厳密に (毎日午後 10 時 30 分など) 指定できます。時刻を指定しなかった場合は、タスクは作成 (または更新) した時刻に実行されます。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. スケジュールの **[頻度]** で以下のいずれかを実行します。
+ タスクをスケジュールどおりに実行しない場合は、**[スケジュールされていません]** を選択します。
+ **[毎時]** を選択する場合は、タスクを実行する時刻 (分) を選択します。
+ **[毎日]** を選択する場合は、タスクを実行する時刻 (UTC) を入力します。
+ **[毎週]** を選択し曜日を選択する場合は、タスクを実行する時刻 (UTC) を入力します。
+ **[曜日]** を選択する場合は、特定の曜日 (複数可) を選択し、タスクを実行する時刻 (UTC) を HH:MM の形式で入力します。
+ **[カスタム]** を選択する場合は、**[Cron 式]** または **[Rate 式]** を選択します。タスクのスケジュールを 1 時間以上の間隔を空けて入力します。
### の使用AWS CLI
DataSync タスクのスケジュールは、`--schedule` パラメータと、`create-task`、`update-task`、`start-task-execution` のいずれかのコマンドを使って作成できます。
以下の手順では `create-task` コマンドを使用して作成する方法を説明します。
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh \
--destination-location-arn arn:aws:datasync:us-east-1:123456789012:location/loc-abcdefgh12345678 \
--schedule '{
"ScheduleExpression": "cron(0 12 ? * SUN,WED *)"
}'
```
1. `--source-location-arn` パラメータで、転送の送信元ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--destination-location-arn` パラメータで、転送の送信先ロケーションの Amazon リソースネーム (ARN) を指定します。
1. `--schedule` パラメータで、スケジュールの cron 式または rate 式を指定します。
こちらの例では、cron 式 `cron(0 12 ? * SUN,WED *)` により、毎週日曜日と水曜日の午後 12 時 00 分 (UTC) に実行されるタスクがスケジュールされています。
1. `create-task` コマンドを実行してスケジュール付きのタスクを作成します。
## DataSync タスクのスケジュールの一時停止
状況によって、DataSync タスクのスケジュールを一時的に停止しなければならない場合があります。例えば、タスクで生じた問題を解決したり、ストレージシステムのメンテナンスを実行したりするために、定期的に実行される転送を一時的に無効にする必要があります。
DataSync は、タスクのスケジュールを以下の理由で自動的に無効にすることがあります。
+ タスクが同じエラーにより繰り返し失敗している。
+ タスクで使用している[AWS リージョンを無効](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-regions.html)にした。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. スケジュールを一時停止するタスクを選択し、**[編集]** を選択します。
1. **[スケジュール]** で **[スケジュールを有効にする]** をオフにします。**[Save changes]** (変更の保存) をクリックします。
### の使用AWS CLI
1. 次の `update-task` コマンドをコピーします。
```
aws datasync update-task \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh \
--schedule '{
"ScheduleExpression": "cron(0 12 ? * SUN,WED *)",
"Status": "DISABLED"
}'
```
1. `--task-arn` パラメータで、スケジュールを一時停止するタスクの ARN を指定します。
1. `--schedule` パラメータについては、以下を行います。
+ `ScheduleExpression` で、スケジュールの cron 式または rate 式を指定します。
この例では、式 `cron(0 12 ? * SUN,WED *)` により、毎週日曜日と水曜日の午後 12 時 00 分 (UTC) に実行されるタスクがスケジュールされています。
+ `Status` で、`DISABLED` を指定してタスクスケジュールを一時停止します。
1. `update-task` コマンドを実行します。
1. スケジュールを再開するには、`Status` を `ENABLED` に設定して同じ `update-task` コマンドを実行します。
## DataSync タスクのスケジュールのステータス確認
DataSync タスクのスケジュールが有効になっているかどうか、確認することができます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. **[スケジュール]** 列で、タスクのスケジュールが有効か無効かを確認します。
### の使用AWS CLI
1. 次の `describe-task` コマンドをコピーします。
```
aws datasync describe-task \
--task-arn arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh
```
1. `--task-arn` パラメータで、情報を取得するタスクの ARN を指定します。
1. `describe-task` コマンドを実行します。
タスクに関する詳細 (スケジュールなど) を含む応答が表示されます (以下の例ではタスクスケジュールの設定に焦点を当てており、`describe-task` の応答のすべては表示していません)。
この例では、タスクのスケジュールが手動で無効にされていることが示されています。スケジュールを DataSync `SERVICE` を使って無効にした場合は、`DisabledReason` のメッセージが表示されるため、タスクが失敗し続ける理由がわかります。詳細については、「[AWS DataSync の問題のトラブルシューティング](troubleshooting-datasync.md)」を参照してください。
```
{
"TaskArn": "arn:aws:datasync:us-east-1:123456789012:task/task-12345678abcdefgh",
"Status": "AVAILABLE",
"Schedule": {
"ScheduleExpression": "cron(0 12 ? * SUN,WED *)",
"Status": "DISABLED",
"StatusUpdateTime": 1697736000,
"DisabledBy": "USER",
"DisabledReason": "Manually disabled by user."
},
...
}
```
# AWS DataSync タスクのタグ付け
*タグ*は、 AWS DataSync リソースの管理、フィルタリング、検索に役立つキーと値のペアです。DataSync タスクとタスク実行ごとに最大 50 個のタグを追加できます。
たとえば、大規模なデータ移行用のタスクを作成し、そのタスクにキー **Project** と値 **Large Migration** のタグを付けることができます。移行をさらに整理するには、1 回のタスクの実行にキー **Transfer Date** と値 **May 2021** のタグを付けます (後続のタスクの実行には **June 2021**、**July 2021** などのタグが付けられる場合があります)。
## DataSync タスクのタグ付け
DataSync タスクにタグを付けることができるのは、タスクの作成時のみです。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]**、**[タスクの作成]** の順に選択します。
1. タスクのソースと送信先の場所を設定します。
詳細については、[でデータを転送できる場所 AWS DataSync](working-with-locations.md)を参照してください。
1. **設定を構成** ページで、**[新しいタグを追加]** を選択してタスクにタグを付けます。
### の使用 AWS CLI
1. 次の `create-task` コマンドをコピーします。
```
aws datasync create-task \
--source-location-arn 'arn:aws:datasync:region:account-id:location/source-location-id' \
--destination-location-arn 'arn:aws:datasync:region:account-id:location/destination-location-id' \
--tags Key=tag-key,Value=tag-value
```
1. コマンドに以下のパラメータを指定します。
+ `--source-location-arn` – 転送時にソースの場所の Amazon リソースネーム (ARN) を指定します。
+ `--destination-location-arn` – 転送時に転送先の場所の ARN を指定します。
+ `--tags` – タスクに適用するタグを指定します。
タグが複数ある場合は、各キーと値のペアをスペースで区切ります。
1. (オプション) 転送シナリオに適した他のパラメータを指定します。
`--options` のリストについては、「[create-task](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/create-task.html) コマンド」を参照してください。
1. `create-task` コマンドを実行します。
先ほど作成したタスクを示す応答が表示されます。
```
{
"TaskArn": "arn:aws:datasync:us-east-2:123456789012:task/task-abcdef01234567890"
}
```
このタスクに追加したタグを表示するには、[list-tags-for-resource](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/list-tags-for-resource.html) コマンドを使用できます。
## DataSync タスク実行のタグ付け
DataSync タスクの実行ごとにタグを付けることができます。
タスクにすでにタグが付いている場合は、タスクの実行でのタグの使用について次の点に注意してください。
+ コンソールからタスクを開始すると、ユーザーが作成したタグがタスク実行に自動的に適用されます。ただし、`aws:` で始まるシステム作成のタグには適用されません。
+ DataSync API または を使用してタスクを開始した場合 AWS CLI、そのタグはタスク実行に自動的に適用されません。
### DataSync コンソールの使用
タスク実行からタグを追加、編集、または削除するには、上書きオプションを使用してタスクを開始する必要があります。
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. タスクを選択します。
1. **[Start (開始)]** を選択し、次のいずれかのオプションを選択します。
+ **[デフォルトで開始]** – タスクに関連付けられたタグをすべて適用します。
+ **[上書きオプションで開始]** – この特定のタスク実行に関するタグを追加、編集、または削除できます。
### の使用 AWS CLI
1. 次の `start-task-execution` コマンドをコピーします。
```
aws datasync start-task-execution \
--task-arn 'arn:aws:datasync:region:account-id:task/task-id' \
--tags Key=tag-key,Value=tag-value
```
1. コマンドに以下のパラメータを指定します。
+ `--task-arn` – 開始するタスクの ARN を指定します。
+ `--tags` – 特定のタスクの実行に適用するタグを指定します。
タグが複数ある場合は、各キーと値のペアをスペースで区切ります。
1. (オプション) 状況に適した他のパラメータを指定します。
詳細については、「[start-task-execution](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/start-task-execution.html) コマンド」を参照してください。
1. `start-task-execution` コマンドを実行します。
先ほど開始したタスク実行を示す応答が表示されます。
```
{
"TaskExecutionArn": "arn:aws:datasync:us-east-2:123456789012:task/task-abcdef01234567890"
}
```
このタスクに追加したタグを表示するには、[list-tags-for-resource](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/datasync/list-tags-for-resource.html) コマンドを使用できます。
# データ転送タスクの開始
AWS DataSync 転送タスクを作成したら、データの移動を開始できます。タスクの各実行は*タスク実行*と呼ばれます。タスクの実行中に何が起こるかについては、「[DataSync がファイルやオブジェクト、ディレクトリを転送する仕組み](how-datasync-transfer-works.md#transferring-files)」を参照してください。
**重要**
Amazon S3 ロケーションとの間でデータを転送する予定がある場合は、開始する前に [DataSync が S3 リクエスト料金にどのような影響を与えるか](create-s3-location.md#create-s3-location-s3-requests)について、および [DataSync 料金ページ](https://aws.amazon.com/datasync/pricing/)を確認してください。
## タスクの開始
タスクを作成したら、すぐにデータの移動を開始できます。
### DataSync コンソールの使用
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. 実行するタスクを選択します。
タスクのステータスが **[Available (利用可能)]** になっていることを確認します。複数のタスクを選択することもできます。
1. **[Actions (アクション)]** を選択し、次のいずれかのオプションを選択します。
+ **[開始]** – タスク (複数のタスクを選択した場合は複数タスク) を実行します。
+ **[上書きオプションで開始]** – データの移動を開始する前に、タスク設定の一部を変更できます。準備ができたら、**[Start (開始)]** を選択します。
1. **[See execution details (実行の詳細を表示)]** を選択すると、実行中のタスク実行に関する詳細が表示されます。
### の使用AWS CLI
DataSync タスクを開始するには、実行するタスクの Amazon リソースネーム (ARN) を指定するだけです。以下に `start-task-execution` コマンドの例を示します。
```
aws datasync start-task-execution \
--task-arn 'arn:aws:datasync:region:account-id:task/task-id'
```
次の例では、タスクのデフォルト設定とは異なるいくつかの設定でタスクを開始します。
```
aws datasync start-task-execution \
--override-options VerifyMode=NONE,OverwriteMode=NEVER,PosixPermissions=NONE
```
コマンドは以下のようなタスク実行の ARN を返します。
```
{
"TaskExecutionArn": "arn:aws:datasync:us-east-1:209870788375:task/task-08de6e6697796f026/execution/exec-04ce9d516d69bd52f"
}
```
**注記**
各エージェントは同時に 1 つのタスクを実行できます。
### DataSync API の使用
[StartTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_StartTaskExecution.html) 操作を使用してタスクを開始できます。[DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html) 操作を使用すると、実行中のタスク実行に関する詳細を取得できます。
開始すると、DataSync がデータをコピーしている間、[タタスクの実行ステータスを確認](#understand-task-execution-statuses)できます。また、[必要に応じてタスク実行の帯域幅をスロットリングする](configure-bandwidth.md#adjust-bandwidth-throttling)こともできます。
## タスクの実行ステータス
DataSync タスクを開始すると、次のステータスが表示される場合があります。([タスクステータス](create-task-how-to.md#understand-task-creation-statuses)はタスク実行ステータスとは異なります。)
| コンソールのステータス | API ステータス | 説明 |
| --- | --- | --- |
| キューイング | `QUEUED` | 同じ DataSync エージェントを使用して実行している別のタスクがあります。詳細については、「[タスクがキューに登録されるタイミングを知る](#queue-task-execution)」を参照してください。 |
| 起動中 | `LAUNCHING` | DataSync はタスク実行を初期化しています。通常このステータスはすぐに終わりますが、数分かかる場合もあります。 |
| 開始済み | `LAUNCHED` | DataSync がタスク実行を開始しました。 |
| 準備中 | `PREPARING` | DataSync がどのデータを転送するかを決定しています。 両方の場所のファイル、オブジェクト、またはディレクトリの数とタスクの設定方法に応じて、準備に数分、数時間、またはそれ以上かかる場合があります。準備の仕組みもタスクモードによって異なります。詳細については、「[DataSync がデータ転送を準備する方法](how-datasync-transfer-works.md#how-datasync-prepares)」を参照してください。 |
| 転送中 | `TRANSFERRING` | DataSync が実際のデータ転送を実行してます。 |
| 検証中 | `VERIFYING` | 転送の終了時に、DataSync がデータの整合性を検証しています。 |
| 成功 | `SUCCESS` | タスクの実行が成功しました。 |
| キャンセル | `CANCELLING` | タスクの実行がキャンセル処理中です。 |
| エラー | `ERROR` | タスクの実行が失敗しました。 |
## タスクがキューに登録されるタイミングを知る
複数のタスクを実行する場合 ([大規模なデータセットを転送する場合など](create-task-how-to.md#multiple-tasks-large-dataset))、DataSync は一連のタスク (先入れ先出し) をキューに入れる場合があります。これが発生する場合の例は次のとおりです。
+ 同じ DataSync エージェントを使用するさまざまなタスクを実行するとき。複数のタスクに同じエージェントを使用することは可能ですが、エージェントは一度に 1 つのタスクしか実行できません。
+ タスクの実行が進行中であり、異なる[フィルター](filtering.md)または[マニフェスト](transferring-with-manifest.md)を使用して同じタスクの追加実行を開始するとき。
各例では、キューに入れられたタスクは、前のタスクが完了するまで開始されません。
## タスク実行のキャンセル
実行中およびキューに入っている DataSync タスク実行は、停止できます。
**コンソールを使用してタスクの実行をキャンセルするには**
1. [https://console.aws.amazon.com/datasync/](https://console.aws.amazon.com/datasync/) で AWS DataSync コンソールを開きます。
1. 左側のナビゲーションペインで **[データ転送]** を展開し、**[タスク]** を選択します。
1. モニタリングする実行中のタスクの**タスク ID**を選択します。
ステータスは **[実行中]** になっている必要があります。
1. **[History (履歴)]** を選択して、タスクの実行を表示します。
1. 停止するタスク実行を選択し、**[Stop (停止)]** を選択します。
1. ダイアログボックスで **[Stop (停止)]** を選択します。
DataSync API を使用して実行中またはキューに入っているタスクをキャンセルするには、「[CancelTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_CancelTaskExecution.html)」を参照してください。
### 停止したタスクの自動キャンセル
実行中の DataSync タスク実行が停止することがあります。