翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
オンプレミスとクラウドの場所からデータ AWS DataSync を転送する方法など、転送に関連する主要な概念と用語について説明します。
DataSync 転送アーキテクチャ
次の図は、DataSync が一般的にストレージデータを転送する方法と場所を示しています。DataSync でサポートされているストレージシステムとサービスの完全なリストについては、「AWS DataSyncのデータはどこに転送できますか?」を参照してください。
オンプレミスストレージと 間の転送 AWS
次の図は、DataSync がセルフマネージド型のオンプレミスストレージシステムと の間でファイルを転送する方法の概要を示しています AWS のサービス。
この図は、一般的な DataSync のユースケースを示しています。
-
オンプレミスストレージシステムからデータをコピーする DataSync エージェント。
-
Transport Layer Security (TLS) AWS を介して に移動するデータ。
-
DataSync は、サポートされている AWS ストレージサービスにデータをコピーします。
AWS ストレージサービス間の転送
次の図は、DataSync AWS のサービス が同じ 間でファイルを転送する方法の概要を示しています AWS アカウント。
この図は、一般的な DataSync のユースケースを示しています。
-
サポートされている AWS ストレージサービスからデータをコピーする DataSync。
-
TLS AWS リージョン を介して 間を移動するデータ。
-
DataSync は、サポートされている AWS ストレージサービスにデータをコピーします。
AWS ストレージサービス間 (同じ AWS リージョン 内または 間) で転送する場合 AWS リージョン、データは AWS ネットワークに残り、パブリックインターネットを経由しません。
重要
間で転送されたデータに対して料金が発生します AWS リージョン。これは、ソースリージョンから転送先リージョンへのデータ転送出力として請求されます。詳細については、「データ転送料金表
クラウドストレージシステムと AWS ストレージサービス間の転送
DataSync を使用すると、他のクラウドストレージシステムと AWS のサービスの間でデータを転送できます。この場合、クラウドストレージシステムには以下が含まれます。
-
AWS内の仮想プライベートクラウド (VPC) の NFS ファイルサーバーなどのセルフマネージドストレージシステム。
-
別のクラウドプロバイダーがホストするストレージシステムまたはサービス。詳細については、「を使用した他のクラウドストレージとの間の転送 AWS DataSync」を参照してください。
次の図は、DataSync が AWS ストレージサービスと別のクラウドプロバイダー間でデータを転送する方法の概要を示しています。
概念と用語
DataSync の転送機能をよく理解してください。
Agent
「エージェント」は、DataSync が転送中にストレージからの読み取りとストレージへの書き込みに使用する仮想マシン (VM) アプライアンスです。
エージェントは、VMware ESXi、Linux カーネルベース仮想マシン (KVM)、または Microsoft Hyper-V、ハイパーバイザーなどのストレージ環境にデプロイできます。の仮想プライベートクラウド (VPC) にストレージする場合は AWS、エージェントを Amazon EC2 インスタンスとしてデプロイできます。
DataSync 転送エージェントは DataSync Discovery に使用できるエージェントと変わりませんが、このようなシナリオでは同じエージェントを使用することはお勧めしません。
開始するには、「AWS DataSync エージェントが必要ですか？」を参照してください。
場所
場所とは、データのコピー元またはコピー先の場所を表します。各 DataSync 転送 (「タスク」とも呼ばれます) には、転送元の場所と転送先の場所があります。詳細については、「AWS DataSyncのデータはどこに転送できますか?」を参照してください
タスク
「タスク」には DataSync 転送についての説明があります。転送元と転送先のロケーションを特定し、それらのロケーション間でデータをコピーする方法の詳細も示します。タスクがメタデータ、削除されたファイル、およびアクセス許可をどのように扱うかを指定することもできます。
タスクの実行
「タスクの実行」とは、個々の DataSync 転送タスクの実行です。タスクの実行にはいくつかの段階があります。詳細については、「タスクの実行ステータス」を参照してください。
DataSync がファイルやオブジェクト、ディレクトリを転送する仕組み
タスクの実行中に、DataSync はデータの準備、転送、検証を行います。DataSync がこれらのアクションを実行する方法は、タスクモードなどの DataSync タスクオプションの設定方法によって異なります。基本モードタスクはデータを順番に準備、転送、検証し、拡張モードタスクはこれらを並行して行います。
トピック
DataSync がデータ転送を準備する方法
DataSync はデフォルトで、転送元と転送先の場所を調べて転送先を決定することで、転送を準備します。これを行うには、両方の場所のコンテンツとメタデータをスキャンして、両者の違いを特定します。
注記
すべてのデータを転送するようにタスクを設定した場合、準備は行われません。タスクを開始すると、DataSync は場所を比較せずに、送信元から送信先にすべてを即座に転送します。
DataSync が転送を準備する方法は、タスクモードによって異なります。
| 拡張モードの準備 | 基本モードの準備 |
|---|---|
|
DataSync は、オブジェクトがソースの場所で見つかったときにオブジェクトを準備します。準備は、ソースにリストされているオブジェクトがなくなるまで、タスクの実行中に続行されます。 基本モードとは異なり、DataSync はタスクの実行ごとに事実上無制限の数のオブジェクトを準備できます。 |
両方の場所のファイル、オブジェクト、またはディレクトリの数とストレージのパフォーマンスによっては、準備に数分、数時間、さらに長い時間がかかる場合があります。 DataSync が送信元と送信先でインベントリする項目は、タスククォータにカウントされます。これらのクォータは、各タスクの実行中に DataSync が転送する項目の数に基づいていません。 |
DataSync は、準備中に一部のファイル、オブジェクト、ディレクトリをスキップすることがあります。その理由は、タスクの設定方法やストレージシステムのアクセス許可など、いくつかの要因によって異なる場合があります。次に例を示します。
-
送信元と送信先のロケーションに存在するファイルがあります。送信元のファイルは、前回のタスク実行以降、変更されていません。変更されたデータのみを転送するため、DataSync は次回タスクを実行するときにそのファイルを転送しません。
-
両方のロケーションに存在するオブジェクトは、ソースで変更されます。タスクを実行すると、DataSync は送信先のこのオブジェクトをスキップします。これは、タスクが送信先のデータを上書きしないためです。
-
DataSync は、アーカイブストレージクラスを使用していて復元されていないソースロケーションのオブジェクトをスキップします。DataSync がオブジェクトを読み取るには、アーカイブされたオブジェクトを復元する必要があります。
-
DataSync は、ソースの場所にあるファイル、オブジェクト、またはディレクトリを読み取ることができないため、スキップします。この場合、予期されないときは、ストレージのアクセス許可を確認し、DataSync がスキップされた内容を読み取れることを確認します。
DataSync がデータを転送する方法
DataSync は、タスクオプションに基づいて、データ (メタデータを含む) を送信元から送信先にコピーします。例えば、コピーするメタデータを指定したり、特定のファイルを除外したり、DataSync が使用する帯域幅を制限したりできます。
DataSync がデータを転送する方法は、タスクモードによって異なります。
| 拡張モード転送 | 基本モードの転送 |
|---|---|
|
DataSync は、準備ができたらすぐに各オブジェクトを転送します。 |
DataSync がすべてのデータを準備すると、転送が開始されます。 |
DataSync は、転送中に一部の項目をスキップすることがあります。すべてのデータを転送するようにタスクを設定すると、アーカイブストレージクラスを使用していて復元されていないソースロケーションのオブジェクトで発生する可能性があります。
DataSync がデータの整合性を検証する方法
DataSync は、転送中に常にデータの整合性チェックを実行します。転送の終了時に、DataSync は転送されたデータのみ、または両方の場所のデータセット全体に対して追加のチェックを実行することもできます。詳細については、「によるデータの整合性 AWS DataSync の検証方法の設定」を参照してください。
DataSync は、データの整合性を確認するときに、ロケーション内のファイル、オブジェクト、またはディレクトリのチェックサムとメタデータを計算して比較します。DataSync がロケーション間の違いに気付いた場合、検証はエラーで失敗します。例えば、、Checksum failure、Metadata failure、 Files were addedなどのエラーが表示される場合がありますFiles were removed。
検証の仕組みは、タスクモードと、転送終了時にデータの整合性を検証するように DataSync を設定するかどうかによって異なります。
| 拡張モードの検証 | 基本モードの検証 |
|---|---|
|
DataSync は、各オブジェクトが送信先に転送されるときに検証します。 拡張モードでは、DataSync は転送されたデータのみを検証します。 |
転送の終了時に、DataSync はデータの整合性を検証します。 データ検証の設定方法によっては、大規模なデータセットにはかなりの時間がかかる場合があります。 |
DataSync が開いているファイルとロックされたファイルと連携する方法
オープン (使用中) またはロックされているファイルを転送するときは、次の点に注意してください。
-
一般的に、DataSync は制限が一切ないオープンファイルを転送できます。
-
転送中にファイルが開いていて書き込まれている場合、DataSync は転送タスクの検証フェーズでこの種の不整合を検出する場合があります。ファイルの最新バージョンを取得するには、タスクを再実行する必要があります。
-
ファイルがロックされていて、DataSync がそのファイルを開くことがサーバーによって禁止されている場合、DataSync は転送中にそのファイルをスキップし、エラーを記録します。
-
DataSync はファイルをロックまたはロック解除できません。
定期的な転送オプション
DataSync は、1 回限りの転送に加えて、定期的にデータを転送できます。これらの状況のオプションには、次のようなものがあります。
-
タスク実行時のスケジューリング。
-
前回のタスク実行以降に、変更されたデータのみを転送します。
-
ソースに存在しなくなった転送先の場所内のデータを削除します。
