を使用した大規模なデータ移行 AWS Snow Family devices - AWS Snowball Edge デベロッパーガイド
大規模な転送の計画

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

を使用した大規模なデータ移行 AWS Snow Family devices

オンプレミスの場所から大規模なデータを移行するには、データが AWSに正常に移行されるようにするために、慎重な計画、オーケストレーション、実行が必要です。

移行を開始する前にデータ移行戦略を立てて、期限を過ぎたり、予算を超過したり、移行が失敗したりしないようにすることをお勧めします。 AWS Snow サービスは、 の Snow Family Large Data Migration Manager (LDMM) 機能を使用して、大規模なデータ移行プロジェクトを配置、注文、追跡するのに役立ちます AWS Snow ファミリーマネジメントコンソール。

「Snow Family デバイスを使用した大規模な転送の計画」および「Snow Family デバイスを使用した大規模な転送のキャリブレーション」のトピックで手動のデータ移行プロセスについて説明しています。Snow Family LDMM移行プランを使用して、手動ステップを合理化できます。

トピック

Snow Family デバイスを使用した大規模な転送の計画

以下のセクションのガイドラインに従って、オンサイトの AWS Snowball Edge デバイスとサーバー間の大規模なデータ転送を計画し、調整することをお勧めします。

ステップ 1: クラウドに移行する内容を把握する

を使用して最初のジョブを作成する前に AWS Snow ファミリーマネジメントコンソール、転送する必要があるデータの量、現在保存されている場所、転送先のデータ量を必ず評価してください。ペタバイト規模以上のデータを転送する場合、このような準備をしておくことで、Snow Family デバイスの使用を開始する際の作業がはるかに楽になります。

にデータを AWS クラウド 初めて移行する場合は、クラウド移行モデルを設計することをお勧めします。クラウド移行は一晩では達成できません。すべてのシステムが期待どおりに動作するようにするには、入念な計画プロセスが必要です。

このステップが終わると、クラウドに移行するデータの総量がわかります。

ステップ 2: 目標転送速度を計算する

各サーバーに接続されている Snow Family デバイスへのデータ転送の速度を推定しておくことが重要です。この推定速度 (MB/秒 単位) によって、ローカルネットワークインフラストラクチャを使用してデータソースから Snowball Edge デバイスにデータを転送できる速度が決まります。

注記

大容量のデータを転送する場合は、Amazon S3 データ移行を使用することをお勧めします。 AWS Snow ファミリーマネジメントコンソールでデバイスを注文する場合は、このオプションを選択する必要があります。

ベースラインの転送速度を特定するには、データの小さなサブセットを Snowball Edge デバイスに転送するか、10 GB のサンプルファイルを転送してスループットを観察します。

目標転送速度を特定するときは、ネットワークの速度、転送するファイルのサイズ、ローカルサーバーからの読み出し速度を変更して、ネットワーク設定を含む環境を調整することでスループットを向上できることに注意してください。Amazon S3 アダプターは、条件が許す限り高速で Snow Family デバイスにデータをコピーします。

ステップ 3: Snow Family デバイスの必要数を決定する

クラウドに移行する予定のデータの合計量、推定転送速度、およびデータを に移動する日数を使用して AWS、大規模なデータ移行に必要な Snow Family デバイスの数を決定します。デバイスタイプに応じて、Snowball Edge デバイスの使用可能なストレージ容量は約 39.5 TB または 210 TB です。例えば、300 TB のデータを 10 AWS 日以上移動し、転送速度が 250 MB/秒の場合、210 TB のストレージを持つ Snowball Edge デバイス 2 台が必要です。

注記

AWS Snow Family devices LDMM には、同時にサポートできる の数を推定するウィザード AWS Snow Family devices が用意されています。詳細については、「Snow Family デバイスを使用した大規模なデータ移行計画の作成」を参照してください。

ステップ 4: ジョブを作成する

必要な Snow Family デバイスの台数がわかったら、デバイスごとにインポートジョブを作成する必要があります。複数のジョブの作成は Snow Family によって簡素化されますLDMM。詳細については、「次のジョブを注文する」を参照してください。

注記

次のジョブを注文すると、推奨ジョブ注文スケジュールから直接プランに自動的に追加できます。詳細については、「推奨ジョブ注文スケジュール」を参照してください。

ステップ 5: データを転送セグメントに分割する

複数のジョブを使った大規模なデータ転送の場合、ベストプラクティスとして、データを処理しやすいサイズのデータセットに論理的に分割することをお勧めします。これにより、パーティションを 1 つずつ転送することも、複数のパーティションを並列転送することもできます。パーティションを計画するときは、組み合わせたパーティションのデータがそのジョブの Snow Family デバイスに収まることを確認してください。例えば、次のいずれかの方法で、転送をパーティションに分割できます。

  • 例えば、210 TB のストレージを持つ Snowball Edge デバイスで使用できるように、それぞれ 20 TB のパーティションを 10 個作成できます。

  • ファイルが大きい場合は、各ファイルを個々のパーティションにすることもできますが、Amazon S3 のオブジェクトでは 5 TB の制限があります。

  • 各パーティションのサイズは同じでなくて構いません。また、個々のパーティションは同じ種類のデータで構成することができます。例えば、あるパーティションには小さいファイル、別のパーティションには圧縮したアーカイブ、また別のパーティションには大きいファイル、といった方法で分けることができます。このアプローチは、ファイルの種類ごとに平均転送速度を特定するうえで役立ちます。

注記

転送する各ファイルに対し、メタデータオペレーションが実行されます。このオーバーヘッドは、ファイルサイズとは無関係に一定です。そのため、小さいファイルを大きいバンドルに圧縮したり、ファイルをバッチ処理したり、大きいファイルを個別に転送したりすることでパフォーマンスが向上します。

セグメントに分けてデータ転送を行うと、転送中に生じた問題をすばやく解決することができます。転送を 1 日以上実行した後で、大規模な異種混在の転送をトラブルシューティングすることは複雑になる可能性があるためです。

ペタバイト規模のデータ転送の計画が完了したら、サーバーから Snow Family デバイスにセグメントをいくつか転送し、速度と合計転送時間を調整することをお勧めします。