データリポジトリのタスクを使用した変更のエクスポート - FSx for Lustre

データリポジトリのタスクを使用した変更のエクスポート

データリポジトリのエクスポートタスクは、ファイルシステムの新規または変更されたファイルをエクスポートします。ファイルシステムの新しいファイル用に、新しいオブジェクトが S3 に作成されます。ファイルシステムで変更されたファイル、またはメタデータが変更されたファイルの場合、S3 内の対応するオブジェクトは、新しいデータとメタデータを持つ新しいオブジェクトに置き換えられます。ファイルシステムから削除されたファイルに対するアクションは実行されません。

注記

データリポジトリのエクスポートタスクを使用する際は、以下の点に留意してください。

  • エクスポートするファイルを追加または除外するためのワイルドカードの使用はサポートされていません。

  • mv 操作を実行すると、移動後のターゲットファイルは、UID、GID、アクセス許可、または内容の変更がない場合でも、S3 にエクスポートされます。

Amazon FSx コンソールと CLI を使用して、ファイルシステム上のデータとメタデータの変更をリンクされた S3 バケットにエクスポートするには、以下の手順に従います。複数の DRA に対して 1 つのデータリポジトリタスクを使用できることに注意してください。

  1. Amazon Fsx コンソール (https://console.aws.amazon.com/fsx/) を開きます。

  2. ナビゲーションペインで [ファイルシステム] をクリックし、Lustre ファイルシステムを選択します。

  3. [Data repository] (データリポジトリ) タブを選択します。

  4. [Data repository associations] (データリポジトリ関連付け) ペインで、エクスポートタスクを作成する対象のデータリポジトリの関連付けを選択します。

  5. [Actions] (アクション) で、[Export task] (タスクのエクスポート) を選択します。ファイルシステムが S3 のデータリポジトリにリンクされていない場合、この選択は使用できません。[Create export data repository task] (データリポジトリのエクスポートタスクの作成) ダイアログが表示されます。

  6. (オプション) [File system paths to export] (エクスポートするためのファイルシステムパス) のディレクトリまたはファイルへのパスを指定して、Amazon FSx ファイルシステムからエクスポートするディレクトリまたはファイルを最大 32 個指定します。指定するパスは、ファイルシステムのマウントポイントに対する相対パスである必要があります。マウントポイントが /mnt/fsx で、/mnt/fsx/path1 がエクスポートするファイルシステム上のディレクトリまたはファイルである場合、提供するパスは path1 です。

    注記

    指定したパスが有効でない場合、タスクは失敗します。

  7. (オプション) [Completion report] (完了レポート) 直下の [Enable] (有効化) をクリックして、タスクの完了後にタスク完了レポートを生成します。[task completion report] (タスク完了レポート) に、[Report scope] (レポートスコープ) に示されている範囲を満たすタスクによって処理されるファイルの詳細が表示されます。Amazon FSx がレポートを配信する場所を指定するには、ファイルシステムのリンクされた S3 データリポジトリの [Report path] (レポートパス) の相対パスを入力します。

  8. [Create] (作成) を選択します。

    [File systems] (ファイルシステム) ページの上部にある通知には、先ほど作成したタスクが表示されます。

タスクのステータスと詳細を表示するには、ファイルシステム用の [Data Repository] (データリポジトリ) タブの [Data Repository Tasks] (データリポジトリタスク) ペインを下にスクロールします。デフォルトのソート順では、最新のタスクがリストの最上部に表示されます。

このページからタスクサマリーを表示するには、先ほど作成したタスクの [Task ID] (タスク ID) を選択します。[Summary] (概要) タスクのページが表示されます。

  • FSx for Lustreファイルシステムのデータとメタデータの変更をエクスポートするには create-data-repository-task CLI コマンドを使用します。対応する API オペレーションは CreateDataRepositoryTask。

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true

    次の例に示すように、データリポジトリタスクを正常に作成すると、Amazon FSx は JSON としてデータの説明を返します。

    {
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.120",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

リンクされたデータリポジトリにデータをエクスポートするタスクを作成すると、データリポジトリのエクスポートタスクのステータスを確認できます。データリポジトリタスクを表示する方法の詳細については、「データリポジトリタスクへのアクセス」を参照してください。