のデータ AWS Data Exchange

データは、次の 3 つの構成要素 AWS Data Exchange を使用して に整理されます。

これらの 3 つの構成要素は、 AWS Data Exchange コンソールまたは AWS Data Exchange API を使用して管理する製品の基盤を形成します。

データセットを作成、表示、更新、または削除するには、 AWS Data Exchange コンソール、 AWS Command Line Interface (AWS CLI）、独自の REST クライアント、またはいずれかの AWS SDKs を使用できます。プログラムによる AWS Data Exchange データセットの管理の詳細については、 AWS Data Exchange API リファレンスを参照してください。

アセット

アセットは 内のデータです AWS Data Exchange。

アセットのタイプは、データセット、データ許可、およびデータ格納元の製品を通じてレシーバーやサブスクライバーにどのようにデータを配信するかを定義します。

アセットは、以下のいずれかになり得ます。

アセットの構造

アセットには、以下のパラメータがあります。

{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

アセットタイプ

ファイルデータセット

ファイルを使用すると、加入者は資格のあるデータ セットとしてデータ セットのコピーにアクセスし、資産をエクスポートできます。

データセット所有者は、 AWS Data Exchange コンソール、プログラム、 AWS CLI独自の REST アプリケーション、またはいずれかの AWS SDKs。Amazon S3 アセットのインポートに関する詳細については、「S3 バケットからの AWS Data Exchange アセットのインポート」を参照してください。アセットのエクスポートに関する詳細については、「S3 バケットへの AWS Data Exchange アセットのエクスポート」を参照してください。

API アセット

API アセットの場合、データ受取人またはサブスクライバーは API を表示し、権限を持つデータセットとしての API 仕様をダウンロードできます。マネージドエンドポイントに API コールを行い、API AWS Data Exchange所有者エンドポイントにプロキシすることもできます。

既存の Amazon API Gateway API を持つデータセット所有者は、 AWS Data Exchange コンソール、プログラム、 AWS CLIまたはいずれかの AWS SDKs を使用して API アセットを追加できます。API アセットのインポートに関する詳細については、「Amazon API Gateway からの AWS Data Exchange アセットのインポート API」を参照してください。

既存の Amazon API Gateway API を持たないデータセット所有者は、API を作成してから API アセットを追加する必要があります。詳細については、「Amazon API Gateway デベロッパーガイド」の「API Gateway での REST API の開発」を参照してください。

Amazon Redshift データ共有アセット

Amazon Redshift データ共有アセットの場合、受取人はデータを抽出、変換、ロードすることなく Amazon Redshift 内のデータをクエリするための読み取り専用アクセス権を取得できます。

Amazon Redshift データ共有アセットのインポートに関する詳細については、「Amazon Redshift AWS Data Exchange のデータ共有からの AWS Data Exchange アセットのインポート」を参照してください。

AWS Lake Formation データアクセス許可 (プレビュー）

AWS Lake Formation データアクセス許可アセットを使用すると、受信者またはサブスクライバーは、指定されたタグに関連付けられたすべてのデータベース、テーブル、または列にアクセスしてクエリを実行できます。

データセット所有者は、 AWS Data Exchange アセットの一部としてタグインポートする前に、データを作成してタグ付けする必要があります。Lake Formation データ権限アセットのインポートの詳細については、「からの AWS Data Exchange アセットのインポート AWS Lake Formation （プレビュー）」を参照してください。

Amazon S3 データアクセス

Amazon S3 データアクセスアセットを使用すると、受取人またはサブスクライバーは、データのコピーを作成または管理しなくても、プロバイダーのデータに直接アクセスして使用できます。データセット所有者は、既存の Amazon S3 バケットの上に AWS Data Exchange for Amazon S3 をセットアップして、S3 バケット全体または特定のプレフィックスと Amazon S3 オブジェクトへの直接アクセスを共有できます。

改訂

リビジョンは、1 つ、または複数のアセットのコンテナです。

リビジョンは、Amazon S3 内のデータを更新するために使用します。例えば、.csv ファイルのコレクションまたは単一の .csv ファイルとディクショナリをグループ化してリビジョンを作成できます。新しいデータが利用可能になるとともに、リビジョンを作成して、アセットを追加します。 AWS Data Exchange コンソールを使用してリビジョンを作成し、確定したら、そのリビジョンはサブスクライバーに対して直ちに利用可能になります。詳細については、「での新製品の公開 AWS Data Exchange」を参照してください。

以下に留意してください。

リビジョンの構造

リビジョンには、以下のパラメータがあります。

        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

データセット

のデータセット AWS Data Exchange は、時間の経過とともに変化する可能性のあるデータのコレクションです。

受信者またはサブスクライバーがファイルデータセットにアクセスすると、データセット内の特定のリビジョンにアクセスしています。この構造は、プロバイダーが、履歴データに対する変更について心配することなく、データセットで利用可能なデータを徐々に変更していくことを可能にします。

受信者またはサブスクライバーが API データセットにアクセスすると、API アセットを含むデータセットにアクセスしています。これにより、サブスクライバーは AWS Data Exchangeマネージドエンドポイントに対して API コールを行い、プロバイダーエンドポイントにプロキシされます。

受取人またはサブスクライバーが Amazon Redshift データセットにアクセスする場合は、Amazon Redshift の AWS Data Exchange データ共有にアクセスすることになります。このデータ共有は、データ所有者がデータ共有に追加したスキーマ、テーブル、ビュー、およびユーザー定義の関数に対する読み取り専用アクセス権をサブスクライバーに付与します。

受信者またはサブスクライバーが AWS Lake Formation データ許可データセットにアクセスすると、データセット所有者が指定した LF タグでタグ付けされたデータベース、テーブル、および/または列にアクセスします。

受取人またはサブスクライバーが Amazon S3 データアクセスデータセットにアクセスする場合は、プロバイダーの Amazon S3 バケットでホストされている Amazon S3 共有オブジェクトへの読み取り専用アクセスが許可されます。受取人またはサブスクライバーは、このデータを他の AWS のサービスで直接使用できます。

プロバイダーは、 AWS Data Exchange コンソール、 CLI、 AWS 独自の REST クライアント、またはいずれかの AWS SDKs。プログラムによる AWS Data Exchange データセットの管理の詳細については、 AWS Data Exchange API リファレンスを参照してください。

所有データセット

データセットは、それを作成したアカウントが所有します。所有データセットは、OWNED に設定されている origin パラメータを使用して識別できます。

権限を持つデータセット

権限を持つデータセットは、送信者が所有するデータセットの読み取り専用ビューです。権限を持つデータセットは、データ許可の作成時または製品の発行時に作成され、製品に対するアクティブなデータ許可またはサブスクリプションを持つ受取人またはサブスクライバーが利用できます。権限を持つデータセットは、ENTITLED に設定されている origin パラメータで識別できます。

受信者は、 API または AWS Data Exchange コンソールを使用して、権限のある AWS Data Exchange データセットを表示および操作できます。

データセット所有者も、受取人またはサブスクライバーに表示される権限を持つデータセットビューにアクセスできます。これを行うには、 AWS Data Exchange API を使用するか、 AWS Data Exchange コンソールのデータ許可または製品ページでデータセット名を選択します。

データセットタイプ

では、次のデータセットタイプがサポートされています AWS Data Exchange。

ファイルデータセット

ファイルデータセットは、Amazon S3 によって許可されたフラットファイルが含まれるデータセットです。

受取人またはサブスクライバーは、データをローカルにエクスポート (コンピュータにダウンロード) するか、Amazon S3 バケットにエクスポートできます。

データセット所有者は、Amazon S3 バケットから任意のタイプのフラットファイルをインポートして、データセットに追加できます。

API データセット

API データセットは、API アセットが含まれるデータセットです。API アセットを使用すると、受信者またはサブスクライバーは AWS Data Exchangeマネージドエンドポイントに API コールを行い、データセット所有者エンドポイントにプロキシされます。

データセット所有者は、Amazon API Gateway で API を作成してデータセットに追加し、データ許可の作成時やサブスクリプション時に API にアクセスするライセンスを供与します。

Amazon Redshift のデータセット

Amazon Redshift データセットには、Amazon Redshift AWS Data Exchange のデータ共有が含まれています。データ共有が含まれたデータセットをサブスクライブすると、データ共有のコンシューマーとして追加されます。これにより、データセット所有者がデータ共有に追加したスキーマ、テーブル、ビュー、およびユーザー定義の関数に対する読み取り専用アクセス権が付与されます。

データセット所有者は、Amazon Redshift でデータ共有からデータベースを作成し、ファイルを抽出、変換、ロードすることなく、ライブデータにクエリを実行できます。データ許可またはサブスクリプションがアクティブ化されると、データ共有へのアクセス権が自動的に付与され、いずれかの有効期限が切れると、アクセス権が失われます。

データセット所有者は、Amazon Redshift でデータ共有を作成してデータセットに追加し、データ許可の作成時やサブスクリプション時にデータ共有にアクセスするライセンスを付与します。

Amazon S3 データアクセスデータセット

AWS Data Exchange for Amazon S3 データアクセスを使用すると、データ受信者またはサブスクライバーは、データセット所有者の Amazon S3 バケットから直接サードパーティーのデータファイルにアクセスできます。

AWS Data Exchange for Amazon S3 データアクセス製品をサブスクライブすると、 は以下 AWS Data Exchange を自動的に実行します。

AWS Data Exchange for Amazon S3 を使用すると、データセット所有者は Amazon S3 バケット全体、または特定のプレフィックスと Amazon S3 オブジェクトへの直接アクセスを共有できます。さらに、 を使用して、データ許可、サブスクリプション、使用権限、請求、支払いを自動的に管理 AWS Data Exchange できます。

AWS Lake Formation データセット (プレビュー）

AWS Lake Formation データセットは、 AWS Lake Formation データ許可アセットを含むデータセットです。

データ受取人またはサブスクライバーは、 AWS Lake Formationで利用できるデータを管理できます。でリソースリンクを作成したら AWS Lake Formation、Amazon Athena などの分析サービスを使用してデータをクエリできます。

データセット所有者は、 で LF タグを使用してデータにタグを AWS Lake Formation 付け、データセットの作成時にそれらのタグをアセットとしてインポートします。

AWS リージョン および データセット

データセットはサポートされている任意の に配置できますが AWS リージョン、単一のデータ許可または製品内のすべてのデータセットは同じ にある必要があります AWS リージョン。

データセットの構造

データセットには、以下のパラメータがあります。

{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

データセットのベストプラクティス

データセット所有者は、データセットを作成および更新するときに、以下のベストプラクティスに留意してください。

[タグ]

所有データセットとそのリビジョンにはタグを追加できます。タグ付けを使用する場合、 AWS Identity and Access Management (IAM) ポリシーでタグベースのアクセスコントロールを使用して、これらのデータセットとリビジョンへのアクセスを制御することもできます。

権限を持つデータセットにタグを付けることはできません。所有データセットとそのリビジョンのタグは、対応する権限のあるバージョンには反映されません。つまり、権限を持つデータセットやリビジョンに対する読み取り専用アクセス権を持つ受取人やサブスクライバーには、元の所有データセットのタグは表示されません。