Dati in AWS Data Exchange

I dati sono organizzati AWS Data Exchange utilizzando tre elementi costitutivi:

Questi tre elementi costitutivi costituiscono la base del prodotto che gestisci tramite la AWS Data Exchange console o l' AWS Data Exchange API.

Per creare, visualizzare, aggiornare o eliminare i set di dati, puoi utilizzare la AWS Data Exchange console, il AWS Command Line Interface (AWS CLI), il tuo client REST o uno degli AWS SDK. Per ulteriori informazioni sulla gestione programmatica AWS Data Exchange dei set di dati, consulta l'AWS Data Exchange API Reference.

Asset

Le risorse sono i dati in esso contenuti. AWS Data Exchange

Il tipo di risorsa definisce il modo in cui i dati vengono consegnati al destinatario o all'abbonato tramite i set di dati, le concessioni di dati o i prodotti che li contengono.

Una risorsa può essere una delle seguenti:

Struttura di asset

Gli asset hanno i seguenti parametri:

{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

tipi di asset

Set di dati di file

Utilizzando File, gli abbonati possono accedere a una copia del set di dati come set di dati autorizzato ed esportare le risorse.

Il proprietario di un set di dati può importare ed esportare file utilizzando la AWS Data Exchange console, a livello di programmazione tramite la AWS CLI propria applicazione REST o uno degli SDK. AWS Per ulteriori informazioni, sull'importazione di asset Amazon S3, vedi. Importazione di risorse da un bucket S3 Per ulteriori informazioni sull'esportazione degli asset, consulta. Esportazione di risorse in un bucket S3

Risorse API

Con le risorse API, i destinatari dei dati o gli abbonati possono visualizzare l'API e scaricare le specifiche dell'API come set di dati autorizzato. Puoi anche effettuare chiamate API a endpoint AWS Data Exchange gestiti, che vengono poi inoltrate tramite proxy agli endpoint proprietari dell'API.

Il proprietario di un set di dati che dispone di un'API Amazon API Gateway esistente può aggiungere una risorsa API utilizzando la AWS Data Exchange console, a livello di codice tramite o uno degli AWS SDK. AWS CLI Per ulteriori informazioni sull'importazione di risorse API, consulta. Importazione di risorse da un'API Amazon API Gateway

I proprietari di set di dati che non dispongono di un'API Amazon API Gateway esistente devono crearne una prima di aggiungere una risorsa API al loro prodotto. Per ulteriori informazioni, consulta la sezione Sviluppo di un'API REST in API Gateway nella Amazon API Gateway Developer Guide.

Risorse di condivisione dati Amazon Redshift

Con gli asset di datashare di Amazon Redshift, i destinatari possono ottenere l'accesso in sola lettura per interrogare i dati in Amazon Redshift senza estrarre, trasformare e caricare i dati.

Per ulteriori informazioni sull'importazione di asset datashare Amazon Redshift, consulta. Importazione di risorse da un AWS Data Exchange datashare per Amazon Redshift

AWS Lake Formation autorizzazione dei dati (anteprima)

Con le risorse di autorizzazione AWS Lake Formation dei dati, i destinatari o gli abbonati possono accedere e interrogare tutti i database, le tabelle o le colonne associati ai tag specificati.

I proprietari dei set di dati devono creare e contrassegnare i propri dati prima di importarli come parte di una risorsa. AWS Data Exchange Per ulteriori informazioni sull'importazione delle risorse di autorizzazione dei dati di Lake Formation, vedereImportazione di risorse da (Anteprima) AWS Lake Formation.

Accesso ai dati Amazon S3

Con le risorse di accesso ai dati di Amazon S3, i destinatari o gli abbonati possono accedere e utilizzare direttamente i dati del provider senza creare o gestire copie dei dati. I proprietari di set di dati possono configurare Amazon S3 in aggiunta ai loro bucket Amazon S3 esistenti AWS Data Exchange per condividere l'accesso diretto a un intero bucket S3 o a prefissi e oggetti Amazon S3 specifici.

Revisioni

Una revisione è un contenitore per una o più risorse.

Utilizzi le revisioni per aggiornare i dati in Amazon S3. Ad esempio, puoi raggruppare una raccolta di file .csv o un singolo file .csv e un dizionario per creare una revisione. Man mano che sono disponibili nuovi dati, create revisioni e aggiungete risorse. Dopo aver creato e finalizzato la revisione utilizzando la AWS Data Exchange console, tale revisione sarà immediatamente disponibile per gli abbonati. Per ulteriori informazioni, consulta Pubblicazione di un nuovo prodotto.

Ricorda quanto segue:

Struttura delle revisioni

Le revisioni hanno i seguenti parametri:

        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

set di dati

Un set di dati AWS Data Exchange è una raccolta di dati che può cambiare nel tempo.

Quando i destinatari o gli abbonati accedono a un set di dati Files, accedono a una revisione specifica del set di dati. Questa struttura consente ai provider di modificare i dati disponibili nei set di dati nel tempo senza doversi preoccupare delle modifiche ai dati storici.

Quando i destinatari o gli abbonati accedono a un set di dati API, accedono a un set di dati che contiene risorse API, che consentono agli abbonati di effettuare chiamate API agli endpoint AWS Data Exchange gestiti, che vengono poi inoltrati tramite proxy agli endpoint del provider.

Quando i destinatari o gli abbonati accedono a un set di dati Amazon Redshift, accedono a AWS Data Exchange un datashare per Amazon Redshift. Questo datashare offre agli abbonati l'accesso in sola lettura agli schemi, alle tabelle, alle viste e alle funzioni definite dall'utente che il proprietario dei dati ha aggiunto alle condivisioni di dati.

Quando i destinatari o gli abbonati accedono a un set di dati di autorizzazioni AWS Lake Formation dati, accedono ai database, alle tabelle e/o alle colonne contrassegnate con un tag LF specificato dal proprietario del set di dati.

Quando i destinatari o gli abbonati accedono a un set di dati di accesso ai dati di Amazon S3, ottengono l'accesso in sola lettura agli oggetti Amazon S3 condivisi ospitati nei bucket Amazon S3 del provider. I destinatari o gli abbonati possono utilizzare questi dati direttamente con altri. Servizi AWS

Per creare, visualizzare, aggiornare o eliminare set di dati, i provider possono utilizzare la AWS Data Exchange console, la AWS CLI, il proprio client REST o uno degli AWS SDK. Per ulteriori informazioni sulla gestione programmatica AWS Data Exchange dei set di dati, consulta l'API Reference.AWS Data Exchange

Set di dati di proprietà

Un set di dati è di proprietà dell'account che lo ha creato. I set di dati di proprietà possono essere identificati utilizzando il origin parametro, che è impostato suOWNED.

Set di dati autorizzati

I set di dati autorizzati sono una visualizzazione in sola lettura dei set di dati di proprietà del mittente. I set di dati autorizzati vengono creati al momento della creazione della concessione di dati o della pubblicazione del prodotto e sono messi a disposizione dei destinatari o degli abbonati che dispongono di una concessione di dati attiva o di un abbonamento al prodotto. I set di dati autorizzati possono essere identificati utilizzando il origin parametro, impostato su. ENTITLED

In qualità di destinatario, puoi visualizzare e interagire con i set di dati autorizzati utilizzando l' AWS Data Exchange API o nella AWS Data Exchange console.

In qualità di proprietario del set di dati, hai anche accesso alla visualizzazione del set di dati autorizzata visualizzata dai tuoi destinatari o abbonati. Puoi farlo utilizzando l' AWS Data Exchange API o scegliendo il nome del set di dati nella concessione dei dati o nella pagina del prodotto nella AWS Data Exchange console.

Tipi di set di dati

I seguenti tipi di set di dati sono supportati in AWS Data Exchange:

File, set di dati

Un set di dati Files è un set di dati che contiene file flat consentiti da Amazon S3.

In qualità di destinatario o abbonato, puoi esportare i dati localmente (scaricarli sul tuo computer) o nel tuo bucket Amazon S3.

In qualità di proprietario del set di dati, puoi importare qualsiasi tipo di file flat dal tuo bucket Amazon S3 e aggiungerlo al set di dati.

Set di dati API

Un set di dati API è un set di dati che contiene risorse API. Le risorse API consentono ai destinatari o agli abbonati di effettuare chiamate API agli endpoint AWS Data Exchange gestiti, che vengono poi inoltrate tramite proxy agli endpoint del proprietario del set di dati.

In qualità di proprietario del set di dati, crei un'API in Amazon API Gateway e la aggiungi al set di dati per concedere in licenza l'accesso alla tua API al momento della creazione di una concessione di dati o di un abbonamento.

Set di dati Amazon Redshift

Un set di dati Amazon Redshift include AWS Data Exchange datashare per Amazon Redshift. Quando ti abboni a un set di dati con datashare, vieni aggiunto come consumatore del datashare. In questo modo è possibile accedere in sola lettura agli schemi, alle tabelle, alle viste e alle funzioni definite dall'utente che il proprietario del set di dati ha aggiunto alle condivisioni di dati.

In qualità di proprietario di un set di dati, puoi creare un database dal datashare in Amazon Redshift e quindi interrogare i dati in tempo reale senza estrarre, trasformare e caricare file. Ti viene automaticamente concesso l'accesso al datashare quando la concessione o l'abbonamento ai dati vengono attivati e perdi l'accesso dopo la scadenza di uno di questi.

In qualità di proprietario di un set di dati, crei un datashare in Amazon Redshift e lo aggiungi al set di dati per concedere in licenza l'accesso al tuo datashare al momento della creazione o della sottoscrizione di una concessione di dati.

Set di dati di accesso ai dati Amazon S3

Grazie all'accesso AWS Data Exchange ai dati di Amazon S3, i destinatari dei dati o gli abbonati possono accedere ai file di dati di terze parti direttamente dai bucket Amazon S3 dei proprietari dei set di dati.

Quando ti abboni a un prodotto di accesso ai dati AWS Data Exchange per Amazon S3, esegue AWS Data Exchange automaticamente le seguenti operazioni:

Con AWS Data Exchange Amazon S3, i proprietari di set di dati possono condividere l'accesso diretto a un intero bucket Amazon S3 o a prefissi specifici e oggetti Amazon S3. Inoltre, AWS Data Exchange può essere utilizzato per gestire automaticamente le concessioni di dati, gli abbonamenti, i diritti, la fatturazione e i pagamenti.

AWS Lake Formation set di dati (anteprima)

Un set di AWS Lake Formation dati è un set di dati che contiene risorse di autorizzazione AWS Lake Formation dei dati.

In qualità di destinatario o abbonato dei dati, puoi gestire i dati messi a tua disposizione nel tuo AWS Lake Formation. Dopo aver creato i link alle risorse nel tuo AWS Lake Formation, puoi interrogare i dati utilizzando servizi di analisi come Amazon Athena.

In qualità di proprietario di un set di dati, tagghi i tuoi dati utilizzando i tag LF AWS Lake Formation e li importi come risorse durante la creazione del set di dati.

Regioni AWS e set di dati

I set di dati possono essere inclusi in qualsiasi formato supportato Regione AWS, ma tutti i set di dati di una singola concessione o prodotto devono essere inclusi nello stesso prodotto Regione AWS.

Struttura del set di dati

I set di dati hanno i seguenti parametri:

{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

Le migliori pratiche relative ai set di dati

In qualità di proprietario di un set di dati, quando crei e aggiorni set di dati, tieni presente le seguenti best practice:

Tag

Puoi aggiungere tag ai set di dati di tua proprietà e alle relative revisioni. Quando utilizzi i tag, puoi anche utilizzare il controllo degli accessi basato su tag nelle policy AWS Identity and Access Management (IAM) per controllare l'accesso a questi set di dati e alle revisioni.

I set di dati autorizzati non possono essere etichettati. I tag dei set di dati di proprietà e le relative revisioni non vengono propagati alle corrispondenti versioni autorizzate. In particolare, i destinatari o gli abbonati, che hanno accesso in sola lettura ai set di dati e alle revisioni autorizzati, non vedranno i tag del set di dati di proprietà originale.