Servizio di feed di dati di consegna del venditore - Marketplace AWS

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Servizio di feed di dati di consegna del venditore

Marketplace AWS fornisce feed di dati come meccanismo per inviare informazioni strutturate sui up-to-date prodotti e sui clienti dai Marketplace AWS sistemi ai bucket Amazon S3 del venditore ETL per (estrazione, trasformazione e caricamento) tra strumenti di business intelligence di proprietà del venditore.

I dati transazionali vengono forniti e aggiunti in una struttura bitemporale in modo che i venditori possano archiviare e interrogare i dati lungo due sequenze temporali, con timestamp per entrambe

  • ora valida: quando si è verificato un fatto nel mondo reale («quello che sapevi»)

  • ora del sistema: quando quel fatto è stato registrato nel database («quando lo sapevi»).

I feed di dati vengono consegnati ogni giorno a mezzanotte UTC dopo un aggiornamento del giorno precedente contenente 24 ore di dati del giorno precedente. Un aggiornamento può essere definito mediante l'iscrizione di un cliente, la fatturazione o l'erogazione del pagamento. AWS

Questa sezione fornisce una panoramica dei feed di dati e spiega come accedervi e utilizzarli. Le sezioni successive descrivono ogni data feed.

Archiviazione e struttura dei feed di dati

I feed di dati raccolgono e distribuiscono file con valori separati da virgole (CSV) a un bucket Amazon S3 crittografato fornito da te. I CSV file hanno le seguenti caratteristiche:

  • Seguono gli standard 4180.

  • La codifica dei caratteri è UTF -8 senza. BOM

  • Le virgole vengono utilizzate come separatori tra i valori.

  • I campi sono separati da virgolette doppie.

  • \nè il carattere di alimentazione della riga.

  • Le date sono riportate nel fuso UTC orario, sono nel formato di data e ora ISO 8601 e sono accurate entro 1 secondo.

  • Tutti *_period_start_date i *_period_end_date valori sono comprensivi, il che significa che 23:59:59 si tratta dell'ultimo timestamp possibile per ogni giorno.

  • Tutti i campi monetari sono preceduti da un campo di valuta.

  • I campi monetari utilizzano un punto (.) come separatore decimale e non utilizzano una virgola (,) come separatore delle migliaia.

I feed di dati vengono generati e archiviati come segue:

  • I data feed vengono generati entro un giorno e contengono 24 ore di dati del giorno precedente.

  • Nel bucket Amazon S3, i feed di dati sono organizzati per mese utilizzando il seguente formato:

    bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

  • Man mano che viene generato, ogni feed di dati giornaliero viene aggiunto al CSV file esistente per quel mese. All'inizio di un nuovo mese, viene generato un nuovo CSV file per ogni data feed.

  • Le informazioni nei feed di dati vengono compilate dal 01/01/2010 al 30/04/2020 (incluso) e sono disponibili nel file nella sottocartella. CSV year=2010/month=01

    Potresti notare casi in cui il file del mese corrente per un determinato feed di dati contiene solo intestazioni di colonna e nessun dato. Ciò significa che non sono state inserite nuove voci per quel mese nel feed. Questo può accadere con feed di dati che vengono aggiornati meno frequentemente, come il feed del prodotto. In questi casi, i dati sono disponibili nella cartella riempita.

  • In Amazon S3, puoi creare una policy sul ciclo di vita di Amazon S3 per gestire il periodo di conservazione dei file nel bucket.

  • Puoi configurare Amazon in modo che SNS ti avvisi quando i dati vengono consegnati al tuo bucket S3 crittografato. Per informazioni su come configurare le notifiche, consulta Getting started with Amazon SNS nella Amazon Simple Notification Service Developer Guide.

Storizzazione dei dati

Ogni data feed include colonne che documentano la cronologia dei dati. Ad eccezione divalid_to, queste colonne sono comuni a tutti i feed di dati. Sono incluse come schema cronologico comune e sono utili per interrogare i dati.

Nome colonna Descrizione
valid_from La prima data in cui il valore della chiave primaria è valido rispetto ai valori degli altri campi.
valid_to Questa colonna viene visualizzata solo nel feed di dati degli indirizzi ed è sempre vuota.
insert_date La data in cui un record è stato inserito nel data feed.
update_date Data dell'ultimo aggiornamento del record.
delete_date Questa colonna è sempre vuota.

Di seguito viene illustrato un esempio di queste colonne.

valid_from valido_a data_di inserimento data_aggiornamento data_eliminazione
2018-12-12H 02:00:00 Z 2018-12-12H 02:00:00 Z 2018-12-12H 02:00:00 Z
2019-03-29T 03:00:00 Z 2019-03-29T 03:00:00 Z 2019-03-29T 03:00:00 Z
2019-03-29T 03:00:00 Z 2019-03-29T 03:00:00 Z 2019-04-28T 03:00:00 Z

Il update_date campo valid_from e insieme formano un modello di dati bi-temporale. Il valid_from campo, così com'è denominato, indica da quando l'elemento è valido. Se l'elemento è stato modificato, può avere più record nel feed, ognuno con una valid_from data diversa update_date ma con la stessa. Ad esempio, per trovare il valore corrente di un elemento, dovresti trovare il record con la data più recenteupdate_date, dall'elenco dei record con la valid_from data più recente.

Nell'esempio precedente, il record è stato originariamente creato il 12/12/2018. È stato quindi modificato il 29-03-2019 (ad esempio, se l'indirizzo nel record è cambiato). Successivamente, il 28/04/2019, il cambio di indirizzo è stato corretto (quindi non è cambiato, valid_from ma l'ha fatto). update_date La correzione dell'indirizzo (un evento raro) modifica retroattivamente il record rispetto alla valid_from data originale, quindi quel campo non è cambiato. Una query per trovare il record più recente valid_from restituirebbe due record, mentre quello con l'ultimo update_date fornisce il record corrente effettivo.

Accesso ai feed di dati

Per accedere ai feed di dati, devi configurare il tuo ambiente per ricevere feed di dati su un bucket Amazon S3 crittografato. Segui una procedura in più fasi per accedere ai feed di dati e le seguenti serie di passaggi spiegano come.

  1. Assegna a un ingegnere di business intelligence o di dati un'SQLesperienza ETL (estrazione, trasformazione, caricamento). Anche questa persona ha bisogno di esperienza nella configurazione. APIs

  2. Configura un bucket Amazon Simple Storage Service e un abbonamento ai feed di dati. Utilizza l'ID dell'account AWS venditore associato alle tue offerte di prodotti sul Marketplace. A tale scopo, puoi guardare questo YouTube video o seguire la procedura riportata di seguito.

    Il video e i passaggi spiegano come utilizzare un AWS CloudFormation modello che semplifica la configurazione.

    1. Apri un browser Web e accedi a Portale di gestione Marketplace AWS, quindi vai a Configurare l'archiviazione dei dati dei clienti.

    2. Scegli Crea risorse con AWS CloudFormation modello per aprire il modello nella AWS CloudFormation console in un'altra finestra.

    3. Nel modello, specifica quanto segue e quindi scegli Avanti:

      • Nome dello stack: la raccolta di risorse che stai creando per consentire l'accesso ai feed di dati.

      • Nome del bucket Amazon S3: il bucket per l'archiviazione dei feed di dati.

      • (Facoltativo) Nome dell'SNSargomento Amazon: l'argomento per la ricezione di notifiche AWS quando vengono forniti nuovi dati al bucket Amazon S3.

    4. Nella pagina di revisione, conferma i dati immessi e scegli Crea stack. Si aprirà una nuova pagina con CloudFormation lo stato e i dettagli.

    5. Dalla scheda Risorse, copia Amazon Resource Names (ARNs) per le seguenti risorse dalla CloudFormation pagina nei campi della pagina Marketplace AWS Configura l'archiviazione dei dati dei clienti:

      • Bucket Amazon S3 per l'archiviazione di feed di dati

      • AWS KMS chiave per crittografare il bucket Amazon S3

      • (Facoltativo) SNS Argomento Amazon per la ricezione di notifiche quando AWS consegna nuovi dati al bucket Amazon S3

    6. Nella pagina Configura l'archiviazione dei dati dei clienti, scegli Invia.

    7. (Facoltativo) Modifica le politiche create dal CloudFormation modello. Per ulteriori dettagli, consulta Politiche relative ai feed di dati.

      Ora sei iscritto ai feed di dati. La prossima volta che vengono generati i feed di dati, puoi accedere ai dati.

  3. Utilizza un'operazione ETL (estrazione, trasformazione, caricamento) per connettere i feed di dati al tuo data warehouse o database relazionale.

    Nota

    Gli strumenti di dati hanno funzionalità diverse. È necessario coinvolgere un ingegnere di business intelligence o un ingegnere dei dati per configurare l'integrazione in modo che corrisponda alle funzionalità dello strumento.

  4. Per eseguire o creare SQL query, configura i feed di dati per applicare chiavi primarie ed esterne nel tuo strumento di dati. Ogni data feed rappresenta una tabella unica ed è necessario configurare tutti i feed di dati nello schema di dati con le relazioni tra le entità. Per ulteriori informazioni sulle tabelle e sulle relazioni tra entità, Panoramica delle tabelle dei data feed consulta questa guida.

  5. Configura Amazon Simple Notification Service per aggiornare automaticamente il tuo data warehouse o database relazionale. Puoi configurare SNS le notifiche Amazon per inviare avvisi quando i dati di ogni feed univoco vengono consegnati a un bucket S3. Queste notifiche possono essere sfruttate per aggiornare automaticamente il data warehouse del venditore quando vengono ricevuti nuovi dati tramite feed di dati, se lo strumento Seller Data Tool supporta questa funzionalità. Consulta la sezione Guida introduttiva ad Amazon SNS nella Guida per gli sviluppatori di Amazon Simple Notification Service.

    Esempio di notifica:

    { "mainExecutionId": "1bc08b11-ab4b-47e1-866a-9c8f38423a98", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd", "processedFiles": [], "executionStatus": "SKIPPED", "errors": [], "feedType": "[data feed name]" }

    Le notifiche possono avere i seguenti executionStatus stati:

    • SKIPPED— Il venditore non dispone di nuovi dati per la giornata.

    • COMPLETED— Abbiamo fornito il feed con nuovi dati.

    • FAILED— La consegna del feed presenta un problema.

  6. Convalida la configurazione eseguendo delle SQL interrogazioni. È possibile utilizzare le query di esempio in questa guida o le query su GitHub /tree/main/ /queries. https://github.com/aws-samples/ aws-marketplace-api-samples seller-data-feeds

    Nota

    Le domande di esempio contenute in questa guida sono state scritte per AWS Athena. Potrebbe essere necessario modificare le interrogazioni per utilizzarle con i propri strumenti.

  7. Determina dove gli utenti aziendali vogliono consumare i dati. Ad esempio, puoi:

    • Esporta i dati.csv dal tuo data warehouse o SQL database.

    • Connect i tuoi dati a uno strumento di visualizzazione come PowerBI o Tableau.

    • Associa i dati ai tuoi strumenti finanziari CRMERP, come Salesforce, Infor o Netsuite.

Per ulteriori informazioni sui AWS CloudFormation modelli, consulta Lavorare con i AWS CloudFormation modelli nella Guida per l'utente.AWS CloudFormation

Politiche relative ai feed di dati

Quando il bucket Amazon S3 viene creato dal CloudFormation modello, verranno create politiche per l'accesso collegate a quel bucket, alla AWS KMS chiave e all'argomento Amazon. SNS Le policy consentono al servizio di Marketplace AWS report di scrivere nel bucket e nell'SNSargomento le informazioni del feed di dati. Ogni policy avrà una sezione come la seguente (questo esempio proviene dal bucket Amazon S3).

{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-bucket", "arn:aws:s3:::datafeed-bucket/*" ] },

In questa politica, reports.marketplace.amazonaws.com è il responsabile del servizio Marketplace AWS utilizzato per inviare dati al bucket Amazon S3. datafeed-bucketÈ il bucket che hai specificato nel modello. CloudFormation

Quando il servizio di Marketplace AWS report chiama Amazon S3 o Amazon AWS KMS SNS, fornirà i ARN dati che intende scrivere nel bucket quando lo fa. Per assicurarti che gli unici dati scritti nel tuo bucket siano quelli scritti per tuo conto, puoi specificarli aws:SourceArn nella condizione della politica. Nell'esempio seguente, è necessario sostituire account-id con l'ID del tuo Account AWS.

{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "account-id", "aws:SourceArn": ["arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/Example-Report"] } } },

Annullamento dell'iscrizione ai feed di dati

Apri un browser Web e accedi al AWSMarketplace Management Portal. Quindi, vai alla pagina Contattaci per inviare una richiesta di annullamento dell'iscrizione al team Operativo del Marketplace AWS venditore. L'elaborazione della richiesta di annullamento dell'iscrizione può richiedere fino a 10 giorni lavorativi.

Utilizzo dei feed di dati

Quando i dati sono disponibili nel tuo bucket Amazon S3, puoi utilizzare i feed di dati nei seguenti modi:

  • Scarica il. CSVfile dal bucket Amazon S3 in cui hai creato in Accesso ai feed di dati modo da poter visualizzare i dati in un foglio di calcolo.

  • Utilizza ETL (estrazione, trasformazione e caricamento), SQL interrogazioni e strumenti di analisi aziendale per raccogliere e analizzare i dati.

    È possibile utilizzare AWS i servizi per raccogliere e analizzare i dati o qualsiasi strumento di terze parti in grado di eseguire l'analisi di. CSVset di dati basati.

Esempio: utilizzare AWS i servizi per raccogliere e analizzare dati

La procedura seguente presuppone che tu abbia già configurato il tuo ambiente per ricevere feed di dati su un bucket Amazon S3 e che il bucket contenga feed di dati.

Per raccogliere e analizzare i dati dai feed di dati
  1. Dalla AWS Glue console, crea un crawler per connetterti al bucket Amazon S3 che archivia i feed di dati, estrae i dati che desideri e crea tabelle di metadati in. AWS Glue Data Catalog

    Per ulteriori informazioni in merito, consulta la Developer Guide AWS Glue.AWS Glue

  2. Dalla console Athena, esegui SQL interrogazioni sui dati contenuti in. AWS Glue Data Catalog

    Per ulteriori informazioni su Athena, consulta la Amazon Athena User Guide.

  3. Dalla QuickSight console Amazon, crea un'analisi e quindi crea una visualizzazione dei dati.

    Per ulteriori informazioni su Amazon QuickSight, consulta la Amazon QuickSight User Guide.

Per un esempio dettagliato di un modo di utilizzare AWS i servizi per raccogliere e analizzare i dati nei feed di dati, consulta Utilizzo del servizio di consegna dei feed dei dati del venditore, Amazon Athena e QuickSight Amazon per creare report sui venditori sul Marketplace AWS blog.