Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Servizio di feed di dati di consegna del venditore
Marketplace AWS fornisce feed di dati come meccanismo per inviare informazioni strutturate sui up-to-date prodotti e sui clienti dai Marketplace AWS sistemi ai bucket Amazon S3 del venditore ETL per (estrazione, trasformazione e caricamento) tra strumenti di business intelligence di proprietà del venditore.
I dati transazionali vengono forniti e aggiunti in una struttura bitemporale in modo che i venditori possano archiviare e interrogare i dati lungo due sequenze temporali, con timestamp per entrambe
-
ora valida: quando si è verificato un fatto nel mondo reale («quello che sapevi»)
-
ora del sistema: quando quel fatto è stato registrato nel database («quando lo sapevi»).
I feed di dati vengono consegnati ogni giorno a mezzanotte UTC dopo un aggiornamento del giorno precedente contenente 24 ore di dati del giorno precedente. Un aggiornamento può essere definito mediante l'iscrizione di un cliente, la fatturazione o l'erogazione del pagamento. AWS
Questa sezione fornisce una panoramica dei feed di dati e spiega come accedervi e utilizzarli. Le sezioni successive descrivono ogni data feed.
Archiviazione e struttura dei feed di dati
I feed di dati raccolgono e distribuiscono file con valori separati da virgole (CSV) a un bucket Amazon S3 crittografato fornito da te. I CSV file hanno le seguenti caratteristiche:
-
Seguono gli standard 4180.
-
La codifica dei caratteri è UTF -8 senza. BOM
-
Le virgole vengono utilizzate come separatori tra i valori.
-
I campi sono separati da virgolette doppie.
-
\n
è il carattere di alimentazione della riga. -
Le date sono riportate nel fuso UTC orario, sono nel formato di data e ora ISO 8601 e sono accurate entro 1 secondo.
-
Tutti
*_period_start_date
i*_period_end_date
valori sono comprensivi, il che significa che23:59:59
si tratta dell'ultimo timestamp possibile per ogni giorno. -
Tutti i campi monetari sono preceduti da un campo di valuta.
-
I campi monetari utilizzano un punto (
.
) come separatore decimale e non utilizzano una virgola (,) come separatore delle migliaia.
I feed di dati vengono generati e archiviati come segue:
-
I data feed vengono generati entro un giorno e contengono 24 ore di dati del giorno precedente.
-
Nel bucket Amazon S3, i feed di dati sono organizzati per mese utilizzando il seguente formato:
bucket-name
/data-feed-name_version
/year=YYYY
/month=MM
/data.csv -
Man mano che viene generato, ogni feed di dati giornaliero viene aggiunto al CSV file esistente per quel mese. All'inizio di un nuovo mese, viene generato un nuovo CSV file per ogni data feed.
-
Le informazioni nei feed di dati vengono compilate dal 01/01/2010 al 30/04/2020 (incluso) e sono disponibili nel file nella sottocartella. CSV
year=2010/month=01
Potresti notare casi in cui il file del mese corrente per un determinato feed di dati contiene solo intestazioni di colonna e nessun dato. Ciò significa che non sono state inserite nuove voci per quel mese nel feed. Questo può accadere con feed di dati che vengono aggiornati meno frequentemente, come il feed del prodotto. In questi casi, i dati sono disponibili nella cartella riempita.
-
In Amazon S3, puoi creare una policy sul ciclo di vita di Amazon S3 per gestire il periodo di conservazione dei file nel bucket.
-
Puoi configurare Amazon in modo che SNS ti avvisi quando i dati vengono consegnati al tuo bucket S3 crittografato. Per informazioni su come configurare le notifiche, consulta Getting started with Amazon SNS nella Amazon Simple Notification Service Developer Guide.
Storizzazione dei dati
Ogni data feed include colonne che documentano la cronologia dei dati. Ad eccezione divalid_to
, queste colonne sono comuni a tutti i feed di dati. Sono incluse come schema cronologico comune e sono utili per interrogare i dati.
Nome colonna | Descrizione |
---|---|
valid_from | La prima data in cui il valore della chiave primaria è valido rispetto ai valori degli altri campi. |
valid_to | Questa colonna viene visualizzata solo nel feed di dati degli indirizzi ed è sempre vuota. |
insert_date | La data in cui un record è stato inserito nel data feed. |
update_date | Data dell'ultimo aggiornamento del record. |
delete_date | Questa colonna è sempre vuota. |
Di seguito viene illustrato un esempio di queste colonne.
valid_from | valido_a | data_di inserimento | data_aggiornamento | data_eliminazione |
---|---|---|---|---|
2018-12-12H 02:00:00 Z | 2018-12-12H 02:00:00 Z | 2018-12-12H 02:00:00 Z | ||
2019-03-29T 03:00:00 Z | 2019-03-29T 03:00:00 Z | 2019-03-29T 03:00:00 Z | ||
2019-03-29T 03:00:00 Z | 2019-03-29T 03:00:00 Z | 2019-04-28T 03:00:00 Z |
Il update_date
campo valid_from
e insieme formano un modello di dati bi-temporale. Il valid_from
campo, così com'è denominato, indica da quando l'elemento è valido. Se l'elemento è stato modificato, può avere più record nel feed, ognuno con una valid_from
data diversa update_date
ma con la stessa. Ad esempio, per trovare il valore corrente di un elemento, dovresti trovare il record con la data più recenteupdate_date
, dall'elenco dei record con la valid_from
data più recente.
Nell'esempio precedente, il record è stato originariamente creato il 12/12/2018. È stato quindi modificato il 29-03-2019 (ad esempio, se l'indirizzo nel record è cambiato). Successivamente, il 28/04/2019, il cambio di indirizzo è stato corretto (quindi non è cambiato, valid_from
ma l'ha fatto). update_date
La correzione dell'indirizzo (un evento raro) modifica retroattivamente il record rispetto alla valid_from
data originale, quindi quel campo non è cambiato. Una query per trovare il record più recente valid_from
restituirebbe due record, mentre quello con l'ultimo update_date
fornisce il record corrente effettivo.
Accesso ai feed di dati
Per accedere ai feed di dati, devi configurare il tuo ambiente per ricevere feed di dati su un bucket Amazon S3 crittografato. Segui una procedura in più fasi per accedere ai feed di dati e le seguenti serie di passaggi spiegano come.
Assegna a un ingegnere di business intelligence o di dati un'SQLesperienza ETL (estrazione, trasformazione, caricamento). Anche questa persona ha bisogno di esperienza nella configurazione. APIs
Configura un bucket Amazon Simple Storage Service e un abbonamento ai feed di dati. Utilizza l'ID dell'account AWS venditore associato alle tue offerte di prodotti sul Marketplace. A tale scopo, puoi guardare questo YouTube video
o seguire la procedura riportata di seguito. Il video e i passaggi spiegano come utilizzare un AWS CloudFormation modello
che semplifica la configurazione. -
Apri un browser Web e accedi a Portale di gestione Marketplace AWS
, quindi vai a Configurare l'archiviazione dei dati dei clienti . -
Scegli Crea risorse con AWS CloudFormation modello per aprire il modello nella AWS CloudFormation console in un'altra finestra.
-
Nel modello, specifica quanto segue e quindi scegli Avanti:
-
Nome dello stack: la raccolta di risorse che stai creando per consentire l'accesso ai feed di dati.
-
Nome del bucket Amazon S3: il bucket per l'archiviazione dei feed di dati.
-
(Facoltativo) Nome dell'SNSargomento Amazon: l'argomento per la ricezione di notifiche AWS quando vengono forniti nuovi dati al bucket Amazon S3.
-
-
Nella pagina di revisione, conferma i dati immessi e scegli Crea stack. Si aprirà una nuova pagina con CloudFormation lo stato e i dettagli.
-
Dalla scheda Risorse, copia Amazon Resource Names (ARNs) per le seguenti risorse dalla CloudFormation pagina nei campi della pagina Marketplace AWS Configura l'archiviazione dei dati dei clienti
: -
Bucket Amazon S3 per l'archiviazione di feed di dati
-
AWS KMS chiave per crittografare il bucket Amazon S3
-
(Facoltativo) SNS Argomento Amazon per la ricezione di notifiche quando AWS consegna nuovi dati al bucket Amazon S3
-
-
Nella pagina Configura l'archiviazione dei dati dei clienti, scegli Invia.
-
(Facoltativo) Modifica le politiche create dal CloudFormation modello. Per ulteriori dettagli, consulta Politiche relative ai feed di dati.
Ora sei iscritto ai feed di dati. La prossima volta che vengono generati i feed di dati, puoi accedere ai dati.
-
Utilizza un'operazione ETL (estrazione, trasformazione, caricamento) per connettere i feed di dati al tuo data warehouse o database relazionale.
Nota
Gli strumenti di dati hanno funzionalità diverse. È necessario coinvolgere un ingegnere di business intelligence o un ingegnere dei dati per configurare l'integrazione in modo che corrisponda alle funzionalità dello strumento.
Per eseguire o creare SQL query, configura i feed di dati per applicare chiavi primarie ed esterne nel tuo strumento di dati. Ogni data feed rappresenta una tabella unica ed è necessario configurare tutti i feed di dati nello schema di dati con le relazioni tra le entità. Per ulteriori informazioni sulle tabelle e sulle relazioni tra entità, Panoramica delle tabelle dei data feed consulta questa guida.
Configura Amazon Simple Notification Service per aggiornare automaticamente il tuo data warehouse o database relazionale. Puoi configurare SNS le notifiche Amazon per inviare avvisi quando i dati di ogni feed univoco vengono consegnati a un bucket S3. Queste notifiche possono essere sfruttate per aggiornare automaticamente il data warehouse del venditore quando vengono ricevuti nuovi dati tramite feed di dati, se lo strumento Seller Data Tool supporta questa funzionalità. Consulta la sezione Guida introduttiva ad Amazon SNS nella Guida per gli sviluppatori di Amazon Simple Notification Service.
Esempio di notifica:
{ "mainExecutionId": "
1bc08b11-ab4b-47e1-866a-9c8f38423a98
", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1
", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd
", "processedFiles": [], "executionStatus": "SKIPPED
", "errors": [], "feedType": "[data feed name
]" }Le notifiche possono avere i seguenti
executionStatus
stati:SKIPPED
— Il venditore non dispone di nuovi dati per la giornata.COMPLETED
— Abbiamo fornito il feed con nuovi dati.FAILED
— La consegna del feed presenta un problema.
Convalida la configurazione eseguendo delle SQL interrogazioni. È possibile utilizzare le query di esempio in questa guida o le query su GitHub /tree/main/ /queries. https://github.com/aws-samples/ aws-marketplace-api-samples seller-data-feeds
Nota
Le domande di esempio contenute in questa guida sono state scritte per AWS Athena. Potrebbe essere necessario modificare le interrogazioni per utilizzarle con i propri strumenti.
-
Determina dove gli utenti aziendali vogliono consumare i dati. Ad esempio, puoi:
Esporta i dati.csv dal tuo data warehouse o SQL database.
Connect i tuoi dati a uno strumento di visualizzazione come PowerBI o Tableau.
Associa i dati ai tuoi strumenti finanziari CRMERP, come Salesforce, Infor o Netsuite.
Per ulteriori informazioni sui AWS CloudFormation modelli, consulta Lavorare con i AWS CloudFormation modelli nella Guida per l'utente.AWS CloudFormation
Politiche relative ai feed di dati
Quando il bucket Amazon S3 viene creato dal CloudFormation modello, verranno create politiche per l'accesso collegate a quel bucket, alla AWS KMS chiave e all'argomento Amazon. SNS Le policy consentono al servizio di Marketplace AWS report di scrivere nel bucket e nell'SNSargomento le informazioni del feed di dati. Ogni policy avrà una sezione come la seguente (questo esempio proviene dal bucket Amazon S3).
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::
datafeed-bucket
", "arn:aws:s3:::datafeed-bucket
/*" ] },
In questa politica, reports.marketplace.amazonaws.com
è il responsabile del servizio Marketplace AWS utilizzato per inviare dati al bucket Amazon S3. datafeed-bucket
È il bucket che hai specificato nel modello. CloudFormation
Quando il servizio di Marketplace AWS report chiama Amazon S3 o Amazon AWS KMS SNS, fornirà i ARN dati che intende scrivere nel bucket quando lo fa. Per assicurarti che gli unici dati scritti nel tuo bucket siano quelli scritti per tuo conto, puoi specificarli aws:SourceArn
nella condizione della politica. Nell'esempio seguente, è necessario sostituire account-id
con l'ID del tuo Account AWS.
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "
account-id
", "aws:SourceArn": ["arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/Example-Report
"] } } },
Annullamento dell'iscrizione ai feed di dati
Apri un browser Web e accedi al AWSMarketplace Management Portal
Utilizzo dei feed di dati
Quando i dati sono disponibili nel tuo bucket Amazon S3, puoi utilizzare i feed di dati nei seguenti modi:
-
Scarica il. CSVfile dal bucket Amazon S3 in cui hai creato in Accesso ai feed di dati modo da poter visualizzare i dati in un foglio di calcolo.
-
Utilizza ETL (estrazione, trasformazione e caricamento), SQL interrogazioni e strumenti di analisi aziendale per raccogliere e analizzare i dati.
È possibile utilizzare AWS i servizi per raccogliere e analizzare i dati o qualsiasi strumento di terze parti in grado di eseguire l'analisi di. CSVset di dati basati.
Esempio: utilizzare AWS i servizi per raccogliere e analizzare dati
La procedura seguente presuppone che tu abbia già configurato il tuo ambiente per ricevere feed di dati su un bucket Amazon S3 e che il bucket contenga feed di dati.
Per raccogliere e analizzare i dati dai feed di dati
-
Dalla AWS Glue console
, crea un crawler per connetterti al bucket Amazon S3 che archivia i feed di dati, estrae i dati che desideri e crea tabelle di metadati in. AWS Glue Data Catalog Per ulteriori informazioni in merito, consulta la Developer Guide AWS Glue.AWS Glue
-
Dalla console Athena
, esegui SQL interrogazioni sui dati contenuti in. AWS Glue Data Catalog Per ulteriori informazioni su Athena, consulta la Amazon Athena User Guide.
-
Dalla QuickSight console Amazon
, crea un'analisi e quindi crea una visualizzazione dei dati. Per ulteriori informazioni su Amazon QuickSight, consulta la Amazon QuickSight User Guide.
Per un esempio dettagliato di un modo di utilizzare AWS i servizi per raccogliere e analizzare i dati nei feed di dati, consulta Utilizzo del servizio di consegna dei feed dei dati del venditore, Amazon Athena e QuickSight Amazon per creare report sui venditori