Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Service für Lieferdaten-Feeds für Verkäufer
AWS Marketplace bietet Datenfeeds als Mechanismus zum Senden strukturierter up-to-date Produkt- und Kundeninformationen von AWS Marketplace Systemen an Amazon S3 S3-Buckets des Verkäufers, um diese zwischen unternehmenseigenen Business Intelligence-Tools ETL (Extrahieren, Transformieren und Laden) zu senden.
Die Transaktionsdaten werden in einer bitemporalen Struktur bereitgestellt und angehängt, sodass Verkäufer Daten entlang zweier Zeitlinien mit Zeitstempeln für beide speichern und abfragen können
-
Gültige Zeit: wann eine Tatsache in der realen Welt eingetreten ist („was Sie wussten“)
-
Systemzeit: wann diese Tatsache in der Datenbank aufgezeichnet wurde („als Sie es wussten“).
Datenfeeds werden täglich um Mitternacht UTC nach einer Aktualisierung vom Vortag bereitgestellt, die 24 Stunden an Daten vom Vortag enthält. Ein Update kann so definiert werden, dass ein Kunde ein Abonnement abschließt, einem Kunden eine Rechnung ausgestellt wird oder die Zahlung AWS auszahlt.
Dieser Abschnitt bietet einen Überblick über Datenfeeds und erklärt, wie Sie auf sie zugreifen und sie verwenden können. In den nachfolgenden Abschnitten werden die einzelnen Datenfeeds beschrieben.
Speicherung und Struktur von Datenfeeds
Daten-Feeds sammeln Dateien mit kommagetrennten Werten (CSV) und senden sie an einen verschlüsselten Amazon S3 S3-Bucket, den Sie bereitstellen. Die CSV Dateien haben die folgenden Eigenschaften:
-
Sie folgen 4180-Standards
. -
Die Zeichenkodierung ist UTF -8 ohneBOM.
-
Kommas werden als Trennzeichen zwischen Werten verwendet.
-
Felder werden durch doppelte Anführungszeichen als Escape-Zeichen umgangen.
-
\n
ist das Zeilenvorschubzeichen. -
Datumsangaben werden in der UTC Zeitzone angegeben, haben das Datums- und Uhrzeitformat ISO 8601 und sind innerhalb von 1 Sekunde korrekt.
-
Alle Werte für
*_period_start_date
und*_period_end_date
sind einschließend. Dies bedeutet, dass23:59:59
der letzte mögliche Zeitstempel für jeden Tag ist. -
Allen monetären Feldern wird ein Währungsfeld vorangestellt.
-
Monetäre Felder verwenden einen Punkt (
.
) als Dezimaltrennzeichen und sie verwenden kein Komma (,) als Tausendertrennzeichen.
Datenfeeds werden wie folgt generiert und gespeichert:
-
Datenfeeds werden innerhalb eines Tages generiert und enthalten Daten von 24 Stunden des Vortags.
-
Im Amazon S3 S3-Bucket sind die Datenfeeds im folgenden Format nach Monaten geordnet:
bucket-name
/data-feed-name_version
/year=YYYY
/month=MM
/data.csv -
Wenn jeder tägliche Datenfeed generiert wird, wird er an die bestehende CSV Datei für diesen Monat angehängt. Wenn ein neuer Monat beginnt, wird für jeden Datenfeed eine neue CSV Datei generiert.
-
Informationen in Datenfeeds werden zwischen dem 01.01.2010 und dem 30.04.2020 (einschließlich) wieder aufgefüllt und sind in der Datei im Unterordner verfügbar. CSV
year=2010/month=01
Möglicherweise sind Ihnen Fälle aufgefallen, in denen die Datei des aktuellen Monats für einen bestimmten Datenfeed nur Spaltenüberschriften und keine Daten enthält. Dies bedeutet, dass es für diesen Monat keine neuen Einträge für den Feed gab. Dies kann bei Datenfeeds der Fall sein, die seltener aktualisiert werden, wie z. B. beim Produktfeed. In diesen Fällen sind Daten im per Backfill gefüllten Ordner verfügbar.
-
In Amazon S3 können Sie eine Amazon S3 S3-Lebenszyklusrichtlinie erstellen, um zu verwalten, wie lange Dateien im Bucket aufbewahrt werden sollen.
-
Sie können Amazon so konfigurierenSNS, dass Sie benachrichtigt werden, wenn Daten an Ihren verschlüsselten S3-Bucket geliefert werden. Informationen zur Konfiguration von Benachrichtigungen finden Sie unter Erste Schritte mit Amazon SNS im Amazon Simple Notification Service Developer Guide.
Datenhistorisierung
Jeder Datenfeed enthält Spalten, die den Verlauf der Daten dokumentieren. Mit Ausnahme von valid_to
sind diese Spalten allen Datenfeeds gemeinsam. Sie sind als allgemeines Verlaufsschema enthalten und beim Abfragen der Daten nützlich.
Spaltenname | Beschreibung |
---|---|
valid_from | Das erste Datum, für das der Wert für den Primärschlüssel in Bezug auf Werte für andere Felder gültig ist. |
valid_to | Diese Spalte wird nur im Adressdatenfeed angezeigt und ist immer leer. |
insert_date | Das Datum, an dem ein Datensatz in den Datenfeed eingefügt wurde. |
update_date | Das Datum, an dem der Datensatz zuletzt aktualisiert wurde. |
delete_date | Diese Spalte ist immer leer. |
Im Folgenden sehen Sie ein Beispiel für diese Spalten.
valid_from | valid_to | insert_date | update_date | delete_date |
---|---|---|---|---|
2018-12-12T 02:00:00 Z | 2018-12-12T 02:00:00 Z | 2018-12-12T 02:00:00 Z | ||
29.03.2019 UM 03:00:00 UHR Z | 29.03.2019 UM 03:00:00 Z | 29.03.2019 UM 03:00:00 Z | ||
29.03.2019 UM 03:00:00 Z | 29.03.2019 UM 03:00:00 Z | 28.04.2019 UM 03:00:00 Z |
Das update_date
Feld valid_from
und das Feld bilden zusammen ein bitemporales Datenmodell. Das valid_from
Feld, so wie es benannt ist, gibt an, ab wann das Element gültig ist. Wenn das Element bearbeitet wurde, kann es mehrere Datensätze im Feed enthalten, die jeweils ein anderesupdate_date
, aber dasselbe valid_from
Datum haben. Um beispielsweise den aktuellen Wert für ein Element zu ermitteln, würden Sie in der Liste der Datensätze mit dem aktuellsten update_date
Datum den Datensatz mit dem neuesten valid_from
Datum suchen.
Im obigen Beispiel wurde der Datensatz ursprünglich am 12.12.2018 erstellt. Er wurde dann am 29.03.2019 geändert (z. B. wenn sich die Adresse im Datensatz geändert hat). Später, am 28.04.2019, wurde die Adressänderung korrigiert (sie hat sich also nicht geändert, valid_from
aber sie hat sich geändert). update_date
Durch die Korrektur der Adresse (ein seltenes Ereignis) wird der Datensatz rückwirkend gegenüber dem ursprünglichen valid_from
Datum geändert, sodass dieses Feld nicht geändert wurde. Eine Abfrage nach dem neuesten Datensatz valid_from
würde zwei Datensätze zurückgeben. Der Datensatz mit dem neuesten update_date
gibt Ihnen den aktuellen Datensatz.
Zugriff auf Datenfeeds
Um auf Datenfeeds zugreifen zu können, müssen Sie Ihre Umgebung so konfigurieren, dass Datenfeeds in einen verschlüsselten Amazon S3 S3-Bucket empfangen werden. Sie folgen einem mehrstufigen Prozess, um auf Datenfeeds zuzugreifen, und in den folgenden Schritten wird erklärt, wie das geht.
Weisen Sie einem Business Intelligence- oder Dateningenieur Erfahrung SQL ETL (Extrahieren, Transformieren, Laden) zu. Diese Person benötigt auch Erfahrung in der EinrichtungAPIs.
Richten Sie einen Amazon Simple Storage Service-Bucket und ein Abonnement für die Datenfeeds ein. Verwenden Sie die AWS Verkäuferkonto-ID, die Ihren Marketplace-Produktangeboten zugeordnet ist. Sehen Sie sich dazu dieses YouTube Video
an oder folgen Sie den nachstehenden Schritten. Das Video und die Schritte erklären, wie Sie eine AWS CloudFormation Vorlage
verwenden, die die Konfiguration vereinfacht. -
Öffnen Sie einen Webbrowser und melden Sie sich beim AWS Marketplace Management Portal
an. Gehen Sie dann zu Kundendatenspeicher einrichten . -
Wählen Sie Ressourcen mit AWS CloudFormation Vorlage erstellen, um die Vorlage in der AWS CloudFormation Konsole in einem anderen Fenster zu öffnen.
-
Geben Sie in der Vorlage Folgendes an und wählen Sie dann Next (Weiter):
-
Stack-Name — Die Sammlung von Ressourcen, die Sie erstellen, um den Zugriff auf Datenfeeds zu ermöglichen.
-
Amazon S3 S3-Bucket-Name — Der Bucket zum Speichern von Datenfeeds.
-
(Optional) SNS Amazon-Themenname — Das Thema für den Empfang von Benachrichtigungen, wenn neue AWS Daten an den Amazon S3-Bucket geliefert werden.
-
-
Bestätigen Sie Ihre Eingaben auf der Seite Review (Überprüfen) und wählen Sie Create Stack (Stapel erstellen). Dadurch wird eine neue Seite mit dem CloudFormation Status und den Details geöffnet.
-
Kopieren Sie vom Tab Ressourcen die Amazon-Ressourcennamen (ARNs) für die folgenden Ressourcen von der CloudFormation Seite in die Felder auf der Seite Kundendatenspeicher AWS Marketplace einrichten
: -
Amazon S3 S3-Bucket zum Speichern von Datenfeeds
-
AWS KMS Schlüssel zum Verschlüsseln des Amazon S3 S3-Buckets
-
(Optional) SNS Amazon-Thema für den Empfang von Benachrichtigungen bei der AWS Lieferung neuer Daten an den Amazon S3-Bucket
-
-
Wählen Sie auf der Seite Set up customer data storage (Kundendatenspeicher) einrichten die Option Submit (Absenden).
-
(Optional) Bearbeiten Sie die mit der CloudFormation Vorlage erstellten Richtlinien. Weitere Details finden Sie unter Richtlinien für Datenfeeds.
Sie haben nun Datenfeeds abonniert. Wenn das nächste Mal Datenfeeds generiert werden, können Sie auf die Daten zugreifen.
-
Verwenden Sie einen Vorgang ETL (Extrahieren, Transformieren, Laden), um die Datenfeeds mit Ihrem Data Warehouse oder Ihrer relationalen Datenbank zu verbinden.
Anmerkung
Datentools haben unterschiedliche Funktionen. Sie müssen einen Business Intelligence- oder Dateningenieur hinzuziehen, um die Integration so einzurichten, dass sie den Funktionen Ihres Tools entspricht.
Um SQL Abfragen auszuführen oder zu erstellen, konfigurieren Sie die Datenfeeds so, dass Primär- und Fremdschlüssel in Ihrem Datentool durchgesetzt werden. Jeder Datenfeed stellt eine eindeutige Tabelle dar, und Sie müssen alle Datenfeeds im Datenschema mit den Entitätsbeziehungen einrichten. Weitere Informationen zu den Tabellen und Entitätsbeziehungen finden Sie Übersicht über Datenfeed-Tabellen in diesem Handbuch.
Richten Sie Amazon Simple Notification Service ein, um Ihr Data Warehouse oder Ihre relationale Datenbank automatisch zu aktualisieren. Sie können SNS Amazon-Benachrichtigungen so konfigurieren, dass Benachrichtigungen gesendet werden, wenn Daten aus jedem einzelnen Feed an einen S3-Bucket übermittelt werden. Diese Benachrichtigungen können genutzt werden, um das Seller Data Warehouse automatisch zu aktualisieren, wenn neue Daten über Datenfeeds eingehen, sofern das Seller Data Tool diese Funktion unterstützt. Weitere Informationen finden Sie unter Erste Schritte mit Amazon SNS im Amazon Simple Notification Service Developer Guide.
Beispiel für eine Benachrichtigung:
{ "mainExecutionId": "
1bc08b11-ab4b-47e1-866a-9c8f38423a98
", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1
", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd
", "processedFiles": [], "executionStatus": "SKIPPED
", "errors": [], "feedType": "[data feed name
]" }Benachrichtigungen können die folgenden
executionStatus
Status haben:SKIPPED
— Der Verkäufer hat keine neuen Daten für diesen Tag.COMPLETED
— Wir haben den Feed mit neuen Daten geliefert.FAILED
— Bei der Feed-Lieferung ist ein Problem aufgetreten.
Überprüfen Sie das Setup, indem Sie SQL Abfragen ausführen. Sie können die Beispielabfragen in diesem Handbuch oder die Abfragen dazu unter GitHub https://github.com/aws-samples/aws-marketplace-api-samples/tree/main/ seller-data-feeds /queries
verwenden. Anmerkung
Die Beispielabfragen in diesem Handbuch wurden für AWS Athena geschrieben. Möglicherweise müssen Sie die Abfragen für die Verwendung mit Ihren Tools ändern.
-
Ermitteln Sie, wo Geschäftsanwender Daten konsumieren möchten. Beispielsweise ist Folgendes möglich:
Exportieren Sie CSV-Daten aus Ihrem Data Warehouse oder Ihrer SQL Datenbank.
Connect Sie Ihre Daten mit einem Visualisierungstool wie PowerBI oder Tableau.
Ordnen Sie Daten IhrenCRM,ERP, oder Finanztools wie Salesforce, Infor oder Netsuite zu.
Weitere Informationen zu AWS CloudFormation Vorlagen finden Sie unter Arbeiten mit AWS CloudFormation Vorlagen im AWS CloudFormation Benutzerhandbuch.
Richtlinien für Datenfeeds
Wenn Ihr Amazon S3 S3-Bucket anhand der CloudFormation Vorlage erstellt wird, erstellt es Richtlinien für den Zugriff, die an diesen Bucket, den AWS KMS Schlüssel und das SNS Amazon-Thema angehängt sind. Die Richtlinien ermöglichen es dem AWS Marketplace Berichtsservice, die Datenfeed-Informationen in Ihren Bucket und Ihr SNS Thema zu schreiben. Jede Richtlinie hat einen Abschnitt wie den folgenden (dieses Beispiel stammt aus dem Amazon S3 S3-Bucket).
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::
datafeed-bucket
", "arn:aws:s3:::datafeed-bucket
/*" ] },
In dieser Richtlinie reports.marketplace.amazonaws.com
ist dies der Service Principal, der AWS Marketplace verwendet wird, um Daten in den Amazon S3 S3-Bucket zu übertragen. Das datafeed-bucket
ist der Bucket, den Sie in der CloudFormation Vorlage angegeben haben.
Wenn der AWS Marketplace Berichtsservice Amazon S3 oder Amazon aufruftSNS, stellt er die ARN Daten bereit, die er in den Bucket schreiben will, wenn er das tut. AWS KMS Um sicherzustellen, dass die einzigen Daten, die in Ihren Bucket geschrieben werden, Daten sind, die in Ihrem Namen geschrieben wurden, können Sie dies aws:SourceArn
in der Bedingung der Richtlinie angeben. Im folgenden Beispiel müssen Sie das ersetzen account-id
mit der ID für Ihre AWS-Konto.
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "
account-id
", "aws:SourceArn": ["arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/Example-Report
"] } } },
Abmeldung von Datenfeeds
Öffnen Sie einen Webbrowser und melden Sie sich beim AWSMarketplace Management Portal
Verwenden von Datenfeeds
Wenn Daten in Ihrem Amazon S3 S3-Bucket verfügbar sind, können Sie Daten-Feeds auf folgende Weise verwenden:
-
Laden Sie das herunter. CSVDateien aus dem Amazon S3 S3-Bucket, in dem Sie sie erstellt haben, Zugriff auf Datenfeeds sodass Sie die Daten in einer Tabelle anzeigen können.
-
Verwenden Sie Tools ETL (Extrahieren, Transformieren und Laden), SQL Abfragen und Geschäftsanalysen, um die Daten zu sammeln und zu analysieren.
Sie können AWS Dienste zum Sammeln und Analysieren von Daten oder jedes Tool von Drittanbietern verwenden, das Analysen von durchführen kann. CSVbasierte Datensätze.
Beispiel: Verwenden Sie AWS Dienste, um Daten zu sammeln und zu analysieren
Das folgende Verfahren setzt voraus, dass Sie Ihre Umgebung bereits für den Empfang von Datenfeeds in einen Amazon S3 S3-Bucket konfiguriert haben und dass der Bucket Datenfeeds enthält.
So erfassen und analysieren Sie Daten aus Datenfeeds
-
Erstellen Sie von der AWS Glue Konsole
aus einen Crawler, um eine Verbindung zum Amazon S3 S3-Bucket herzustellen, in dem die Datenfeeds gespeichert sind, extrahieren Sie die gewünschten Daten und erstellen Sie Metadatentabellen im AWS Glue Data Catalog. Weitere Informationen AWS Glue dazu finden Sie im AWS Glue Entwicklerhandbuch.
-
Führen Sie von der Athena-Konsole
aus SQL Abfragen zu den Daten in der AWS Glue Data Catalog aus. Weitere Informationen zu Athena finden Sie im Amazon Athena Athena-Benutzerhandbuch.
-
Erstellen Sie in der QuickSight Amazon-Konsole
eine Analyse und anschließend eine visuelle Darstellung der Daten. Weitere Informationen zu Amazon QuickSight finden Sie im QuickSight Amazon-Benutzerhandbuch.
Ein ausführliches Beispiel für eine Möglichkeit, AWS Dienste zum Sammeln und Analysieren von Daten in Datenfeeds zu verwenden, finden Sie im AWS Marketplace Blog unter Verwenden von Seller Data Feed Delivery Service, Amazon Athena und Amazon QuickSight zur Erstellung von Verkäuferberichten