本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
賣家配送資料饋送服務
AWS Marketplace 提供資料饋送作為一種機制,可將結構化、 up-to-date 產品和客戶資訊從 AWS Marketplace 系統傳送到賣方 Amazon S3 儲存貯體,以便在賣方擁有的商業智慧工具之間進行 ETL (擷取、轉換和載入)。
交易數據被交付,並在一個雙時間結構追加,以便賣家可以存儲和查詢數據沿兩個時間表與時間戳兩者
-
有效時間:當事實發生在現實世界(「你所知道的」)
-
系統時間:當這一事實被記錄到數據庫(「當你知道它」)。
資料饋送會在包含前一天 24 小時資料的前一天更新之後,每天午夜UTC交付。更新可由客戶訂閱、正在開立商業發票或 AWS 支付付款項的客戶來定義。
本節提供資料摘要的概觀,並說明如何存取和使用它們。後續章節說明每個資料饋送。
資料饋送的儲存與結構
資料饋送會收集逗號分隔值 (CSV) 檔案,並將其傳遞到您提供的加密 Amazon S3 儲存貯體。這些CSV檔案具有下列特性:
-
他們遵循 4180 個標準
。 -
字符編碼是 UTF -8,沒有BOM。
-
逗號用作值之間的分隔符號。
-
欄位會以雙引號逸出。
-
\n
是換行字元。 -
日期以UTC時區報告,採用 ISO 8601 日期和時間格式,並且在 1 秒內準確無誤。
-
All
*_period_start_date
和*_period_end_date
值是包容性的,這意味著這23:59:59
是任何一天的最後一個可能的時間戳。 -
所有貨幣欄位的前面都有貨幣欄位。
-
貨幣欄位使用句點 (
.
) 字元作為小數分隔符號,並且不要使用逗號 (,) 作為千位分隔符號。
資料摘要的產生和儲存方式如下:
-
資料摘要會在一天內產生,並包含前一天的 24 小時資料。
-
在 Amazon S3 儲存貯體中,資料饋送按月份組織,使用下列格式:
bucket-name
/data-feed-name_version
/year=YYYY
/month=MM
/data.csv -
產生每日資料摘要時,系統會將其附加至該月份的現有CSV檔案。當新月份開始時,會為每個資料饋送產生一個新CSV檔案。
-
資料饋送中的資訊會從 2010/01/01 至 2020/04/30 (含) 回填,且可在子資料夾中的檔案中找到。CSV
year=2010/month=01
您可能會注意到指定資料饋送目前月份的檔案只包含欄標題且沒有資料的情況。這表示該月份的摘要沒有新項目。這可能會發生在較不頻繁更新的資料摘要中,例如產品摘要。在這些情況下,回填資料夾中會提供資料。
-
在 Amazon S3 中,您可以建立 Amazon S3 生命週期政策,以管理在儲存貯體中保留檔案的時間長度。
-
您可以SNS將 Amazon 設定為在資料傳送到加密的 S3 儲存貯體時通知您。有關如何設定通知的資訊,請參閱 Amazon 簡單通知服務開發人員指南SNS中的 Amazon 入門。
資料歷史化
每個資料饋送都包含記錄資料歷程記錄的欄。除此之外valid_to
,這些欄對所有資料饋送都是通用的。它們被包含為通用歷史記錄模式,在查詢數據時非常有用。
資料欄名稱 | 描述 |
---|---|
有效 (_ 從) | 與其他欄位的值相關的主索引鍵值有效的第一個日期。 |
有效期 | 此欄只會顯示在「位址」資料饋送上,且一律為空白。 |
插入日期 | 將記錄插入資料饋送的日期。 |
更新日期 | 上次更新記錄的日期。 |
刪除日期 | 此欄永遠是空白的。 |
以下顯示這些資料行的範例。
有效 (_ 從) | 有效期 | 插入日期 | 更新日期 | 刪除日期 |
---|---|---|---|---|
2018-12-12T02:00:00Z | 2018-12-12T02:00:00Z | 2018-12-12T02:00:00Z | ||
2019-03-29T03:00:00Z | 2019-03-29T03:00:00Z | 2019-03-29T03:00:00Z | ||
2019-03-29T03:00:00Z | 2019-03-29T03:00:00Z | 2019-04-28T03:00:00Z |
valid_from
和update_date
欄位一起形成雙時間資料模型。名稱為的valid_from
欄位會告訴您該項目何時從有效。如果項目已編輯,則摘要中可以有多個記錄,每筆記錄都有不同update_date
,但valid_from
日期相同。例如,若要尋找項目的目前值,您可以從具有最新update_date
valid_from
日期的記錄清單中找到具有最新記錄的記錄。
在上面的例子中,該記錄最初是在 2018 年 12 月 12 日創建的。然後在 2019-03-29 上對其進行了更改(例如,如果記錄中的地址發生了變化)。後來,在 2019-04-28 上,地址更改得到了糾正(因此valid_from
沒有更改,但update_date
確實如此)。更正地址(罕見事件)會從原始valid_from
日期追溯更改記錄,因此該字段不會更改。查找最近的查詢valid_from
將返回兩條記錄,最新的記錄update_date
為您提供實際的當前記錄。
存取資料饋送
若要存取資料饋送,您需要將環境設定為將資料饋送接收到加密的 Amazon S3 儲存貯體。您可以遵循多步驟程序來存取資料饋送,下列步驟集會說明如何進行。
分配具有SQL和ETL(擷取、轉換、載入)體驗的商業智慧或資料工程師。這個人還需要經驗設置APIs。
設定 Amazon 簡易儲存服務儲存貯體和資料饋送的訂閱。使用與您的商城產品資訊相關聯的AWS賣家帳戶 ID。為此,您可以觀看此 YouTube 視頻
或按照以下步驟操作。 影片和步驟說明如何使用有助於簡化設定的AWS CloudFormation 範本
。 -
開啟網頁瀏覽器並登入 AWS Marketplace 管理入口網站
,然後前往設定客戶資料儲存空間 。 -
選擇使用 AWS CloudFormation 範本建立資源,在另一個視窗中開啟 AWS CloudFormation 主控台中的範本。
-
在範本中,指定下列項目,然後選擇 [下一步]:
-
堆疊名稱 — 您正在建立以啟用資料饋送存取的資源集合。
-
Amazon S3 儲存貯體名稱 — 用於存放資料饋送的儲存貯體。
-
(選用) Amazon SNS 主題名稱 — 將新資料 AWS 交付至 Amazon S3 儲存貯體時接收通知的主題。
-
-
在「複查」頁面上,確認您的輸入並選擇「建立堆疊」。這將打開一個包含 CloudFormation 狀態和詳細信息的新頁面。
-
從「資源」索引標籤,將 CloudFormation 頁面中以下資源的 Amazon 資源名稱 (ARNs) 複製到「 AWS Marketplace 設定客戶資料儲存
」頁面上的欄位中: -
用於存放資料饋送的 Amazon S3 儲存貯體
-
AWS KMS 用於加密 Amazon S3 儲存貯體的金鑰
-
(選用) Amazon SNS 主題,用於在將新資料 AWS 交付到 Amazon S3 儲存貯體時接收通知
-
-
在 [設定客戶資料儲存] 頁面上,選擇 [提交]。
-
(選擇性) 編輯 CloudFormation 範本建立的原則。如需詳細資訊,請參閱資料饋送政策。
您現在已訂閱資料饋送。下次產生資料摘要時,您可以存取資料。
-
使用 ETL (擷取、轉換、載入) 作業將資料饋送連線至資料倉儲或關聯式資料庫。
注意
資料工具具有不同的功能。您必須聘請商業智慧工程師或資料工程師來設定整合,以符合您工具的功能。
若要執行或建立SQL查詢,請設定資料摘要以在資料工具中強制執行主索引鍵和外部索引鍵。每個資料饋送代表一個唯一的表格,您必須在資料結構描述中設定具有實體關聯的所有資料饋送。如需有關資料表和實體關聯的詳細資訊,請參閱本指南資料饋送表格概觀中的。
設定 Amazon 簡易通知服務以自動重新整理資料倉儲或關聯式資料庫。您可以設定 Amazon SNS 通知,以便在每個唯一摘要的資料交付到 S3 儲存貯體時傳送提醒。如果賣家數據工具支持此功能,則可以利用這些通知在通過數據饋送接收新數據時自動刷新賣家數據倉庫。請參閱 Amazon 簡單通知服務開發人員指南SNS中的 Amazon 入門。
通知範例:
{ "mainExecutionId": "
1bc08b11-ab4b-47e1-866a-9c8f38423a98
", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1
", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd
", "processedFiles": [], "executionStatus": "SKIPPED
", "errors": [], "feedType": "[data feed name
]" }通知可以具有下列
executionStatus
狀態:SKIPPED
— 賣家當天沒有新數據。COMPLETED
— 我們提供了新數據的飼料.FAILED
— 摘要傳送有問題。
透過執行SQL查詢來驗證設定。您可以使用本指南中的範例查詢,或使用 https://github.com/aws-samples/aws-marketplace-api-samples/tree/main//seller-data-feeds
查詢的查詢。 GitHub 注意
本指南中的範例查詢是針對 AWS Athena 撰寫的。您可能需要修改查詢,以便與工具搭配使用。
-
決定企業使用者想要使用資料的位置。例如,您可以:
從資料倉儲或資料庫匯出 .csv 資SQL料。
將您的資料連線到視覺化工具,例如 PowerBI 或 Tableau。
將資料對應至您的CRMERP、或財務工具,例如 Salesforce、資訊支援或網路套件。
若要取得有關 AWS CloudFormation 樣板的更多資訊,請參閱使用指南中的〈AWS CloudFormation 使用 AWS CloudFormation 樣板〉。
資料饋送政策
當您的 Amazon S3 儲存貯體是由 CloudFormation 範本建立時,它會建立連接到該儲存貯體、 AWS KMS 金鑰和 Amazon SNS 主題的存取政策。這些政策允許 AWS Marketplace 報告服務寫入您的值區和包含資料饋送資訊的SNS主題。每個政策都會有如下所示的區段 (此範例來自 Amazon S3 儲存貯體)。
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::
datafeed-bucket
", "arn:aws:s3:::datafeed-bucket
/*" ] },
在此政策中,reports.marketplace.amazonaws.com
是 AWS Marketplace 用來將資料推送至 Amazon S3 儲存貯體的服務主體。這datafeed-bucket
是您在 CloudFormation 範本中指定的值區。
當 AWS Marketplace 報告服務呼叫 Amazon S3 或 Amazon 時SNS,它會提供打算在儲存貯體寫入儲存貯體的資料。 AWS KMS ARN若要確保唯一寫入儲存貯體的資料是代表您寫入的資料,您可以aws:SourceArn
在政策的條件下指定。在下列範例中,您必須取代 account-id
使用您的識別碼 AWS 帳戶。
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "
account-id
", "aws:SourceArn": ["arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/Example-Report
"] } } },
取消訂閱資料饋送
開啟網頁瀏覽器並登入 AWSMarketplace 管理入口網站
使用資料饋送
Amazon S3 儲存貯體中有資料可用時,您可以透過下列方式使用資料饋送:
-
下載. CSV您在其中建立的 Amazon S3 儲存貯體中的檔案,以存取資料饋送便您可以在試算表中檢視資料。
-
使用ETL(擷取、轉換和載入)、SQL查詢、商業分析工具來收集和分析資料。
您可以使用 AWS 服務來收集和分析數據,或任何可以執行分析的第三方工具。 CSV基於數據集。
範例:使用 AWS 服務收集和分析資料
下列程序假設您已將環境設定為接收 Amazon S3 儲存貯體的資料饋送,且儲存貯體包含資料饋送。
若要從資料饋送收集和分析資料
-
從AWS Glue 主控台
建立爬網程式以連接至存放資料饋送的 Amazon S3 儲存貯體、擷取所需資料,以及在中建立中繼資料表。 AWS Glue Data Catalog 如需詳細資訊 AWS Glue,請參閱AWS Glue 開發人員指南。
-
從 A thena 主控台
,對中的資料執行SQL查詢 AWS Glue Data Catalog。 如需有關 Athena 的詳細資訊,請參閱 Amazon Athena 使用者指南
-
從 Amazon 主 QuickSight 控台
建立分析,然後建立資料的視覺效果。 有關 Amazon 的更多信息 QuickSight,請參閱 Amazon QuickSight 用戶指南。
如需使用 AWS 服務收集和分析資料饋送中資料的一種方式的詳細範例,請參閱使用賣方資料饋送交付服務、Amazon Athena 和 Amazon QuickSight 在 AWS Marketplace 部落格上建立賣家報告