AWS Marketplace 資料饋送的儲存和結構 - AWS Marketplace
資料的歷史化

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS Marketplace 資料饋送的儲存和結構

AWS Marketplace 提供資料饋送作為在賣方擁有的商業智慧工具之間，將結構化、 up-to-date產品和客戶資訊從 AWS Marketplace 系統傳送至賣方 Amazon S3 儲存貯體的機制 ETL（擷取、轉換和載入）。本主題提供有關資料饋送結構和儲存的詳細資訊。

資料饋送會收集逗號分隔值 （CSV） 檔案，並將其交付至您提供的加密 Amazon S3 儲存貯體。CSV 檔案具有下列特性：

  • 它們遵循 4180 標準 。

  • 字元編碼為 UTF-8，不含 BOM。

  • 逗號用作值之間的分隔符號。

  • 欄位會被雙引號逸出。

  • \n 是換行字元。

  • 日期在UTC時區中報告，為 ISO 8601 日期和時間格式，且在 1 秒內準確。

  • 所有 *_period_start_date和 *_period_end_date值都包含在內，這表示 23:59:59是任何一天的最後一個可能時間戳記。

  • 所有貨幣欄位前面都有貨幣欄位。

  • 貨幣欄位使用句點 （.） 字元作為小數點分隔符號，且不要使用逗號 （，） 作為千分位分隔符號。

資料饋送的產生和儲存方式如下：

  • 資料饋送會在一天內產生，並包含前一天 24 小時的資料。

  • 在 Amazon S3 儲存貯體中，資料饋送是使用下列格式按月組織：

    bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

  • 產生每日資料摘要時，它會附加到該月份的現有CSV檔案。當新的月份開始時，會為每個資料饋送產生新的CSV檔案。

  • 資料摘要中的資訊會從 2010/01/01 回填至 2020/04/30 （包含），並且可在year=2010/month=01子資料夾中的 CSV 檔案中取得。

    您可能會注意到指定資料饋送的當月檔案僅包含資料欄標頭，而且沒有資料的情況。這表示該月沒有供料的新項目。這可能會在更新頻率較低的資料饋送時發生，例如產品饋送。在這些情況下，資料可在回填資料夾中取得。

  • 在 Amazon S3 中，您可以建立 Amazon S3 生命週期政策，以管理檔案在儲存貯體中保留的時間。

  • 您可以設定 Amazon SNS 在資料交付至加密的 S3 儲存貯體時通知您。如需有關如何設定通知的資訊，請參閱 Amazon Simple Notification Service 開發人員指南 SNS 中的 Amazon 入門。

資料的歷史化

每個資料饋送都包含記錄資料歷史記錄的資料欄。除了 之外valid_to，這些資料欄對於所有資料饋送都是常見的。它們被納入為常見的歷史記錄結構描述，有助於查詢資料。

資料欄名稱 描述
valid_from 相對於其他欄位的值，主索引鍵值有效的第一個日期。
valid_to 此欄僅顯示在地址資料饋送上，且一律為空白。
insert_date 記錄插入資料饋送的日期。
update_date 記錄上次更新的日期。
delete_date 此欄一律為空白。

下列顯示這些資料欄的範例。

valid_from valid_to insert_date update_date delete_date
2018-12-12T02：00：00Z 2018-12-12T02：00：00Z 2018-12-12T02：00：00Z
2019-03-29T03：00：00Z 2019-03-29T03：00：00Z 2019-03-29T03：00：00Z
2019-03-29T03：00：00Z 2019-03-29T03：00：00Z 2019-04-28T03：00：00Z

valid_from 和 update_date 欄位一起形成雙時間資料模型 。valid_from 欄位名稱為 時， 會告訴您項目的有效期。如果已編輯項目，則可以在饋送中具有多個記錄，每個記錄都具有不同的 update_date，但valid_from日期相同。例如，若要尋找項目的目前值，您可以從具有最近valid_from日期的記錄清單中update_date，找到具有最近 的記錄。

在上述範例中，記錄最初建立於 2018-12-12。然後於 2019-03-29 變更 （例如，如果記錄中的地址已變更）。稍後，在 2019-04-28，地址變更已更正 （因此 valid_from不會變更，但 update_date會變更）。更正地址 （罕見事件） 可追溯地變更記錄與原始valid_from日期，因此欄位不會變更。要尋找最新記錄的查詢valid_from會傳回兩個記錄，其中有最新記錄update_date會提供您實際的目前記錄。