AWS Marketplace データフィードのストレージと構造 - AWS Marketplace
データの履歴化

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Marketplace データフィードのストレージと構造

AWS Marketplace は、 up-to-date販売 AWS Marketplace 者が所有するビジネスインテリジェンスツール間で、構造化された製品および顧客情報を販売者 Amazon S3 バケットに送信 ETL (抽出、変換、ロード) するメカニズムとして、データフィードを提供します。このトピックでは、データフィードの構造とストレージに関する詳細について説明します。

データフィードは、指定した暗号化された Amazon S3 バケットにカンマ区切りの値 (CSV) ファイルを収集して配信します。CSV ファイルには次の特徴があります。

  • 4180 標準に準拠しています。

  • 文字エンコーディングは なしで UTF-8 ですBOM。

  • カンマは、値間の区切り文字として使用されます。

  • フィールドは二重引用符でエスケープ

  • \n は改行文字です。

  • 日付はUTCタイムゾーンで報告され、8601 ISO の日付と時刻の形式であり、1 秒以内に正確です。

  • すべての *_period_start_date 値および *_period_end_date 値は包括的です。つまり、23:59:59 は任意の日の最後のタイムスタンプです。

  • すべての金銭情報フィールドの先頭に通貨フィールドが付きます。

  • 金銭情報フィールドでは、小数点の区切り文字としてピリオド (.) を使用し、3 桁の区切り文字としてカンマ (,) を使用しません。

データフィードは次のように生成されて保存されます。

  • データフィードは 1 日以内に生成され、前日の 24 時間のデータが含まれます。

  • Amazon S3 バケットの場合、データフィードは次の形式を使用して月別に整理されます。

    bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

  • 毎日のデータフィードが生成されるたびに、その月の既存のCSVファイルに追加されます。新しい月が始まると、データフィードごとに新しいCSVファイルが生成されます。

  • データフィードの情報は 2010/01/01 から 2020/04/30 (を含む) にバックフィルされ、year=2010/month=01サブフォルダの CSV ファイルで利用できます。

    特定のデータフィードの当月のファイルに列ヘッダーのみが含まれ、データが含まれていない場合があります。これは、当月のフィードに新しいエントリがなかったことを意味します。製品フィードなど、更新頻度が低いデータフィードで発生する場合があります。このような場合、データはバックフィルされたフォルダで利用できます。

  • Amazon S3 では、Amazon S3 ライフサイクルポリシーを作成して、バケットにファイルを保持する期間を管理できます。

  • 暗号化された S3 バケットにデータが配信されたときに通知SNSするように Amazon を設定できます。通知を設定する方法については、「Amazon Simple Notification Service デベロッパーガイド」の「Amazon の使用開始SNS」を参照してください。

データの履歴化

各データフィードには、データの履歴を示す列があります。valid_to を除き、これらの列はすべてのデータフィードに共通です。これらは共通の履歴スキーマとして含まれており、データのクエリに役立ちます。

列名 説明
valid_from 主キーの値が他のフィールドの値に関連して有効である最初の日付。
valid_to この列は住所データフィードにのみ表示され、常に空白です。
insert_date レコードがデータフィードに挿入された日付。
update_date レコードが最後に更新された日付。
delete_date この列は常に空白です。

これらの列の例を次に示します。

valid_from valid_to insert_date update_date delete_date
2018-12-12T02:00:00Z 2018-12-12T02:00:00Z 2018-12-12T02:00:00Z
2019-03-29T03:00:00Z 2019-03-29T03:00:00Z 2019-03-29T03:00:00Z
2019-03-29T03:00:00Z 2019-03-29T03:00:00Z 2019-04-28T03:00:00Z

valid_from と update_date フィールドが一緒になって双時データモデルを形成します。valid_from フィールドは、その名のとおり、アイテムがいつ有効になるかがわかります。項目が編集された場合、フィードにはそれぞれ、update_date が異なり、valid_from の日付が同じレコードが複数含まれている可能性があります。例えば、ある項目の現在の値を調べるには、最新の valid_from の日付があるレコードのリストから最新の update_date のレコードを検索します。

上の例では、レコードは元々 2018 年 12 月 12 日に作成されたものです。その後、2019 年 3 月 29 日に変更されました (レコード内のアドレスが変更された場合など)。その後、2019 年 4 月 28 日に、アドレスの変更が修正されました (valid_from は変更されず、update_date は変更されました)。アドレスを修正すると (まれなイベント)、レコードが元の valid_from の日付から遡って変更されるため、そのフィールドは変更されませんでした。最新の valid_from レコードを検索するクエリでは 2 つのレコードが返され、最新の update_date から現在の実際のレコードが得られます。