Penyimpanan dan struktur umpan AWS Marketplace data - AWS Marketplace

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyimpanan dan struktur umpan AWS Marketplace data

AWS Marketplace menyediakan umpan data sebagai mekanisme untuk mengirim informasi terstruktur, up-to-date produk, dan pelanggan dari AWS Marketplace sistem ke ember Amazon S3 penjual ETL untuk (ekstrak, transformasi, dan muat) antara alat intelijen bisnis milik penjual. Topik ini memberikan informasi lebih lanjut tentang struktur dan penyimpanan umpan data.

Umpan data mengumpulkan dan mengirimkan file value (CSV) yang dipisahkan koma ke bucket Amazon S3 terenkripsi yang Anda berikan. CSVFile-file tersebut memiliki karakteristik sebagai berikut:

  • Mereka mengikuti 4180 standar.

  • Pengkodean karakter adalah UTF -8 tanpa. BOM

  • Koma digunakan sebagai pemisah antar nilai.

  • Bidang diloloskan oleh tanda kutip ganda.

  • \nadalah karakter umpan baris.

  • Tanggal dilaporkan dalam zona UTC waktu, dalam format tanggal dan waktu ISO 8601, dan akurat dalam 1 detik.

  • Semua *_period_start_date dan *_period_end_date nilai bersifat inklusif, yang berarti itu 23:59:59 adalah stempel waktu terakhir yang mungkin untuk setiap hari.

  • Semua bidang moneter didahului dengan bidang mata uang.

  • Bidang moneter menggunakan karakter period (.) sebagai pemisah desimal, dan jangan gunakan koma (,) sebagai pemisah ribuan.

Umpan data dihasilkan dan disimpan sebagai berikut:

  • Umpan data dihasilkan dalam sehari, dan berisi 24 jam data dari hari sebelumnya.

  • Di bucket Amazon S3, umpan data diatur berdasarkan bulan menggunakan format berikut:

    bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

  • Karena setiap umpan data harian dihasilkan, itu ditambahkan ke CSV file yang ada untuk bulan itu. Ketika bulan baru dimulai, CSV file baru dihasilkan untuk setiap umpan data.

  • Informasi dalam umpan data diisi kembali dari 2010/01/01 hingga 2020/04/30 (inklusif) dan tersedia dalam file di subfolder. CSV year=2010/month=01

    Anda mungkin melihat kasus di mana file bulan berjalan untuk umpan data tertentu hanya berisi header kolom, dan tidak ada data. Ini berarti bahwa tidak ada entri baru untuk bulan itu untuk umpan. Ini dapat terjadi dengan umpan data yang diperbarui lebih jarang, seperti umpan produk. Dalam kasus ini, data tersedia di folder yang diisi ulang.

  • Di Amazon S3, Anda dapat membuat kebijakan siklus hidup Amazon S3 untuk mengelola berapa lama menyimpan file di bucket.

  • Anda dapat mengonfigurasi Amazon SNS untuk memberi tahu Anda saat data dikirimkan ke bucket S3 terenkripsi. Untuk informasi tentang cara mengonfigurasi notifikasi, lihat Memulai Amazon SNS di Panduan Pengembang Layanan Pemberitahuan Sederhana Amazon.

Historisasi data

Setiap umpan data menyertakan kolom yang mendokumentasikan riwayat data. Kecuali untukvalid_to, kolom ini umum untuk semua umpan data. Mereka disertakan sebagai skema riwayat umum dan berguna dalam menanyakan data.

Nama kolom Deskripsi
valid_dari Tanggal pertama dimana nilai untuk kunci utama valid dalam kaitannya dengan nilai untuk bidang lain.
valid_to Kolom ini hanya ditampilkan pada umpan data Alamat dan selalu kosong.
insert_date Tanggal catatan dimasukkan ke dalam umpan data.
update_date Tanggal rekor terakhir diperbarui.
delete_date Kolom ini selalu kosong.

Berikut ini menunjukkan contoh kolom ini.

valid_dari valid_to insert_date update_date delete_date
2018-12-12T 02:00:00 Z 2018-12-12T 02:00:00 Z 2018-12-12T 02:00:00 Z
2019-03-29T 03:00:00 Z 2019-03-29T 03:00:00 Z 2019-03-29T 03:00:00 Z
2019-03-29T 03:00:00 Z 2019-03-29T 03:00:00 Z 2019-04-28T 03:00:00 Z

update_dateBidang valid_from dan bersama-sama membentuk model data bi-temporal. valid_fromBidang, seperti namanya, memberi tahu Anda kapan item tersebut valid dari. Jika item diedit, itu dapat memiliki beberapa catatan dalam umpan, masing-masing dengan valid_from tanggal yang berbedaupdate_date, tetapi sama. Misalnya, untuk menemukan nilai saat ini untuk suatu item, Anda akan menemukan catatan dengan yang terbaruupdate_date, dari daftar catatan dengan valid_from tanggal terbaru.

Pada contoh di atas, catatan awalnya dibuat 2018-12-12. Itu kemudian diubah pada 2019-03-29 (misalnya, jika alamat dalam catatan berubah). Kemudian, pada 2019-04-28, perubahan alamat diperbaiki (jadi valid_from tidak berubah, tetapi berubah). update_date Memperbaiki alamat (peristiwa langka) secara surut mengubah catatan dari valid_from tanggal asli, sehingga bidang itu tidak berubah. Kueri untuk menemukan yang terbaru valid_from akan mengembalikan dua catatan, satu dengan yang terbaru update_date memberi Anda catatan saat ini yang sebenarnya.