Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Layanan umpan data pengiriman penjual
AWS Marketplace menyediakan umpan data sebagai mekanisme untuk mengirim informasi terstruktur, up-to-date produk, dan pelanggan dari AWS Marketplace sistem ke ember Amazon S3 penjual ETL untuk (ekstrak, transformasi, dan muat) antara alat intelijen bisnis milik penjual.
Data transaksional dikirim dan ditambahkan dalam struktur bi-temporal sehingga penjual dapat menyimpan dan menanyakan data di sepanjang dua garis waktu dengan stempel waktu untuk keduanya
-
waktu yang valid: ketika sebuah fakta terjadi di dunia nyata (“apa yang Anda ketahui”)
-
waktu sistem: ketika fakta itu dicatat ke database (“ketika Anda mengetahuinya”).
Umpan data dikirimkan setiap hari pada tengah malam UTC setelah pembaruan dari hari sebelumnya yang berisi 24 jam data dari hari sebelumnya. Pembaruan dapat ditentukan oleh pelanggan yang berlangganan, pelanggan yang ditagih, atau AWS mencairkan pembayaran.
Bagian ini memberikan ikhtisar umpan data dan menjelaskan cara mengakses dan menggunakannya. Bagian selanjutnya menjelaskan setiap umpan data.
Penyimpanan dan struktur umpan data
Umpan data mengumpulkan dan mengirimkan file value (CSV) yang dipisahkan koma ke bucket Amazon S3 terenkripsi yang Anda berikan. CSVFile memiliki karakteristik sebagai berikut:
-
Mereka mengikuti 4180 standar
. -
Pengkodean karakter adalah UTF -8 tanpa. BOM
-
Koma digunakan sebagai pemisah antar nilai.
-
Bidang diloloskan oleh tanda kutip ganda.
-
\n
adalah karakter umpan baris. -
Tanggal dilaporkan dalam zona UTC waktu, dalam format tanggal dan waktu ISO 8601, dan akurat dalam 1 detik.
-
Semua
*_period_start_date
dan*_period_end_date
nilai bersifat inklusif, yang berarti itu23:59:59
adalah stempel waktu terakhir yang mungkin untuk hari apa pun. -
Semua bidang moneter didahului dengan bidang mata uang.
-
Bidang moneter menggunakan karakter period (
.
) sebagai pemisah desimal, dan jangan gunakan koma (,) sebagai pemisah ribuan.
Umpan data dihasilkan dan disimpan sebagai berikut:
-
Umpan data dihasilkan dalam sehari, dan berisi 24 jam data dari hari sebelumnya.
-
Di bucket Amazon S3, umpan data diatur berdasarkan bulan menggunakan format berikut:
bucket-name
/data-feed-name_version
/year=YYYY
/month=MM
/data.csv -
Karena setiap umpan data harian dihasilkan, itu ditambahkan ke CSV file yang ada untuk bulan itu. Ketika bulan baru dimulai, CSV file baru dihasilkan untuk setiap umpan data.
-
Informasi dalam umpan data diisi kembali dari 2010/01/01 hingga 2020/04/30 (inklusif) dan tersedia dalam file di subfolder. CSV
year=2010/month=01
Anda mungkin melihat kasus di mana file bulan berjalan untuk umpan data tertentu hanya berisi header kolom, dan tidak ada data. Ini berarti bahwa tidak ada entri baru untuk bulan itu untuk umpan. Ini dapat terjadi dengan umpan data yang diperbarui lebih jarang, seperti umpan produk. Dalam kasus ini, data tersedia di folder yang diisi ulang.
-
Di Amazon S3, Anda dapat membuat kebijakan siklus hidup Amazon S3 untuk mengelola berapa lama menyimpan file di bucket.
-
Anda dapat mengonfigurasi Amazon SNS untuk memberi tahu Anda saat data dikirimkan ke bucket S3 terenkripsi. Untuk informasi tentang cara mengonfigurasi notifikasi, lihat Memulai Amazon SNS di Panduan Pengembang Layanan Pemberitahuan Sederhana Amazon.
Historisasi data
Setiap umpan data menyertakan kolom yang mendokumentasikan riwayat data. Kecuali untukvalid_to
, kolom ini umum untuk semua umpan data. Mereka disertakan sebagai skema riwayat umum dan berguna dalam menanyakan data.
Nama kolom | Deskripsi |
---|---|
valid_dari | Tanggal pertama dimana nilai untuk kunci utama valid dalam kaitannya dengan nilai untuk bidang lain. |
valid_to | Kolom ini hanya ditampilkan pada umpan data Alamat dan selalu kosong. |
insert_date | Tanggal catatan dimasukkan ke dalam umpan data. |
update_date | Tanggal rekor terakhir diperbarui. |
delete_date | Kolom ini selalu kosong. |
Berikut ini menunjukkan contoh kolom ini.
valid_dari | valid_to | insert_date | update_date | delete_date |
---|---|---|---|---|
2018-12-12T 02:00:00 Z | 2018-12-12T 02:00:00 Z | 2018-12-12T 02:00:00 Z | ||
2019-03-29T 03:00:00 Z | 2019-03-29T 03:00:00 Z | 2019-03-29T 03:00:00 Z | ||
2019-03-29T 03:00:00 Z | 2019-03-29T 03:00:00 Z | 2019-04-28T 03:00:00 Z |
update_date
Bidang valid_from
dan bersama-sama membentuk model data bi-temporal. valid_from
Bidang, seperti namanya, memberi tahu Anda kapan item tersebut valid dari. Jika item diedit, itu dapat memiliki beberapa catatan dalam umpan, masing-masing dengan valid_from
tanggal yang berbedaupdate_date
, tetapi sama. Misalnya, untuk menemukan nilai saat ini untuk suatu item, Anda akan menemukan catatan dengan yang terbaruupdate_date
, dari daftar catatan dengan valid_from
tanggal terbaru.
Pada contoh di atas, catatan awalnya dibuat 2018-12-12. Itu kemudian diubah pada 2019-03-29 (misalnya, jika alamat dalam catatan berubah). Kemudian, pada 2019-04-28, perubahan alamat diperbaiki (jadi valid_from
tidak berubah, tetapi berubah). update_date
Memperbaiki alamat (peristiwa langka) secara surut mengubah catatan dari valid_from
tanggal asli, sehingga bidang itu tidak berubah. Kueri untuk menemukan yang terbaru valid_from
akan mengembalikan dua catatan, satu dengan yang terbaru update_date
memberi Anda catatan saat ini yang sebenarnya.
Mengakses umpan data
Untuk mengakses umpan data, Anda perlu mengonfigurasi lingkungan agar menerima umpan data ke bucket Amazon S3 terenkripsi. Anda mengikuti proses multi-langkah untuk mengakses umpan data, dan serangkaian langkah berikut menjelaskan caranya.
Alokasikan intelijen bisnis atau insinyur data dengan SQL dan ETL (ekstrak, transformasi, muat) pengalaman. Orang ini juga membutuhkan pengalaman mengaturAPIs.
Siapkan bucket Amazon Simple Storage Service dan berlangganan feed data. Gunakan ID akun AWS penjual yang terkait dengan daftar produk Marketplace Anda. Untuk melakukannya, Anda dapat menonton YouTube video ini
atau mengikuti langkah-langkah di bawah ini. Video dan langkah-langkahnya menjelaskan cara menggunakan AWS CloudFormation templat
yang membantu menyederhanakan konfigurasi. -
Buka browser web dan masuk ke Portal Manajemen AWS Marketplace
, lalu pergi ke Mengatur penyimpanan data pelanggan . -
Pilih Buat sumber daya dengan AWS CloudFormation templat untuk membuka templat di AWS CloudFormation konsol di jendela lain.
-
Dalam template, tentukan yang berikut dan kemudian pilih Berikutnya:
-
Nama tumpukan — Kumpulan sumber daya yang Anda buat untuk mengaktifkan akses ke umpan data.
-
Nama bucket Amazon S3 — Bucket untuk menyimpan umpan data.
-
(Opsional) Nama SNS topik Amazon — Topik untuk menerima notifikasi saat AWS mengirimkan data baru ke bucket Amazon S3.
-
-
Pada halaman Tinjauan, konfirmasikan entri Anda dan pilih Buat tumpukan. Ini akan membuka halaman baru dengan CloudFormation status dan detailnya.
-
Dari tab Sumber Daya, salin Amazon Resource Names (ARNs) untuk sumber daya berikut dari CloudFormation halaman ke bidang di halaman AWS Marketplace Mengatur penyimpanan data pelanggan
: -
Bucket Amazon S3 untuk menyimpan umpan data
-
AWS KMS kunci untuk mengenkripsi bucket Amazon S3
-
(Opsional) SNS Topik Amazon untuk menerima notifikasi saat AWS mengirimkan data baru ke bucket Amazon S3
-
-
Pada halaman Mengatur penyimpanan data pelanggan, pilih Kirim.
-
(Opsional) Edit kebijakan yang dibuat oleh CloudFormation template. Lihat Kebijakan umpan data untuk detail selengkapnya.
Anda sekarang berlangganan umpan data. Lain kali umpan data dihasilkan, Anda dapat mengakses data.
-
Gunakan operasi ETL (ekstrak, transformasi, muat) untuk menghubungkan umpan data ke gudang data atau database relasional Anda.
catatan
Alat data memiliki kemampuan yang berbeda. Anda harus melibatkan insinyur intelijen bisnis atau insinyur data untuk mengatur integrasi agar sesuai dengan kemampuan alat Anda.
Untuk menjalankan atau membuat SQL kueri, konfigurasikan umpan data untuk menerapkan kunci primer dan asing di alat data Anda. Setiap umpan data mewakili tabel unik, dan Anda harus menyiapkan semua umpan data dalam skema data dengan hubungan entitas. Untuk informasi selengkapnya tentang tabel dan hubungan entitas, lihat Ikhtisar tabel umpan data di panduan ini.
Siapkan Amazon Simple Notification Service untuk menyegarkan gudang data atau database relasional Anda secara otomatis. Anda dapat mengonfigurasi SNS notifikasi Amazon untuk mengirim peringatan saat data dari setiap umpan unik dikirimkan ke bucket S3. Pemberitahuan ini dapat dimanfaatkan untuk menyegarkan gudang data penjual secara otomatis ketika data baru diterima melalui umpan data, jika alat data penjual mendukung kemampuan ini. Lihat Memulai Amazon SNS di Panduan Pengembang Layanan Pemberitahuan Sederhana Amazon.
Contoh pemberitahuan:
{ "mainExecutionId": "
1bc08b11-ab4b-47e1-866a-9c8f38423a98
", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1
", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd
", "processedFiles": [], "executionStatus": "SKIPPED
", "errors": [], "feedType": "[data feed name
]" }Pemberitahuan dapat memiliki
executionStatus
status berikut:SKIPPED
— Penjual tidak memiliki data baru untuk hari itu.COMPLETED
— Kami mengirimkan feed dengan data baru.FAILED
— Pengiriman pakan memiliki masalah.
Validasi penyiapan dengan menjalankan SQL kueri. Anda dapat menggunakan contoh kueri dalam panduan ini, atau kueri pada GitHub, di https://github.com/aws-samples/aws-marketplace-api-samples/tree/main/ seller-data-feeds /queries
. catatan
Contoh pertanyaan dalam panduan ini ditulis untuk AWS Athena. Anda mungkin perlu memodifikasi kueri untuk digunakan dengan alat Anda.
-
Tentukan di mana pengguna bisnis ingin mengkonsumsi data. Sebagai contoh, Anda dapat:
Ekspor data.csv dari gudang data atau SQL database Anda.
Hubungkan data Anda ke alat visualisasi seperti PowerBI atau Tableau.
Petakan data keCRM,ERP, atau alat keuangan Anda, seperti Salesforce, Infor, atau Netsuite.
Untuk informasi selengkapnya tentang AWS CloudFormation templat, lihat Bekerja dengan AWS CloudFormation templat di Panduan AWS CloudFormation Pengguna.
Kebijakan umpan data
Saat bucket Amazon S3 Anda dibuat oleh CloudFormation template, bucket Amazon S3 akan membuat kebijakan untuk akses yang dilampirkan ke bucket tersebut, AWS KMS kuncinya, dan topik AmazonSNS. Kebijakan ini memungkinkan layanan AWS Marketplace laporan untuk menulis ke bucket dan SNS topik Anda dengan informasi umpan data. Setiap kebijakan akan memiliki bagian seperti berikut (contoh ini dari bucket Amazon S3).
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::
datafeed-bucket
", "arn:aws:s3:::datafeed-bucket
/*" ] },
Dalam kebijakan ini, reports.marketplace.amazonaws.com
adalah prinsip layanan yang AWS Marketplace digunakan untuk mendorong data ke bucket Amazon S3. datafeed-bucket
Ini adalah ember yang Anda tentukan dalam CloudFormation template.
Ketika layanan AWS Marketplace laporan memanggil Amazon S3, AWS KMS, atau AmazonSNS, itu akan memberikan data yang ingin ditulis ke ember ketika itu terjadi. ARN Untuk memastikan bahwa satu-satunya data yang ditulis ke bucket Anda adalah data yang ditulis atas nama Anda, Anda dapat menentukan aws:SourceArn
dalam kondisi kebijakan. Dalam contoh berikut, Anda harus mengganti account-id
dengan ID untuk Anda Akun AWS.
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "
account-id
", "aws:SourceArn": ["arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/Example-Report
"] } } },
Berhenti berlangganan dari umpan data
Buka browser web dan masuk ke Portal Manajemen AWS Marketplace
Menggunakan umpan data
Saat data tersedia di bucket Amazon S3, Anda dapat menggunakan umpan data dengan cara berikut:
-
Unduh. CSVfile dari bucket Amazon S3 yang Anda buat Mengakses umpan data sehingga Anda dapat melihat data dalam spreadsheet.
-
Gunakan ETL (ekstrak, transformasi, dan muat), SQL kueri, alat analisis bisnis untuk mengumpulkan dan menganalisis data.
Anda dapat menggunakan AWS layanan untuk mengumpulkan dan menganalisis data, atau alat pihak ketiga apa pun yang dapat melakukan analisis. CSVdataset berbasis.
Contoh: Gunakan AWS layanan untuk mengumpulkan dan menganalisis data
Prosedur berikut mengasumsikan bahwa Anda telah mengonfigurasi lingkungan untuk menerima umpan data ke bucket Amazon S3 dan bucket berisi umpan data.
Untuk mengumpulkan dan menganalisis data dari umpan data
-
Dari AWS Glue konsol
, buat crawler untuk terhubung ke bucket Amazon S3 yang menyimpan umpan data, mengekstrak data yang Anda inginkan, dan membuat tabel metadata di. AWS Glue Data Catalog Untuk informasi selengkapnya AWS Glue, lihat Panduan AWS Glue Pengembang.
-
Dari konsol Athena
, jalankan SQL kueri pada data di. AWS Glue Data Catalog Untuk informasi lebih lanjut tentang Athena, lihat Panduan Pengguna Amazon Athena.
-
Dari QuickSight konsol Amazon
, buat analisis dan kemudian buat visual data. Untuk informasi selengkapnya tentang Amazon QuickSight, lihat Panduan QuickSight Pengguna Amazon.
Untuk contoh terperinci tentang salah satu cara menggunakan AWS layanan untuk mengumpulkan dan menganalisis data dalam umpan data, lihat Menggunakan Layanan Pengiriman Umpan Data Penjual, Amazon Athena, dan QuickSight Amazon untuk membuat laporan penjual