Pengujian A/B dengan CloudWatch Terbukti

Untuk melakukan tes A/B dengan Amazon Personalize CloudWatch and Evidently

1. Buat proyek yang CloudWatch jelas. Proyek adalah pengelompokan CloudWatch sumber daya yang logis. Dalam proyek tersebut, Anda membuat fitur yang memiliki variasi yang ingin Anda uji atau luncurkan. Untuk step-by-step petunjuknya, lihat Membuat proyek baru di Panduan CloudWatch Pengguna Amazon.

2. Tambahkan fitur ke proyek Anda dan tentukan variasinya. Untuk eksperimen ini, fitur Anda harus mewakili skenario rekomendasi yang ingin Anda uji, seperti rasio klik-tayang.

   Saat menambahkan fitur, tentukan pengenal untuk memetakan variasi skenario yang berbeda ke Amazon Personalisasi pemberi rekomendasi atau kampanye khusus. Untuk setiap variasi, tentukan jenis Variasi, seperti String, beri nama variasi, dan berikan nilai.

   Saat eksperimen Anda berjalan, aplikasi Anda menggunakan nilai variasi untuk menentukan sumber daya Amazon Personalize yang akan digunakan untuk rekomendasi. Misalnya, jika Anda menguji dua DEMAND rekomendasi VIDEO _ON_, satu dibuat untuk pilihan Teratas untuk kasus penggunaan Anda dan satu dibuat untuk kasus penggunaan Trending sekarang, Anda dapat menetapkan yang berikut ini JSON sebagai Nilai untuk setiap variasi.

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   Anda dapat menentukan pengenal apa pun, selama aplikasi Anda dapat menggunakannya untuk mengidentifikasi sumber daya yang relevan. Misalnya, Anda mungkin hanya menentukan nama pemberi rekomendasi atau kampanye, dan membuat Amazon Resource Name (ARN) sumber daya dalam aplikasi Anda.

   Untuk step-by-step petunjuk menambahkan fitur, lihat Menambahkan fitur ke proyek di Panduan CloudWatch Pengguna Amazon.

3. Perbarui aplikasi Anda untuk mendukung eksperimen Anda:

   • Evaluasi fitur - Gunakan EvaluateFeature API operasi CloudWatch Evidently untuk menetapkan variasi untuk setiap sesi pengguna. EvaluateFeatureRespons mencakup nilai variasi yang Anda tentukan pada langkah sebelumnya. Dalam hal ini, ini adalah JSON objek dengan jenis pemberi rekomendasi dan itu adalah pemberi rekomendasi. ARN Perbarui kode permintaan rekomendasi Anda untuk mendapatkan rekomendasi dari sumber ini.

     Untuk informasi tentang mengevaluasi fitur, lihat Menggunakan EvaluateFeature di Panduan CloudWatch Pengguna Amazon.

   • Rekam hasil — Tambahkan kode ke aplikasi Anda untuk melacak hasil dari interaksi pengguna dengan rekomendasi.

     Untuk melacak metrik eksperimen Anda di CloudWatch Evidently, gunakan PutProjectEvents API operasi CloudWatch Evidently untuk merekam hasil untuk setiap pengguna. Misalnya, jika pengguna dalam eksperimen mengklik item yang direkomendasikan, Anda akan mengirim detail untuk acara ini ke CloudWatch Evidently.

     Untuk informasi tentang mengirim acara ke CloudWatch Evidently, lihat Menggunakan PutProjectEvents di Panduan CloudWatch Pengguna Amazon.

     Untuk meningkatkan relevansi rekomendasi Amazon Personalize, Anda dapat merekam peristiwa hasil dengan operasi Amazon Personalize. PutEvents API Jika kasus penggunaan domain atau resep kustom Anda mendukung pembaruan real-time untuk rekomendasi, Amazon Personalize dapat belajar dari aktivitas terbaru pengguna Anda dan memperbarui rekomendasi saat mereka menggunakan aplikasi Anda. Jika tidak mendukung pembaruan, Amazon Personalize menggunakan data ini selama pelatihan ulang penuh berikutnya dari model Anda dan kemudian memengaruhi rekomendasi.

     Untuk informasi tentang streaming acara ke Amazon Personalize, lihat. Merekam peristiwa waktu nyata untuk memengaruhi rekomendasi

4. Buat dan mulai percobaan. Saat Anda membuat eksperimen, tentukan yang berikut ini:

   • Fitur - Pilih fitur yang akan diuji dalam percobaan.

   • Audiens — Konfigurasikan berapa banyak pengguna Anda yang akan berpartisipasi, dan konfigurasikan cara membagi lalu lintas di antara variasi fitur.

   • Metrik — Tentukan metrik yang menentukan keberhasilan eksperimen. Misalnya, jumlah klik.

   Setelah Anda selesai membuat eksperimen, tentukan durasinya dan mulai percobaan. Untuk step-by-step petunjuk cara membuat dan memulai eksperimen di CloudWatch Evidently, lihat Membuat eksperimen di Panduan CloudWatch Pengguna Amazon.

5. Saat menjalankan eksperimen, Anda dapat melihat hasilnya di dasbor CloudWatch Evidently experiment. Untuk informasi tentang melihat hasil eksperimen, lihat Melihat hasil eksperimen di dasbor di Panduan CloudWatch Pengguna Amazon.