Mengevaluasi Akurasi Prediktor

Amazon Forecast menghasilkan metrik akurasi untuk mengevaluasi prediktor dan membantu Anda memilih mana yang akan digunakan untuk menghasilkan prakiraan. Forecast mengevaluasi prediktor menggunakan Root Mean Square Error (RMSE), Weighted Quantile Loss (wQL), Mean Absolute Percentage Error (MAPE), Mean Absolute Scaled Error (MASE), dan Weighted Absolute Percentage Error (WAPE) metrik.

Amazon Forecast menggunakan backtesting untuk menyetel parameter dan menghasilkan metrik akurasi. Selama pengujian ulang, Forecast secara otomatis membagi data deret waktu Anda menjadi dua set: satu set pelatihan dan satu set pengujian. Set pelatihan digunakan untuk melatih model dan menghasilkan perkiraan untuk titik data dalam set pengujian. Forecast mengevaluasi akurasi model dengan membandingkan nilai yang diprediksi dengan nilai yang diamati dalam set pengujian.

Forecast memungkinkan Anda untuk mengevaluasi prediktor menggunakan berbagai jenis perkiraan, yang dapat berupa serangkaian perkiraan kuantil dan perkiraan rata-rata. Perkiraan rata-rata memberikan perkiraan poin, sedangkan perkiraan kuantil biasanya memberikan berbagai kemungkinan hasil.

Menafsirkan Metrik Akurasi

Amazon Forecast menyediakan Root Mean Square Error (RMSE), Weighted Quantile Loss (wQL), Average Weighted Quantile Loss (Average wQL), Mean Absolute Scaled Error (MASE), Mean Absolute Percentage Error (MAPE), dan Weighted Absolute Percentage Error (WAPE) untuk mengevaluasi prediktor Anda. Seiring dengan metrik untuk prediktor keseluruhan, Forecast menghitung metrik untuk setiap jendela backtest.

Anda dapat melihat metrik akurasi untuk prediktor Anda menggunakan Amazon Forecast Software Development Kit (SDK) dan konsol Amazon Forecast.

{
    "PredictorArn": "arn:aws:forecast:region:acct-id:predictor/example-id"
}
          

Kehilangan Kuantil Tertimbang (wQL)

Metrik Weighted Quantile Loss (wQL) mengukur keakuratan model pada kuantil tertentu. Ini sangat berguna ketika ada biaya yang berbeda untuk meremehkan dan memprediksi terlalu tinggi. Dengan mengatur bobot (τ) fungsi wQL, Anda dapat secara otomatis memasukkan hukuman yang berbeda untuk meremehkan dan memprediksi terlalu tinggi.

Fungsi kerugian dihitung sebagai berikut.

Kuantil (τ) untuk wQL dapat berkisar dari 0,01 (P1) hingga 0,99 (P99). Metrik wQL tidak dapat dihitung untuk perkiraan rata-rata.

Secara default, Forecast menghitung wQL di 0.1 (P10), (P50), dan 0.5 (P90). 0.9

Dalam ritel, biaya kekurangan stok seringkali lebih tinggi daripada biaya kelebihan stok, sehingga peramalan pada P75 (τ = 0,75) dapat lebih informatif daripada peramalan pada kuantil median (P50). Dalam kasus ini, wQL [0,75] memberikan bobot penalti yang lebih besar untuk meremehkan (0,75) dan bobot penalti yang lebih kecil untuk perkiraan berlebihan (0,25).

Angka di atas menunjukkan perkiraan permintaan yang berbeda di wQL [0.50] dan wQL [0.75]. Nilai yang diperkirakan pada P75 secara signifikan lebih tinggi dari nilai yang diperkirakan di P50 karena perkiraan P75 diperkirakan akan memenuhi permintaan 75% dari waktu, sedangkan perkiraan P50 hanya diharapkan memenuhi permintaan 50% dari waktu.

Ketika jumlah nilai yang diamati atas semua item dan titik waktu kira-kira nol di jendela backtest tertentu, ekspresi kehilangan kuantil tertimbang tidak terdefinisi. Dalam kasus ini, Forecast menghasilkan kerugian kuantil yang tidak tertimbang, yang merupakan pembilang dalam ekspresi wQL.

Forecast juga menghitung rata-rata wQL, yang merupakan nilai rata-rata kerugian kuantil tertimbang atas semua kuantil yang ditentukan. Secara default, ini akan menjadi rata-rata wQL [0.10], wQL [0.50], dan wQL [0.90].

Kesalahan Persentase Mutlak Tertimbang (WAPE)

The Weighted Absolute Percentage Error (WAPE) mengukur deviasi keseluruhan nilai yang diperkirakan dari nilai yang diamati. WAPE dihitung dengan mengambil jumlah nilai yang diamati dan jumlah nilai prediksi, dan menghitung kesalahan antara kedua nilai tersebut. Nilai yang lebih rendah menunjukkan model yang lebih akurat.

Ketika jumlah nilai yang diamati untuk semua titik waktu dan semua item kira-kira nol di jendela backtest tertentu, ekspresi kesalahan persentase absolut tertimbang tidak ditentukan. Dalam kasus ini, Forecast menghasilkan jumlah kesalahan absolut yang tidak berbobot, yang merupakan pembilang dalam ekspresi WAPE.

Forecast menggunakan perkiraan rata-rata sebagai nilai prediksi, yaitu_i,t.

WAPE lebih kuat untuk outlier daripada Root Mean Square Error (RMSE) karena menggunakan kesalahan absolut alih-alih kesalahan kuadrat.

Amazon Forecast sebelumnya menyebut metrik WAPE sebagai Mean Absolute Percentage Error (MAPE) dan menggunakan perkiraan median (P50) sebagai nilai prediksi. Forecast sekarang menggunakan perkiraan rata-rata untuk menghitung WAPE. Metrik wQL [0.5] setara dengan metrik WAPE [median], seperti yang ditunjukkan di bawah ini:

Root Mean Square Error (RMSE)

Root Mean Square Error (RMSE) adalah akar kuadrat dari rata-rata kesalahan kuadrat, dan karena itu lebih sensitif terhadap outlier daripada metrik akurasi lainnya. Nilai yang lebih rendah menunjukkan model yang lebih akurat.

Forecast menggunakan perkiraan rata-rata sebagai nilai prediksi, yaitu_i,t. Saat menghitung metrik prediktor, nT adalah jumlah titik data di jendela backtest.

RMSE menggunakan nilai kuadrat dari residu, yang memperkuat dampak outlier. Dalam kasus penggunaan di mana hanya beberapa kesalahan prediksi besar yang bisa sangat mahal, RMSE adalah metrik yang lebih relevan.

Prediktor yang dibuat sebelum 11 November 2020 menghitung RMSE menggunakan kuantil 0,5 (P50) secara default. Forecast sekarang menggunakan perkiraan rata-rata.

Rata-rata Kesalahan Persentase Mutlak (MAPE)

Mean Absolute Percentage Error (MAPE) mengambil nilai absolut dari persentase kesalahan antara nilai yang diamati dan yang diprediksi untuk setiap unit waktu, kemudian rata-rata nilai-nilai tersebut. Nilai yang lebih rendah menunjukkan model yang lebih akurat.

Forecast menggunakan perkiraan rata-rata sebagai nilai prediksi, F_t.

MAPE berguna untuk kasus di mana nilai berbeda secara signifikan antara titik waktu dan outlier memiliki dampak yang signifikan.

Berarti Kesalahan Skala Mutlak (MASE)

Mean Absolute Scaled Error (MASE) dihitung dengan membagi kesalahan rata-rata dengan faktor penskalaan. Faktor penskalaan ini tergantung pada nilai musiman, m, yang dipilih berdasarkan frekuensi perkiraan. Nilai yang lebih rendah menunjukkan model yang lebih akurat.

Forecast menggunakan perkiraan rata-rata sebagai nilai prediksi.

MASE sangat ideal untuk kumpulan data yang bersifat siklus atau memiliki sifat musiman. Misalnya, peramalan untuk barang-barang yang banyak diminati selama musim panas dan permintaan rendah selama musim dingin dapat mengambil manfaat dari memperhitungkan dampak musiman.

Mengekspor Metrik Akurasi

Forecast memungkinkan Anda mengekspor nilai yang diperkirakan dan metrik akurasi yang dihasilkan selama pengujian ulang.

Anda dapat menggunakan ekspor ini untuk mengevaluasi item tertentu pada titik waktu dan kuantil tertentu, dan lebih memahami prediktor Anda. Ekspor backtest dikirim ke lokasi S3 tertentu dan berisi dua folder:

forecasted-valuesFolder berisi nilai yang diperkirakan pada setiap jenis perkiraan untuk setiap jendela backtest. Ini juga mencakup informasi tentang item IDs, dimensi, stempel waktu, nilai target, dan waktu mulai dan akhir jendela backtest.

accuracy-metrics-valuesFolder berisi metrik akurasi untuk setiap jendela backtest, serta metrik rata-rata di semua jendela backtest. Ini berisi metrik wQL untuk setiap kuantil yang ditentukan, serta metrik WQL, RMSE, MASE, MAPE, dan WAPE Rata-rata.

File dalam kedua folder mengikuti konvensi penamaan:<ExportJobName>_<ExportTimestamp>_<PartNumber>.csv.

Anda dapat mengekspor metrik akurasi menggunakan Amazon Forecast Software Development Kit (SDK) dan konsol Amazon Forecast.

{
   "Destination": { 
      "S3Config": { 
         "Path": "s3://bucket/example-path/",
         "RoleArn": "arn:aws:iam::000000000000:role/ExampleRole"
      }
   },
   "Format": PARQUET;
   "PredictorArn": "arn:aws:forecast:region:predictor/example",
   "PredictorBacktestExportJobName": "backtest-export-name",
}
          

Memilih Jenis Forecast

Amazon Forecast menggunakan jenis perkiraan untuk membuat prediksi dan mengevaluasi prediktor. Jenis Forecast datang dalam dua bentuk:

Secara default, Forecast menggunakan nilai-nilai berikut untuk jenis perkiraan prediktor: 0.1 (P10), 0.5 (P50), dan 0.9 (P90). Anda dapat memilih hingga lima jenis perkiraan khusus, termasuk mean dan kuantil mulai dari 0.01 (P1) hingga 0.99 (P99).

Kuantil dapat memberikan batas atas dan bawah untuk perkiraan. Misalnya, menggunakan jenis perkiraan 0.1 (P10) dan 0.9 (P90) memberikan rentang nilai yang dikenal sebagai interval kepercayaan 80%. Nilai yang diamati diharapkan lebih rendah dari nilai P10 10% dari waktu, dan nilai P90 diharapkan lebih tinggi dari nilai yang diamati 90% dari waktu. Dengan menghasilkan perkiraan pada p10 dan P90, Anda dapat mengharapkan nilai sebenarnya jatuh di antara batas-batas tersebut 80% dari waktu. Rentang nilai ini digambarkan oleh wilayah berbayang antara P10 dan P90 pada gambar di bawah ini.

Anda juga dapat menggunakan perkiraan kuantil sebagai perkiraan titik ketika biaya underpredicting berbeda dari biaya overpredicting. Misalnya, dalam beberapa kasus ritel, biaya kekurangan stok lebih tinggi daripada biaya kelebihan stok. Dalam kasus ini, perkiraan pada 0,65 (P65) lebih informatif daripada perkiraan rata-rata (P50) atau rata-rata.

Saat melatih prediktor, Anda dapat memilih jenis perkiraan khusus menggunakan Amazon Forecast Software Development Kit (SDK) dan konsol Amazon Forecast.

{
    "ForecastTypes": [ "0.01", "mean", "0.65", "0.99" ],
}, 

Bekerja dengan Prediktor Legacy

Pengaturan Parameter Backtesting

Forecast menggunakan backtesting untuk menghitung metrik akurasi. Jika Anda menjalankan beberapa backtests, Forecast rata-rata setiap metrik di semua jendela backtest. Secara default, Forecast menghitung satu backtest, dengan ukuran jendela backtest (set pengujian) sama dengan panjang horizon perkiraan (jendela prediksi). Anda dapat mengatur panjang jendela backtest dan jumlah skenario backtest saat melatih prediktor.

Forecast menghilangkan nilai yang terisi dari proses backtesting, dan item apa pun dengan nilai yang diisi dalam jendela backtest tertentu akan dikecualikan dari backtest itu. Ini karena Forecast hanya membandingkan nilai yang diperkirakan dengan nilai yang diamati selama pengujian ulang, dan nilai yang diisi bukan nilai yang diamati.

Jendela backtest harus setidaknya sebesar cakrawala perkiraan, dan lebih kecil dari setengah panjang seluruh kumpulan data deret waktu target. Anda dapat memilih antara 1 dan 5 backtests.

Umumnya, meningkatkan jumlah backtests menghasilkan metrik akurasi yang lebih andal, karena sebagian besar deret waktu digunakan selama pengujian dan Forecast mampu mengambil rata-rata metrik di semua backtests.

Anda dapat mengatur parameter pengujian ulang menggunakan Amazon Forecast Software Development Kit (SDK) dan konsol Amazon Forecast.

"EvaluationParameters": {
    "BackTestWindowOffset": 10,
    "NumberOfBacktestWindows": 2
}
          

HPO dan AutoML

Secara default, Amazon Forecast menggunakan kuantil 0.1 (P10), 0.5 (P50), dan 0.9 (P90) untuk penyetelan hyperparameter selama optimasi hyperparameter (HPO) dan untuk pemilihan model selama AutoML. Jika Anda menentukan jenis perkiraan kustom saat membuat prediktor, Forecast menggunakan jenis perkiraan tersebut selama HPO dan AutoML.

Jika jenis perkiraan khusus ditentukan, Forecast menggunakan jenis perkiraan yang ditentukan untuk menentukan hasil optimal selama HPO dan AutoML. Selama HPO, Forecast menggunakan jendela backtest pertama untuk menemukan nilai hyperparameter yang optimal. Selama AutoML, Forecast menggunakan rata-rata di semua jendela backtest dan nilai hyperparameters optimal dari HPO untuk menemukan algoritma yang optimal.

Untuk AutoML dan HPO, Forecast memilih opsi yang meminimalkan kerugian rata-rata atas jenis perkiraan. Anda juga dapat mengoptimalkan prediktor Anda selama AutoML dan HPO dengan salah satu metrik akurasi berikut: Average Weighted Quantile loss (Average WQL), Weighted Absolute Percentage Error (WAPE), Root Mean Squared Error (RMSE), Mean Absolute Percentage Error (MAPE), atau Mean Absolute Scaled Error (MASE).

Anda dapat memilih metrik pengoptimalan menggunakan Amazon Forecast Software Development Kit (SDK) dan konsol Amazon Forecast.

{
    ...
    "PerformAutoML": "true",
    ...
    "ObjectiveMetric": "MASE",
},