Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penerapan Bergulir

Saat memperbarui titik akhir, Anda dapat menentukan penerapan bergulir untuk secara bertahap mengalihkan lalu lintas dari armada lama ke armada baru. Anda dapat mengontrol ukuran langkah perpindahan lalu lintas, serta menentukan periode evaluasi untuk memantau instans baru untuk masalah sebelum menghentikan instance dari armada lama. Dengan penerapan bergulir, instance pada armada lama dibersihkan setelah setiap pergeseran lalu lintas ke armada baru, mengurangi jumlah instance tambahan yang diperlukan untuk memperbarui titik akhir Anda. Ini berguna terutama untuk contoh yang dipercepat yang banyak diminati.

Penerapan bergulir secara bertahap menggantikan penerapan versi model Anda sebelumnya dengan versi baru dengan memperbarui titik akhir Anda dalam ukuran batch yang dapat dikonfigurasi. Perilaku pergeseran lalu lintas dari penerapan bergulir mirip dengan mode perpindahan lalu lintas linier dalam penerapan biru/hijau, tetapi penerapan bergulir memberi Anda manfaat dari persyaratan kapasitas yang berkurang jika dibandingkan dengan penerapan biru/hijau. Dengan penerapan bergulir, lebih sedikit instans yang aktif pada satu waktu, dan Anda memiliki kontrol yang lebih terperinci atas berapa banyak instance yang ingin Anda perbarui di armada baru. Anda harus mempertimbangkan untuk menggunakan penerapan bergulir alih-alih penerapan biru/hijau jika Anda memiliki model besar atau titik akhir besar dengan banyak instance.

Daftar berikut menjelaskan fitur utama penerapan bergulir di Amazon: SageMaker

Cara kerjanya

Selama penyebaran bergulir, SageMaker menyediakan infrastruktur untuk mengalihkan lalu lintas dari armada lama ke armada baru tanpa harus menyediakan semua instance baru sekaligus. SageMaker menggunakan langkah-langkah berikut untuk mengalihkan lalu lintas:

Jika alarm tersandung selama salah satu periode memanggang, lalu lintas digulung kembali ke armada lama dalam batch dengan ukuran yang Anda tentukan. Atau, Anda dapat menentukan penyebaran bergulir untuk menggeser 100% lalu lintas kembali ke armada lama jika alarm tersandung.

Diagram berikut menunjukkan perkembangan penerapan bergulir yang berhasil, seperti yang dijelaskan pada langkah-langkah sebelumnya.

Untuk membuat penerapan bergulir, Anda hanya perlu menentukan konfigurasi penerapan yang Anda inginkan. Kemudian SageMaker menangani penyediaan instance baru, menghentikan instance lama, dan mengalihkan lalu lintas untuk Anda. Anda dapat membuat dan mengelola penyebaran Anda melalui AWS Command Line Interface perintah yang ada UpdateEndpointdan CreateEndpoint SageMaker APIdan.

Prasyarat

Sebelum menyiapkan penerapan bergulir, Anda harus membuat CloudWatch alarm Amazon untuk menonton metrik dari titik akhir Anda. Jika ada alarm yang tersandung selama periode memanggang, maka lalu lintas mulai bergulir kembali ke armada lama Anda. Untuk mempelajari cara mengatur CloudWatch alarm pada titik akhir, lihat halaman prasyarat Auto-Rollback Configuration and Monitoring. Untuk mempelajari lebih lanjut tentang CloudWatch alarm, lihat Menggunakan CloudWatch alarm Amazon di CloudWatch Panduan Pengguna Amazon.

Juga, tinjau halaman Pengecualian untuk memastikan bahwa titik akhir Anda memenuhi persyaratan untuk penerapan bergulir.

Tentukan ukuran batch bergulir

Sebelum memperbarui titik akhir Anda, tentukan ukuran batch yang ingin Anda gunakan untuk memindahkan lalu lintas secara bertahap ke armada baru.

Untuk penerapan bergulir, Anda dapat menentukan ukuran batch yang 5-50% dari kapasitas armada Anda. Jika Anda memilih ukuran batch yang besar, penerapan selesai lebih cepat. Namun, perlu diingat bahwa titik akhir membutuhkan lebih banyak kapasitas saat memperbarui, kira-kira overhead ukuran batch. Jika Anda memilih ukuran batch yang lebih kecil, penerapan akan memakan waktu lebih lama, tetapi Anda menggunakan lebih sedikit kapasitas selama penerapan.

Konfigurasikan penerapan bergulir

Setelah Anda siap untuk penerapan dan telah menyiapkan CloudWatch alarm untuk titik akhir Anda, Anda dapat menggunakan SageMaker UpdateEndpointAPIatau perintah update-endpoint di untuk memulai penerapan. AWS Command Line Interface

Cara memperbarui titik akhir

Contoh berikut menunjukkan bagaimana Anda dapat memperbarui titik akhir Anda dengan penerapan bergulir menggunakan metode update_endpoint dari klien Boto3. SageMaker

Untuk mengonfigurasi penerapan bergulir, gunakan contoh dan bidang berikut:

import boto3
client = boto3.client("sagemaker")

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    DeploymentConfig={
        "AutoRollbackConfiguration": {
            "Alarms": [
                {
                    "AlarmName": "<your-cw-alarm>"
                },
            ]
        },
        "RollingUpdatePolicy": { 
            "MaximumExecutionTimeoutInSeconds": number,
            "WaitIntervalInSeconds": number,
            "MaximumBatchSize": {
                "Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default),
                "Value": number
            },
            "RollbackMaximumBatchSize": {
                "Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default),
                "Value": number
            },
        }  
    }
)

Setelah memperbarui titik akhir Anda, Anda mungkin ingin memeriksa status penerapan bergulir Anda dan memeriksa kesehatan titik akhir Anda. Anda dapat meninjau status titik akhir Anda di SageMaker konsol, atau Anda dapat meninjau status titik akhir Anda dengan menggunakan. DescribeEndpointAPI

Di VariantStatus objek yang dikembalikan oleh DescribeEndpointAPI, Status bidang memberi tahu Anda penyebaran atau status operasional titik akhir Anda saat ini. Untuk informasi lebih lanjut tentang kemungkinan status dan apa artinya, lihat ProductionVariantStatus.

Jika Anda mencoba melakukan penerapan bergulir dan status endpoint Anda adalahUpdateRollbackFailed, lihat bagian berikut untuk bantuan pemecahan masalah.

Penanganan kegagalan

Jika penerapan bergulir Anda gagal dan rollback otomatis gagal juga, titik akhir Anda dapat dibiarkan dengan status. UpdateRollbackFailed Status ini berarti bahwa konfigurasi titik akhir yang berbeda diterapkan ke instance di belakang titik akhir Anda, dan titik akhir Anda dalam layanan dengan campuran konfigurasi titik akhir lama dan baru.

Anda dapat membuat panggilan lain UpdateEndpointAPIuntuk mengembalikan titik akhir Anda ke keadaan sehat. Tentukan konfigurasi titik akhir dan konfigurasi penerapan yang Anda inginkan (baik sebagai penerapan bergulir, penerapan biru/hijau, atau tidak keduanya) untuk memperbarui titik akhir Anda.

Anda dapat memanggil DescribeEndpointAPIuntuk memeriksa kesehatan titik akhir Anda lagi, yang dikembalikan dalam VariantStatus objek sebagai Status bidang. Jika pembaruan Anda berhasil, titik akhir Anda Status kembali keInService.