View a markdown version of this page

Membuat konfigurasi titik akhir - Amazon SageMaker AI
Untuk membuat konfigurasi titik akhir (menggunakan API)Untuk membuat konfigurasi titik akhir (menggunakan konsol)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat konfigurasi titik akhir

Setelah Anda membuat model, buat konfigurasi titik akhir. Anda kemudian dapat menerapkan model Anda menggunakan spesifikasi dalam konfigurasi titik akhir Anda. Dalam konfigurasi, Anda menentukan apakah Anda ingin titik akhir real-time atau tanpa server. Untuk membuat konfigurasi titik akhir tanpa server, Anda dapat menggunakan konsol Amazon SageMaker AI, CreateEndpointConfig API, atau. AWS CLI Pendekatan API dan konsol diuraikan di bagian berikut.

Untuk membuat konfigurasi titik akhir (menggunakan API)

Contoh berikut menggunakan AWS SDK untuk Python (Boto3) untuk memanggil API. CreateEndpointConfig Tentukan nilai-nilai berikut ini:

  • UntukEndpointConfigName, pilih nama untuk konfigurasi titik akhir. Nama harus unik dalam akun Anda di Wilayah.

  • (Opsional) UntukKmsKeyId, gunakan ID kunci, kunci ARN, nama alias, atau alias ARN untuk AWS KMS kunci yang ingin Anda gunakan. SageMaker AI menggunakan kunci ini untuk mengenkripsi gambar Amazon ECR Anda.

  • UntukModelName, gunakan nama model yang ingin Anda terapkan. Ini harus menjadi model yang sama dengan yang Anda gunakan dalam Buat model langkah.

  • Untuk ServerlessConfig:

    • Atur MemorySizeInMB ke 2048. Untuk contoh ini, kami mengatur ukuran memori ke 2048 MB, tetapi Anda dapat memilih salah satu dari nilai-nilai berikut untuk ukuran memori Anda: 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB, atau 6144 MB.

    • Atur MaxConcurrency ke 20. Untuk contoh ini, kami menetapkan konkurensi maksimum menjadi 20. Jumlah maksimum pemanggilan bersamaan yang dapat Anda tetapkan untuk titik akhir tanpa server adalah 200, dan nilai minimum yang dapat Anda pilih adalah 1.

    • (Opsional) Untuk menggunakan Konkurensi Tersediakan, setel ProvisionedConcurrency ke 10. Untuk contoh ini, kita menetapkan Provisioned Concurrency menjadi 10. Ang ProvisionedConcurrency ka untuk titik akhir tanpa server harus lebih rendah dari atau sama dengan MaxConcurrency angka. Anda dapat membiarkannya kosong jika Anda ingin menggunakan titik akhir Inferensi Tanpa Server sesuai permintaan. Anda dapat menskalakan Konkurensi Provisi secara dinamis. Untuk informasi selengkapnya, lihat Secara otomatis menskalakan Konkurensi yang Disediakan untuk titik akhir tanpa server.

response = client.create_endpoint_config(
   EndpointConfigName="<your-endpoint-configuration>",
   KmsKeyId="arn:aws:kms:us-east-1:123456789012:key/143ef68f-76fd-45e3-abba-ed28fc8d3d5e",
   ProductionVariants=[
        {
            "ModelName": "<your-model-name>",
            "VariantName": "AllTraffic",
            "ServerlessConfig": {
                "MemorySizeInMB": 2048,
                "MaxConcurrency": 20,
                "ProvisionedConcurrency": 10,
            }
        } 
    ]
)

Untuk membuat konfigurasi titik akhir (menggunakan konsol)

  1. Masuk ke konsol Amazon SageMaker AI.

  2. Di tab navigasi, pilih Inferensi.

  3. Selanjutnya, pilih Konfigur asi Endpoint.

  4. Pilih Buat konfigurasi titik akhir.

  5. Untuk nama konfigurasi Endpoint, masukkan nama yang unik dalam akun Anda di Wilayah.

  6. Untuk Jenis titik akhir, pilih Tanpa server.

    Tangkapan layar opsi tipe titik akhir di konsol.

  7. Untuk Varian Produksi, pilih Tambahkan model.

  8. Di bawah Tam bah model, pilih model yang ingin Anda gunakan dari daftar model, lalu pilih S impan.

  9. Setelah menambahkan model Anda, di bawah T indakan, pilih Edit.

  10. Untuk Ukuran memori, pilih ukuran memori yang Anda inginkan dalam GB.

    Tangkapan layar opsi ukuran memori di konsol.

  11. Untuk Max Concurrency, masukkan pemanggilan bersamaan maksimum yang Anda inginkan untuk titik akhir. Nilai maksimum yang dapat Anda masukkan adalah 200 dan minimum adalah 1.

  12. (Opsional) Untuk menggunakan Konkurensi Tersediakan, masukkan jumlah pemanggilan bersamaan yang diinginkan di bidang pengaturan Konkurensi Tersediakan. Jumlah pemanggilan bersamaan yang disediakan harus kurang dari atau sama dengan jumlah pemanggilan bersamaan maksimum.

  13. Pilih Simpan.

  14. (Opsional) Untuk Tag, masukkan pasangan kunci-nilai jika Anda ingin membuat metadata untuk konfigurasi titik akhir Anda.

  15. Pilih Buat konfigurasi titik akhir.