Buat konfigurasi titik akhir - Amazon SageMaker AI
Untuk membuat konfigurasi titik akhir (menggunakan API)Untuk membuat konfigurasi titik akhir (menggunakan konsol)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat konfigurasi titik akhir

Setelah Anda membuat model, buat konfigurasi titik akhir. Anda kemudian dapat menerapkan model Anda menggunakan spesifikasi dalam konfigurasi titik akhir Anda. Dalam konfigurasi, Anda menentukan apakah Anda menginginkan titik akhir real-time atau tanpa server. Untuk membuat konfigurasi titik akhir tanpa server, Anda dapat menggunakan konsol Amazon SageMaker AI, CreateEndpointConfigAPI, atau. AWS CLI Pendekatan API dan konsol diuraikan di bagian berikut.

Untuk membuat konfigurasi titik akhir (menggunakan API)

Contoh berikut menggunakan AWS SDK for Python (Boto3) untuk memanggil API. CreateEndpointConfig Tentukan nilai-nilai berikut ini:

  • UntukEndpointConfigName, pilih nama untuk konfigurasi titik akhir. Nama harus unik dalam akun Anda di Wilayah.

  • (Opsional) UntukKmsKeyId, gunakan ID kunci, ARN kunci, nama alias, atau alias ARN untuk AWS KMS kunci yang ingin Anda gunakan. SageMaker AI menggunakan kunci ini untuk mengenkripsi gambar Amazon ECR Anda.

  • UntukModelName, gunakan nama model yang ingin Anda terapkan. Itu harus model yang sama yang Anda gunakan di Buat model langkah.

  • Untuk ServerlessConfig:

    • Atur MemorySizeInMB ke 2048. Untuk contoh ini, kami mengatur ukuran memori menjadi 2048 MB, tetapi Anda dapat memilih salah satu nilai berikut untuk ukuran memori Anda: 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB, atau 6144 MB.

    • Atur MaxConcurrency ke 20. Untuk contoh ini, kami menetapkan konkurensi maksimum menjadi 20. Jumlah maksimum pemanggilan bersamaan yang dapat Anda atur untuk titik akhir tanpa server adalah 200, dan nilai minimum yang dapat Anda pilih adalah 1.

    • (Opsional) Untuk menggunakan Provisioned Concurrency, atur ProvisionedConcurrency ke 10. Untuk contoh ini, kita mengatur Provisioned Concurrency ke 10. ProvisionedConcurrencyAngka untuk titik akhir tanpa server harus lebih rendah dari atau sama dengan angka. MaxConcurrency Anda dapat membiarkannya kosong jika Anda ingin menggunakan titik akhir Inferensi Tanpa Server sesuai permintaan. Anda dapat menskalakan Konkurensi Ketentuan secara dinamis. Untuk informasi selengkapnya, lihat Secara otomatis menskalakan Konkurensi yang Disediakan untuk titik akhir tanpa server.

response = client.create_endpoint_config(
   EndpointConfigName="<your-endpoint-configuration>",
   KmsKeyId="arn:aws:kms:us-east-1:123456789012:key/143ef68f-76fd-45e3-abba-ed28fc8d3d5e",
   ProductionVariants=[
        {
            "ModelName": "<your-model-name>",
            "VariantName": "AllTraffic",
            "ServerlessConfig": {
                "MemorySizeInMB": 2048,
                "MaxConcurrency": 20,
                "ProvisionedConcurrency": 10,
            }
        } 
    ]
)

Untuk membuat konfigurasi titik akhir (menggunakan konsol)

  1. Masuk ke konsol Amazon SageMaker AI.

  2. Di tab navigasi, pilih Inferensi.

  3. Selanjutnya, pilih Konfigurasi titik akhir.

  4. Pilih Buat konfigurasi titik akhir.

  5. Untuk nama konfigurasi Endpoint, masukkan nama yang unik dalam akun Anda di Wilayah.

  6. Untuk Jenis titik akhir, pilih Tanpa Server.

    Tangkapan layar dari opsi tipe titik akhir di konsol.

  7. Untuk varian Produksi, pilih Tambah model.

  8. Di bawah Tambahkan model, pilih model yang ingin Anda gunakan dari daftar model dan kemudian pilih Simpan.

  9. Setelah menambahkan model Anda, di bawah Tindakan, pilih Edit.

  10. Untuk ukuran Memori, pilih ukuran memori yang Anda inginkan dalam GB.

    Tangkapan layar opsi ukuran memori di konsol.

  11. Untuk Max Concurrency, masukkan pemanggilan bersamaan maksimum yang Anda inginkan untuk titik akhir. Nilai maksimum yang dapat Anda masukkan adalah 200 dan minimum adalah 1.

  12. (Opsional) Untuk menggunakan Provisioned Concurrency, masukkan jumlah pemanggilan bersamaan yang diinginkan di bidang pengaturan Konkurensi yang Disediakan. Jumlah pemanggilan bersamaan yang disediakan harus kurang dari atau sama dengan jumlah pemanggilan bersamaan maksimum.

  13. Pilih Simpan.

  14. (Opsional) Untuk Tag, masukkan pasangan nilai kunci jika Anda ingin membuat metadata untuk konfigurasi titik akhir Anda.

  15. Pilih Buat konfigurasi titik akhir.