Buat rekomendasi inferensi - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat rekomendasi inferensi

Buat rekomendasi inferensi secara terprogram menggunakan atau AWS CLI, AWS SDK for Python (Boto3) atau secara interaktif menggunakan Studio Classic atau konsol AI. SageMaker Tentukan nama pekerjaan untuk rekomendasi inferensi Anda, AWS IAM peranARN, konfigurasi input, dan paket model ARN saat Anda mendaftarkan model Anda dengan registri model, atau nama model dan ContainerConfig kamus dari saat Anda membuat model di bagian Prasyarat.

AWS SDK for Python (Boto3)

Gunakan CreateInferenceRecommendationsJobAPIuntuk memulai pekerjaan rekomendasi inferensi. Tetapkan JobType bidang 'Default' untuk pekerjaan rekomendasi inferensi. Selain itu, berikan yang berikut:

  • Amazon Resource Name (ARN) IAM peran yang memungkinkan Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk RoleArn bidang.

  • Paket model ARN atau nama model. Inference Recommender mendukung salah satu paket model ARN atau nama model sebagai input. Tentukan satu dari yang berikut ini:

    • Paket ARN model berversi yang Anda buat saat mendaftarkan model Anda dengan SageMaker registri model AI. Tentukan ini untuk ModelPackageVersionArn di InputConfig lapangan.

    • Nama model yang Anda buat. Tentukan ini untuk ModelName di InputConfig lapangan. Juga, berikan ContainerConfig kamus, yang mencakup bidang wajib yang perlu disediakan dengan nama model. Tentukan ini untuk ContainerConfig di InputConfig lapangan. DalamContainerConfig, Anda juga dapat secara opsional menentukan SupportedEndpointType bidang sebagai salah satu RealTime atauServerless. Jika Anda menentukan bidang ini, Inference Recommender mengembalikan rekomendasi hanya untuk jenis titik akhir tersebut. Jika Anda tidak menentukan bidang ini, Inference Recommender mengembalikan rekomendasi untuk kedua tipe titik akhir.

  • Nama untuk pekerjaan rekomendasi Inference Recommender Anda untuk bidang tersebut. JobName Nama pekerjaan Inference Recommender harus unik di dalam AWS Wilayah dan di dalam akun Anda AWS .

Impor AWS SDK for Python (Boto3) paket dan buat objek klien SageMaker AI menggunakan kelas klien. Jika Anda mengikuti langkah-langkah di bagian Prasyarat, hanya tentukan salah satu dari berikut ini:

  • Opsi 1: Jika Anda ingin membuat pekerjaan rekomendasi inferensi dengan paket modelARN, maka simpan grup paket model ARN dalam variabel bernamamodel_package_arn.

  • Opsi 2: Jika Anda ingin membuat pekerjaan rekomendasi inferensi dengan nama model danContainerConfig, simpan nama model dalam variabel bernama model_name dan ContainerConfig kamus dalam variabel bernamacontainer_config.

# Create a low-level SageMaker service client.
import boto3
aws_region = '<INSERT>'
sagemaker_client = boto3.client('sagemaker', region_name=aws_region) 

# Provide only one of model package ARN or model name, not both.
# Provide your model package ARN that was created when you registered your 
# model with Model Registry 
model_package_arn = '<INSERT>'
## Uncomment if you would like to create an inference recommendations job with a
## model name instead of a model package ARN, and comment out model_package_arn above
## Provide your model name
# model_name = '<INSERT>'
## Provide your container config 
# container_config = '<INSERT>'

# Provide a unique job name for SageMaker Inference Recommender job
job_name = '<INSERT>'

# Inference Recommender job type. Set to Default to get an initial recommendation
job_type = 'Default'

# Provide an IAM Role that gives SageMaker Inference Recommender permission to 
# access AWS services
role_arn = 'arn:aws:iam::<account>:role/*'

sagemaker_client.create_inference_recommendations_job(
    JobName = job_name,
    JobType = job_type,
    RoleArn = role_arn,
    # Provide only one of model package ARN or model name, not both. 
    # If you would like to create an inference recommendations job with a model name,
    # uncomment ModelName and ContainerConfig, and comment out ModelPackageVersionArn.
    InputConfig = {
        'ModelPackageVersionArn': model_package_arn
        # 'ModelName': model_name,
        # 'ContainerConfig': container_config
    }
)

Lihat Panduan SageMaker API Referensi Amazon untuk daftar lengkap argumen opsional dan wajib yang dapat Anda sampaikan CreateInferenceRecommendationsJob.

AWS CLI

Gunakan create-inference-recommendations-job API untuk memulai pekerjaan rekomendasi inferensi. Tetapkan job-type bidang 'Default' untuk pekerjaan rekomendasi inferensi. Selain itu, berikan yang berikut:

  • Nama Sumber Daya Amazon (ARN) IAM peran yang memungkinkan Amazon SageMaker Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk role-arn bidang.

  • Paket model ARN atau nama model. Inference Recommender mendukung salah satu paket model ARN atau nama model sebagai input. Tentukan salah satu dari berikut ini

    • Paket ARN model berversi yang Anda buat saat Anda mendaftarkan model Anda dengan Model Registry. Tentukan ini untuk ModelPackageVersionArn di input-config lapangan.

    • Nama model yang Anda buat. Tentukan ini untuk ModelName di input-config lapangan. Juga, berikan ContainerConfig kamus yang mencakup bidang wajib yang perlu disediakan dengan nama model. Tentukan ini untuk ContainerConfig di input-config lapangan. DalamContainerConfig, Anda juga dapat secara opsional menentukan SupportedEndpointType bidang sebagai salah satu RealTime atauServerless. Jika Anda menentukan bidang ini, Inference Recommender mengembalikan rekomendasi hanya untuk jenis titik akhir tersebut. Jika Anda tidak menentukan bidang ini, Inference Recommender mengembalikan rekomendasi untuk kedua tipe titik akhir.

  • Nama untuk pekerjaan rekomendasi Inference Recommender Anda untuk bidang tersebut. job-name Nama pekerjaan Inference Recommender harus unik di dalam AWS Wilayah dan di dalam akun Anda AWS .

Untuk membuat lowongan rekomendasi inferensi dengan paket modelARN, gunakan contoh berikut:

aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelPackageVersionArn\": \"arn:aws:sagemaker:<region:account:role/*>\",
        }"

Untuk membuat pekerjaan rekomendasi inferensi dengan nama model danContainerConfig, gunakan contoh berikut. Contoh menggunakan SupportedEndpointType bidang untuk menentukan bahwa kami hanya ingin mengembalikan rekomendasi inferensi waktu nyata:

aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelName\": \"model-name\",
        \"ContainerConfig\" : {
                \"Domain\": \"COMPUTER_VISION\",
                \"Framework\": \"PYTORCH\",
                \"FrameworkVersion\": \"1.7.1\",
                \"NearestModelName\": \"resnet18\",
                \"PayloadConfig\": 
                    {
                        \"SamplePayloadUrl\": \"s3://{bucket}/{payload_s3_key}\", 
                        \"SupportedContentTypes\": [\"image/jpeg\"]
                    },
                \"SupportedEndpointType\": \"RealTime\",
                \"DataInputConfig\": \"[[1,3,256,256]]\",
                \"Task\": \"IMAGE_CLASSIFICATION\",
            },
        }"
Amazon SageMaker Studio Classic

Buat pekerjaan rekomendasi inferensi di Studio Classic.

  1. Di aplikasi Studio Classic Anda, pilih ikon beranda ( Black square icon representing a placeholder or empty image. ).

  2. Di bilah sisi kiri Studio Classic, pilih Model.

  3. Pilih Model Registry dari daftar dropdown untuk menampilkan model yang telah Anda daftarkan dengan registri model.

    Panel kiri menampilkan daftar grup model. Daftar ini mencakup semua grup model yang terdaftar dengan registri model di akun Anda, termasuk model yang terdaftar di luar Studio Classic.

  4. Pilih nama grup model Anda. Saat Anda memilih grup model, panel kanan Studio Classic menampilkan kepala kolom seperti Versi dan Pengaturan.

    Jika Anda memiliki satu atau beberapa paket model dalam grup model Anda, Anda akan melihat daftar paket model tersebut dalam kolom Versi.

  5. Pilih kolom Inference recommended.

  6. Pilih IAM peran yang memberikan izin Inference Recommender untuk mengakses layanan. AWS Anda dapat membuat peran dan melampirkan kebijakan AmazonSageMakerFullAccess IAM terkelola untuk mencapai hal ini. Atau Anda dapat membiarkan Studio Classic membuat peran untuk Anda.

  7. Pilih Dapatkan rekomendasi.

    Rekomendasi inferensi dapat memakan waktu hingga 45 menit.

    Awas

    Jangan tutup tab ini. Jika Anda menutup tab ini, Anda membatalkan pekerjaan rekomendasi instans.

SageMaker AI console

Buat pekerjaan rekomendasi instans melalui konsol SageMaker AI dengan melakukan hal berikut:

  1. Buka konsol SageMaker AI di https://console.aws.amazon.com/sagemaker/.

  2. Di panel navigasi kiri, pilih Inferensi, lalu pilih Inference recommended.

  3. Pada halaman lowongan pemberi rekomendasi inferensi, pilih Buat pekerjaan.

  4. Untuk Langkah 1: Konfigurasi model, lakukan hal berikut:

    1. Untuk jenis Job, pilih Default recommended job.

    2. Jika Anda menggunakan model yang terdaftar di registri model SageMaker AI, aktifkan sakelar Pilih model dari registri model dan lakukan hal berikut:

      1. Dari daftar dropdown grup Model, pilih grup model di registri model SageMaker AI tempat model Anda berada.

      2. Dari daftar dropdown versi Model, pilih versi model yang diinginkan.

    3. Jika Anda menggunakan model yang telah Anda buat di SageMaker AI, matikan sakelar Pilih model dari registri model dan lakukan hal berikut:

      1. Untuk bidang Nama Model, masukkan nama model SageMaker AI Anda.

    4. Dari daftar tarik-turun IAMperan, Anda dapat memilih AWS IAM peran yang ada yang memiliki izin yang diperlukan untuk membuat pekerjaan rekomendasi instance. Atau, jika Anda tidak memiliki peran yang ada, Anda dapat memilih Buat peran baru untuk membuka pop-up pembuatan peran, dan SageMaker AI menambahkan izin yang diperlukan ke peran baru yang Anda buat.

    5. Untuk bucket S3 untuk benchmarking payload, masukkan path Amazon S3 ke arsip payload sampel Anda, yang harus berisi contoh file payload yang digunakan Inference Recomder untuk membandingkan model Anda pada jenis instans yang berbeda.

    6. Untuk jenis konten Payload, masukkan MIME jenis data payload sampel Anda.

    7. (Opsional) Jika Anda mematikan tombol Pilih model dari registri model dan menentukan model SageMaker AI, lalu untuk konfigurasi Container, lakukan hal berikut:

      1. Untuk daftar dropdown Domain, pilih domain pembelajaran mesin model, seperti visi komputer, pemrosesan bahasa alami, atau pembelajaran mesin.

      2. Untuk daftar dropdown Framework, pilih framework container Anda, seperti TensorFlow atau. XGBoost

      3. Untuk versi Framework, masukkan versi kerangka gambar kontainer Anda.

      4. Untuk daftar dropdown nama model terdekat, pilih model pra-terlatih yang sebagian besar cocok dengan model Anda.

      5. Untuk daftar tarik-turun Tugas, pilih tugas pembelajaran mesin yang diselesaikan model, seperti klasifikasi gambar atau regresi.

    8. (Opsional) Untuk kompilasi Model menggunakan SageMaker Neo, Anda dapat mengonfigurasi pekerjaan rekomendasi untuk model yang telah Anda kompilasi menggunakan SageMaker Neo. Untuk konfigurasi input Data, masukkan bentuk data input yang benar untuk model Anda dalam format yang mirip dengan{'input':[1,1024,1024,3]}.

    9. Pilih Berikutnya.

  5. Untuk Langkah 2: Contoh dan parameter lingkungan, lakukan hal berikut:

    1. (Opsional) Untuk Select instance untuk benchmarking, Anda dapat memilih hingga 8 jenis instans yang ingin Anda benchmark. Jika Anda tidak memilih instans apa pun, Inference Recommender mempertimbangkan semua jenis instance.

    2. Pilih Berikutnya.

  6. Untuk Langkah 3: Parameter Job, lakukan hal berikut:

    1. (Opsional) Untuk bidang Nama Job, masukkan nama untuk pekerjaan rekomendasi instans Anda. Saat Anda membuat pekerjaan, SageMaker AI menambahkan stempel waktu di akhir nama ini.

    2. (Opsional) Untuk kolom Job description, masukkan deskripsi untuk pekerjaan tersebut.

    3. (Opsional) Untuk daftar dropdown kunci Enkripsi, pilih AWS KMS kunci berdasarkan nama atau masukkan ARN untuk mengenkripsi data Anda.

    4. (Opsional) Untuk durasi pengujian Maks, masukkan jumlah detik maksimum yang Anda inginkan setiap pengujian dijalankan.

    5. (Opsional) Untuk pemanggilan Maks per menit, masukkan jumlah maksimum permintaan per menit yang dapat dicapai titik akhir sebelum menghentikan pekerjaan rekomendasi. Setelah mencapai batas ini, SageMaker AI mengakhiri pekerjaan.

    6. (Opsional) Untuk ambang latensi Model P99 (ms), masukkan persentil latensi model dalam milidetik.

    7. Pilih Berikutnya.

  7. Untuk Langkah 4: Tinjau pekerjaan, tinjau konfigurasi Anda, lalu pilih Kirim.