Menyebarkan model - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan model

Setelah berlangganan model, Anda menerapkannya ke titik akhir SageMaker AI. Anda membuat panggilan inferensi ke titik akhir. Model ini dihosting oleh SageMaker AI. Selama proses penyebaran, Anda memberikan informasi berikut:

  • Nama titik akhir SageMaker AI

  • Jumlah instance yang menerima panggilan inferensi ke titik akhir

  • Tipe instance dari endpoint

Anda juga dapat mengonfigurasi opsi lanjutan opsional seperti tag.

Peran layanan SageMaker AI secara otomatis dibuat agar SageMaker AI dapat mengasumsikan dan melakukan tindakan atas nama Anda. Untuk informasi selengkapnya tentang izin Amazon SageMaker AI, lihat Cara menggunakan peran eksekusi SageMaker AI.

Atau, Anda dapat memilih peran yang ada atau membuat yang baru. Untuk mempelajari cara menerapkan model Amazon Bedrock Marketplace, pilih tab yang sesuai dengan metode pilihan Anda dan ikuti langkah-langkahnya.

Untuk menyebarkan model

  1. Masuk ke AWS Management Console menggunakan IAM peran dengan izin Amazon Bedrock.

  2. Di bilah pencarian, tentukan “Amazon Bedrock” dan pilih Amazon Bedrock dari daftar dropdown.

  3. Dari panel navigasi, pilih Model Catalog.

  4. Pilih kartu model untuk model yang Anda gunakan.

  5. Pilih Deploy.

  6. Untuk Nama Titik Akhir, tentukan nama titik akhir.

  7. Pilih jumlah instance dan pilih jenis instans.

  8. Di bawah Pengaturan Lanjutan, Anda dapat secara opsional:

    1. Siapkan VPC

    2. Konfigurasikan peran akses layanan

    3. Sesuaikan setelan enkripsi

    4. Tambahkan tag

  9. Pilih Deploy untuk menerapkan model Amazon Bedrock Marketplace Anda ke titik akhir SageMaker AI. Proses ini biasanya memakan waktu 10-15 menit.

Gunakan CreateMarketplaceModelEndpoint operasi untuk membuat titik akhir. Beberapa model memiliki perjanjian lisensi pengguna akhir ()EULA. Untuk menerimaEULA, Anda mengatur AcceptEula keTrue.

Contoh berikut menggunakan AWS Command Line Interface perintah contoh untuk membuat titik akhir:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
catatan

Tanggapan untukCreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint dan RegisterMarketplaceModelEndpoint operasinya sama.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Anda dapat memodifikasi titik akhir di Amazon Bedrock Marketplace dan Amazon SageMaker AI. Kami merekomendasikan hanya memodifikasi titik akhir dalam Amazon Bedrock. Jika Anda memodifikasi titik akhir dalam SageMaker AI, Anda mungkin tidak dapat menggunakan titik akhir dalam Amazon Bedrock. Berikut ini adalah modifikasi yang dapat menyebabkan titik akhir gagal dalam Amazon Bedrock:

Agar titik akhir dapat beroperasi, itu harus terdaftar dan dalam layanan. Anda dapat menggunakan AWS Command Line Interface perintah berikut untuk memeriksa status titik akhir.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

Titik akhir harus memiliki status berikut agar Anda dapat menggunakannya dengan Amazon Bedrock:


endpointStatus: InService
status: REGISTERED

Jika Anda telah membuat modifikasi yang menyebabkan titik akhir gagal, Anda dapat membatalkan pendaftaran dan mendaftarkan ulang titik akhir. Gunakan DeregisterEndpoint operasi untuk membatalkan pendaftaran titik akhir. Gunakan RegisterEndpoint operasi untuk mendaftarkannya kembali.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn