Lampirkan EI ke Instance Notebook - Amazon SageMaker
Menyiapkan untuk menggunakan Elastic Inference Menggunakan EI dalam Mode Lokal di SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Lampirkan EI ke Instance Notebook

Untuk menguji dan mengevaluasi kinerja inferensi menggunakan EI, Anda dapat melampirkan EI ke instance notebook saat membuat atau memperbarui instance notebook. Anda kemudian dapat menggunakan EI dalam mode lokal untuk meng-host model di titik akhir yang dihosting pada instance notebook. Anda harus menguji berbagai ukuran instans notebook dan akselerator EI untuk mengevaluasi konfigurasi yang paling sesuai untuk kasus penggunaan Anda.

Siapkan untuk Menggunakan EI

Untuk menggunakan EI secara lokal dalam instance notebook, buat instance notebook dengan instance EI.

Untuk membuat instance notebook dengan instance EI

  1. Buka SageMaker konsol Amazon di https://console.aws.amazon.com/sagemaker/.

  2. Di panel navigasi, pilih Instance Notebook.

  3. Pilih Buat instans notebook.

  4. Untuk nama instance Notebook, berikan nama unik untuk instance notebook Anda.

  5. Untuk jenis instance notebook, pilih instance CPU seperti ml.t2.medium.

  6. Untuk Elastic Inference (EI), pilih instance dari daftar, seperti ml.eia2.medium.

  7. Untuk peran IAM, pilih peran IAM yang memiliki izin yang diperlukan untuk digunakan SageMaker dan EI.

  8. (Opsional) Untuk VPC - Opsional, jika Anda ingin instance notebook menggunakan VPC, pilih salah satu dari daftar yang tersedia. Jika tidak, biarkan sebagai No VPC. Jika Anda menggunakan VPC, ikuti instruksi di. Gunakan VPC Kustom untuk Connect ke EI

  9. (Opsional) Untuk konfigurasi Siklus Hidup - opsional, biarkan sebagai Tidak ada konfigurasi atau pilih konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat Kustomisasi instance SageMaker notebook menggunakan skrip LCC.

  10. (Opsional) Untuk kunci Enkripsi - opsional, Opsional) Jika Anda SageMaker ingin menggunakan kunci AWS Key Management Service (AWS KMS) untuk mengenkripsi data dalam volume penyimpanan ML yang dilampirkan ke instance notebook, tentukan kuncinya.

  11. (Opsional) Untuk Ukuran Volume Dalam GB - opsional, biarkan nilai default 5.

  12. (Opsional) Untuk Tag, tambahkan tag ke instance notebook. Tag adalah label yang Anda tetapkan untuk membantu mengelola instance notebook Anda. Setiap tanda terdiri atas sebuah kunci dan sebuah nilai, yang keduanya Anda tentukan.

  13. Pilih Buat Instance Notebook.

Setelah membuat instance notebook dengan EI terlampir, Anda dapat membuat notebook Jupyter dan menyiapkan titik akhir EI yang di-host secara lokal pada instance notebook.

Gunakan EI dalam Mode Lokal di SageMaker

Untuk menggunakan EI secara lokal di titik akhir yang dihosting pada instance notebook, gunakan mode lokal dengan versi Amazon SageMaker Python SDK dari TensorFlow MXNet, atau estimator atau model. PyTorch Untuk informasi selengkapnya tentang dukungan mode lokal di SageMaker Python SDK, lihat https://github.com/aws/sagemaker-python-sdk#sagemaker-python-sdk-overview.

Gunakan EI dalam Mode Lokal dengan SageMaker TensorFlow Estimator dan Model

Untuk menggunakan EI dengan TensorFlow dalam mode lokal, tentukan local local_sagemaker_notebook untuk instance_type dan untuk accelerator_type saat Anda memanggil deploy metode estimator atau objek model. Untuk informasi selengkapnya tentang TensorFlow estimator dan model Amazon SageMaker Python SDK, lihat https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/index.html.

Kode berikut menunjukkan cara menggunakan mode lokal dengan objek estimator. Untuk memanggil deploy metode ini, Anda harus memiliki sebelumnya:

  • Melatih model dengan memanggil fit metode estimator.

  • Lewati artefak model saat Anda menginisialisasi objek model.

# Deploys the model to a local endpoint
tf_predictor = tf_model.deploy(initial_instance_count=1,
                               instance_type='local',
                               accelerator_type='local_sagemaker_notebook')

Gunakan EI dalam Mode Lokal dengan Estimator dan SageMaker Model Apache MXNet

Untuk menggunakan EI dengan MxNet dalam mode lokal, local tentukan instance_type untuk local_sagemaker_notebook dan accelerator_type untuk saat Anda memanggil deploy metode estimator atau objek model. Untuk informasi selengkapnya tentang estimator dan model Amazon SageMaker Python SDK MXNet, lihat https://sagemaker.readthedocs.io/en/stable/frameworks/mxnet/index.html.

Kode berikut menunjukkan cara menggunakan mode lokal dengan objek estimator. Anda sebelumnya harus memanggil fit metode estimator untuk melatih model.

# Deploys the model to a local endpoint
mxnet_predictor = mxnet_estimator.deploy(initial_instance_count=1,
                                         instance_type='local',
                                         accelerator_type='local_sagemaker_notebook')

Untuk contoh lengkap menggunakan EI dalam mode lokal dengan MxNet, lihat contoh buku catatan di https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-python-sdk/mxnet_mnist/mxnet_mnist_elastic_inference_local.html.

Gunakan EI dalam Mode Lokal dengan SageMaker PyTorch Estimator dan Model

Untuk menggunakan EI dengan PyTorch dalam mode lokal, saat Anda memanggil deploy metode estimator atau objek model, tentukan local untuk instance_type dan local_sagemaker_notebook untukaccelerator_type. Untuk informasi selengkapnya tentang estimator dan model Amazon SageMaker Python SDK, lihat PyTorch SageMaker PyTorch Estimator dan Model.

Kode berikut menunjukkan cara menggunakan mode lokal dengan objek estimator. Anda sebelumnya harus memanggil fit metode estimator untuk melatih model.

# Deploys the model to a local endpoint
pytorch_predictor = pytorch_estimator.deploy(initial_instance_count=1,
                                             instance_type='local',
                                             accelerator_type='local_sagemaker_notebook')