Kompatibilitas gambar kontainer - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kompatibilitas gambar kontainer

Tabel berikut menunjukkan daftar gambar SageMaker pelatihan yang kompatibel dengan dekorator @remote.

Nama Versi Python Gambar URI - CPU Gambar URI - GPU

Ilmu Data

3.7 (py37)

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook.

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook.

Ilmu Data 2.0

3.8 (py38)

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook.

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook.

Ilmu Data 3.0

3.10 (py310)

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook.

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook.

Dasar Python 2.0

3.8 (py38)

Python SDK memilih gambar ini ketika mendeteksi bahwa lingkungan pengembangan menggunakan runtime Python 3.8. Jika tidak, Python SDK secara otomatis memilih gambar ini saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook.

Dasar Python 3.0

3.10 (py310)

Python SDK memilih gambar ini ketika mendeteksi bahwa lingkungan pengembangan menggunakan runtime Python 3.8. Jika tidak, Python SDK secara otomatis memilih gambar ini saat digunakan sebagai gambar kernel SageMaker Studio Classic Notebook

Hanya untuk SageMaker Studio Classic Notebook. Python SDK secara otomatis memilih gambar URI saat digunakan sebagai gambar kernel Studio Classic Notebook.

DLC- TensorFlow 2.12.0 untuk Pelatihan SageMaker

3.10 (py310)

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.12.0-cpu-py310-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker

DLC-Tensorflow 2.11.0 untuk pelatihan SageMaker

3.9 (py39)

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.11.0-cpu-py39-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.11.0-gpu-py39-cu112-ubuntu20.04-sagemaker

DLC- TensorFlow 2.10.1 untuk pelatihan SageMaker

3.9 (py39)

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.10.1-cpu-py39-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.10.1-gpu-py39-cu112-ubuntu20.04-sagemaker

DLC- TensorFlow 2.9.2 untuk pelatihan SageMaker

3.9 (py39)

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.9.2-cpu-py39-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.9.2-gpu-py39-cu112-ubuntu20.04-sagemaker

DLC- TensorFlow 2.8.3 untuk pelatihan SageMaker

3.9 (py39)

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.8.3-cpu-py39-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/tensorflow-training:2.8.3-gpu-py39-cu112-ubuntu20.04-sagemaker

DLC- PyTorch 2.0.0 untuk pelatihan SageMaker

3.10 (py310)

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:2.0.0-cpu-py310-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker

DLC- PyTorch 1.13.1 untuk pelatihan SageMaker

3.9 (py39)

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:1.13.1-cpu-py39-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker

DLC- PyTorch 1.12.1 untuk pelatihan SageMaker

3.8 (py38)

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:1.12.1-cpu-py38-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:1.12.1-gpu-py38-cu113-ubuntu20.04-sagemaker

DLC- PyTorch 1.11.0 untuk pelatihan SageMaker

3.8 (py38)

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:1.11.0-cpu-py38-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/pytorch-training:1.11.0-gpu-py38-cu113-ubuntu20.04-sagemaker

DLC- MXNet 1.9.0 untuk pelatihan SageMaker

3.8 (py38)

763104351884.dkr.ecr. <region>.amazonaws.com/mxnet-training:1.9.0-cpu-py38-ubuntu20.04-sagemaker

763104351884.dkr.ecr. <region>.amazonaws.com/mxnet-training:1.9.0-gpu-py38-cu112-ubuntu20.04-sagemaker
catatan

Untuk menjalankan pekerjaan secara lokal menggunakan gambar AWS Deep Learning Containers (DLC), gunakan gambar yang URIs ditemukan dalam DLCdokumentasi. DLCGambar tidak mendukung auto_capture nilai untuk dependensi.

Pekerjaan dengan SageMakerDistribusi di SageMaker Studio berjalan dalam wadah sebagai pengguna non-root bernamasagemaker-user. Pengguna ini membutuhkan izin penuh untuk mengakses /opt/ml dan/tmp. Berikan izin ini dengan menambahkan sudo chmod -R 777 /opt/ml /tmp ke pre_execution_commands daftar, seperti yang ditunjukkan pada cuplikan berikut:

@remote(pre_execution_commands=["sudo chmod -R 777 /opt/ml /tmp"])
def func():
    pass

Anda juga dapat menjalankan fungsi jarak jauh dengan gambar khusus Anda. Untuk kompatibilitas dengan fungsi jarak jauh, gambar khusus harus dibuat dengan Python versi 3.7.x-3.10.x. Berikut ini adalah contoh Dockerfile minimal yang menunjukkan cara menggunakan image Docker dengan Python 3.10.

FROM python:3.10

#... Rest of the Dockerfile

Untuk membuat conda lingkungan dalam gambar Anda dan menggunakannya untuk menjalankan pekerjaan, atur variabel lingkungan SAGEMAKER_JOB_CONDA_ENV ke nama conda lingkungan. Jika gambar Anda memiliki SAGEMAKER_JOB_CONDA_ENV nilai yang ditetapkan, fungsi jarak jauh tidak dapat membuat lingkungan conda baru selama runtime pekerjaan pelatihan. Lihat contoh Dockerfile berikut yang menggunakan conda lingkungan dengan Python versi 3.10.

FROM continuumio/miniconda3:4.12.0  

ENV SHELL=/bin/bash \
    CONDA_DIR=/opt/conda \
    SAGEMAKER_JOB_CONDA_ENV=sagemaker-job-env

RUN conda create -n $SAGEMAKER_JOB_CONDA_ENV \
   && conda install -n $SAGEMAKER_JOB_CONDA_ENV python=3.10 -y \
   && conda clean --all -f -y \

SageMaker Untuk menggunakan mamba untuk mengelola lingkungan virtual Python Anda di image container, instal toolkit mamba dari miniforge. Untuk menggunakan mamba, tambahkan contoh kode berikut ke Dockerfile Anda. Kemudian, SageMaker akan mendeteksi mamba ketersediaan saat runtime dan menggunakannya sebagai gantinya. conda

#Mamba Installation
RUN curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Mambaforge-Linux-x86_64.sh" \
    && bash Mambaforge-Linux-x86_64.sh -b -p "/opt/conda"  \
    && /opt/conda/bin/conda init bash

Menggunakan saluran conda khusus pada bucket Amazon S3 tidak kompatibel dengan mamba saat menggunakan fungsi jarak jauh. Jika Anda memilih untuk menggunakan mamba, pastikan Anda tidak menggunakan saluran conda khusus di Amazon S3. Untuk informasi selengkapnya, lihat bagian Prasyarat di bawah Repositori conda kustom menggunakan Amazon S3.

Berikut ini adalah contoh Dockerfile lengkap yang menunjukkan cara membuat image Docker yang kompatibel.

FROM python:3.10

RUN apt-get update -y \
    # Needed for awscli to work
    # See: https://github.com/aws/aws-cli/issues/1957#issuecomment-687455928
    && apt-get install -y groff unzip curl \
    && pip install --upgrade \
        'boto3>1.0<2' \
        'awscli>1.0<2' \
        'ipykernel>6.0.0<7.0.0' \
#Use ipykernel with --sys-prefix flag, so that the absolute path to 
    #/usr/local/share/jupyter/kernels/python3/kernel.json python is used
    # in kernelspec.json file
    && python -m ipykernel install --sys-prefix

#Install Mamba
RUN curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Mambaforge-Linux-x86_64.sh" \
    && bash Mambaforge-Linux-x86_64.sh -b -p "/opt/conda"  \
    && /opt/conda/bin/conda init bash

#cleanup
RUN apt-get clean \
    && rm -rf /var/lib/apt/lists/* \
    && rm -rf ${HOME}/.cache/pip \
    && rm Mambaforge-Linux-x86_64.sh

ENV SHELL=/bin/bash \
    PATH=$PATH:/opt/conda/bin

Gambar yang dihasilkan dari menjalankan contoh Dockerfile sebelumnya juga dapat digunakan sebagai image kernel SageMaker Studio Classic.