View a markdown version of this page

Repositori pribadi untuk dependensi runtime - Amazon SageMaker AI
Cara menggunakan repositori PyPI khusus yang dikelola dengan AWS CodeArtifactCara menggunakan saluran conda khusus yang dihosting di Amazon S3

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Repositori pribadi untuk dependensi runtime

Anda dapat menggunakan perintah atau skrip pra-eksekusi untuk mengonfigurasi manajer ketergantungan seperti pip atau conda di lingkungan pekerjaan Anda. Untuk mencapai isolasi jaringan, gunakan salah satu opsi ini untuk mengarahkan pengelola ketergantungan Anda untuk mengakses repositori pribadi Anda dan menjalankan fungsi jarak jauh dalam VPC. Perintah atau skrip pra-eksekusi akan berjalan sebelum fungsi jarak jauh Anda berjalan. Anda dapat mendefinisikannya dengan dekorator @remote, RemoteExecutor API, atau dalam file konfigurasi.

Bagian berikut menunjukkan cara mengakses repositori Indeks Paket Python (PyPI) pribadi yang dikelola dengan AWS CodeArtifact. Bagian ini juga menunjukkan cara mengakses saluran conda khusus yang dihosting di Amazon Simple Storage Service (Amazon S3).

Cara menggunakan repositori PyPI khusus yang dikelola dengan AWS CodeArtifact

Untuk digunakan CodeArtifact untuk mengelola repositori PyPI kustom, prasyarat berikut diperlukan:

  • Repositori PyPI pribadi Anda seharusnya sudah dibuat. Anda dapat memanfaatkan AWS CodeArtifact untuk membuat dan mengelola repositori paket pribadi Anda. Untuk mempelajari selengkap CodeArtifact nya, lihat Panduan CodeArtifact Pengguna.

  • VPC Anda harus memiliki akses ke CodeArtifact repositori Anda. Untuk mengizinkan koneksi dari VPC ke CodeArtifact repositori Anda, Anda harus melakukan hal berikut:

Contoh perintah pra-eksekusi berikut menunjukkan cara mengonfigurasi pip dalam pekerjaan pelatihan SageMaker AI untuk menunjuk ke CodeArtifact repositori Anda. Untuk informasi selengkapnya, lihat Mengonfigurasi dan menggunakan pip dengan CodeArtifact.

# use a requirements.txt file to import dependencies
@remote(
    instance_type="ml.m5.large"
    image_uri = "my_base_python:latest", 
    dependencies = './requirements.txt',
    pre_execution_commands=[
        "aws codeartifact login --tool pip --domain my-org --domain-owner <000000000000> --repository my-codeartifact-python-repo --endpoint-url https://vpce-xxxxx.api.codeartifact.us-east-1.vpce.amazonaws.com"
    ]
)
def matrix_multiply(a, b):
    return np.matmul(a, b)

Cara menggunakan saluran conda khusus yang dihosting di Amazon S3

Untuk menggunakan Amazon S3 untuk mengelola repositori conda kustom, prasyarat berikut diperlukan:

  • Saluran conda pribadi Anda harus sudah diatur di bucket Amazon S3 Anda, dan semua paket dependen harus diindeks dan diunggah ke bucket Amazon S3 Anda. Untuk petunjuk tentang cara mengindeks paket conda Anda, lihat Membuat saluran khusus.

  • VPC Anda harus memiliki akses ke bucket Amazon S3. Untuk informasi selengkapnya, lihat T itik Akhir untuk Amazon S3.

  • Lingkungan conda dasar dalam gambar pekerjaan Anda seharusnya telah boto3 diinstal. Untuk memeriksa lingkungan Anda, masukkan yang berikut ini di prompt Anaconda Anda untuk memeriksa yang boto3 muncul dalam daftar yang dihasilkan.

    conda list -n base

  • Gambar pekerjaan Anda harus diinstal dengan conda, bukan mam ba. Untuk memeriksa lingkungan Anda, pastikan bahwa prompt kode sebelumnya tidak kembalimamba.

Contoh perintah pra-eksekusi berikut menunjukkan cara mengonfigurasi conda dalam pekerjaan SageMaker pelatihan untuk menunjuk ke saluran pribadi Anda di Amazon S3 Perintah pra-eksekusi menghapus saluran default dan menambahkan saluran khusus ke file konfigurasi conda. .condarc

# specify your dependencies inside a conda yaml file
@remote(
    instance_type="ml.m5.large"
    image_uri = "my_base_python:latest", 
    dependencies = "./environment.yml",
    pre_execution_commands=[
        "conda config --remove channels 'defaults'"
        "conda config --add channels 's3://my_bucket/my-conda-repository/conda-forge/'",
        "conda config --add channels 's3://my_bucket/my-conda-repository/main/'"
    ]
)
def matrix_multiply(a, b):
    return np.matmul(a, b)