Menambahkan sistem file kustom ke domain - Amazon SageMaker AI
PrasyaratMenambahkan ke domainMelampirkan ke ruang

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menambahkan sistem file kustom ke domain

Saat Anda membuat domain, Amazon SageMaker AI menambahkan volume default Amazon Elastic File System (Amazon EFS) ke domain. SageMaker AI menciptakan volume ini untuk Anda. Anda juga memiliki opsi untuk menambahkan Amazon EFS khusus atau Amazon kustom FSx untuk sistem file Lustre yang telah Anda buat. Setelah Anda menambahkannya, sistem file Anda tersedia untuk pengguna yang termasuk dalam domain Anda. Pengguna Anda dapat mengakses sistem file saat mereka menggunakan Amazon SageMaker Studio. Mereka dapat melampirkan sistem file ke spasi yang mereka buat untuk aplikasi yang didukung berikut:

  • JupyterLab

  • Editor Kode

Setelah menjalankan spasi dan memulai aplikasi, pengguna Anda dapat mengakses data, kode, atau artefak lain yang berisi sistem file Anda.

Anda dapat mengaktifkan pengguna Anda untuk mengakses sistem file Anda dengan cara berikut:

  • Melalui ruang bersama — Ruang bersama dapat dibuat oleh pengguna mana pun yang termasuk dalam domain Anda. Kemudian, dapat digunakan oleh pengguna mana pun yang termasuk dalam domain Anda.

  • Melalui ruang pribadi — Ruang pribadi dapat dibuat oleh pengguna mana pun yang termasuk dalam domain Anda. Kemudian, itu hanya dapat digunakan oleh pengguna itu.

  • Eksklusif sebagai pengguna individu - Jika Anda tidak ingin mengaktifkan semua pengguna Anda untuk mengakses sistem file, Anda hanya dapat mengaktifkan pengguna tertentu untuk mengaksesnya. Jika Anda melakukannya, sistem file hanya tersedia di ruang pribadi yang dibuat pengguna tertentu.

Anda dapat menambahkan sistem file kustom dengan menggunakan Amazon SageMaker API, file AWS SDKs, atau file AWS CLI. Anda tidak dapat menambahkan sistem file khusus dengan menggunakan konsol SageMaker AI.

Prasyarat

Sebelum Anda dapat menambahkan sistem file kustom ke domain, Anda harus memenuhi persyaratan berikut:

  • Anda memiliki domain di SageMaker AI. Sebelum Anda dapat menambahkan sistem file, Anda memerlukan ID domain. Anda dapat mencari ID dengan menggunakan konsol SageMaker AI. Anda juga dapat menjalankan list-domainsperintah dengan file AWS CLI.

  • Anda memiliki Amazon EFS atau FSx untuk sistem file Lustre di file Anda. Akun AWS

    For Amazon EFS

    • Untuk langkah-langkah membuat Amazon EFS, lihat Membuat sistem file Amazon EFS Anda di Panduan Pengguna Amazon Elastic File System.

    • Sebelum Studio dapat mengakses sistem file Anda, Studio harus memiliki target mount di setiap subnet yang Anda kaitkan dengan domain. Untuk informasi selengkapnya tentang menetapkan target mount ke subnet, lihat Membuat dan mengelola target mount dan grup keamanan di Panduan Pengguna Amazon Elastic File System.

    • Untuk setiap target pemasangan, Anda harus menambahkan grup keamanan yang dibuat Amazon SageMaker AI di Akun AWS saat Anda membuat domain. Nama grup keamanan memiliki formatsecurity-group-for-inbound-nfs-domain-id. Untuk petunjuk tentang cara mendapatkan ID domain Anda, lihatLihat domain.

    • Izin IAM Anda harus memungkinkan Anda untuk menggunakan tindakan. elasticfilesystem:DescribeMountTargets Untuk informasi selengkapnya tentang tindakan ini, lihat Kunci tindakan, sumber daya, dan kondisi untuk Amazon Elastic File System di Referensi Otorisasi Layanan.

    For FSx for Lustre

    • Untuk langkah-langkah membuat sistem file FSx untuk Lustre, lihat Memulai Amazon for Lustre di Panduan Pengguna Amazon FSx FSx for Lustre. Pastikan bahwa sistem file FSx for Lustre ada di:

      • VPC Amazon yang sama dengan domain Anda.

      • Salah satu subnet yang ada di domain Anda.

    • Sebelum Studio dapat mengakses sistem file FSx for Lustre, Anda harus menambahkan grup keamanan domain Anda ke semua antarmuka jaringan elastis (ENIs) di sistem file FSx for Lustre Anda. Tanpa langkah ini, pembuatan aplikasi gagal dengan kesalahan. Gunakan petunjuk berikut untuk menambahkan grup keamanan domain ke sistem file FSx for Lustre Anda. ENIs

      Tambahkan grup keamanan domain Anda ke FSx sistem file Lustre ENIs (konsol)

      1. Arahkan ke FSxkonsol Amazon.

      2. Pilih Sistem file.

      3. Pilih sistem file Lustre Anda FSx dengan menggunakan tautan yang sesuai di bawah ID sistem File.

      4. Jika belum dipilih, pilih tab Jaringan & keamanan.

      5. Di bawah Subnet pilih Untuk melihat semua ENIs, lihat EC2 konsol Amazon. Ini akan membawa Anda ke EC2 konsol Amazon dan menunjukkan semua yang ENIs ditautkan ke sistem file FSx for Lustre Anda.

      6. Untuk setiap ENI:

        1. Pilih ENI dengan memilih tautan yang sesuai di bawah ID antarmuka Jaringan.

        2. Pilih Tindakan di kanan atas halaman ringkasan untuk memperluas menu tarik-turun.

        3. Di menu tarik-turun, pilih Pilih grup keamanan.

        4. Cari grup keamanan domain Anda.

          Nama grup keamanan memiliki formatsecurity-group-for-inbound-nfs-domain-id. Untuk petunjuk tentang cara mendapatkan ID domain Anda, lihatLihat domain.

        5. Pilih Tambahkan grup keamanan.

Menambahkan sistem file kustom ke domain dengan AWS CLI

Untuk menambahkan sistem file kustom ke domain atau profil pengguna dengan AWS CLI, Anda meneruskan CustomFileSystemConfigs definisi ketika Anda menggunakan salah satu perintah berikut:

Contoh berikut menunjukkan cara menambahkan sistem file ke domain atau profil pengguna yang ada.

Untuk menambahkan sistem file yang dapat diakses di ruang bersama

  • Perbarui pengaturan ruang default untuk domain Anda. Contoh berikut menambahkan pengaturan sistem file ke pengaturan ruang default:

    aws sagemaker update-domain --domain-id domain-id \
--default-space-settings file://file-system-settings.json

    Contoh ini melewati konfigurasi sistem file sebagai file JSON, yang ditunjukkan dalam contoh selanjutnya.

Untuk menambahkan sistem file yang dapat diakses di ruang pribadi

  • Perbarui pengaturan pengguna default untuk domain Anda. Contoh berikut menambahkan pengaturan sistem file ke pengaturan pengguna default:

    aws sagemaker update-domain --domain-id domain-id \
--default-user-settings file://file-system-settings.json

    Contoh ini melewati konfigurasi sistem file sebagai file JSON, yang ditunjukkan dalam contoh selanjutnya.

Untuk menambahkan sistem file yang hanya dapat diakses oleh pengguna individu

  • Perbarui profil pengguna untuk pengguna. Contoh berikut menambahkan pengaturan sistem file ke profil pengguna:

    aws sagemaker update-user-profile --domain-id domain-id \
--user-profile-name user-profile-name \
--user-settings file://file-system-settings.json

    Contoh ini melewati konfigurasi sistem file sebagai file JSON, yang ditunjukkan dalam contoh berikut.

contoh berkas pengaturan sistem berkas

File dalam contoh sebelumnya,file-system-settings.json, memiliki pengaturan berikut:

For your FSx for Lustre file systems
{
    "CustomFileSystemConfigs":
    [
        {
            "FSxLustreFileSystemConfig":
            {
              "FileSystemId": "file-system-id",
              "FileSystemPath": "/"
            }
        }
    ]
}

Konfigurasi contoh ini memiliki kunci berikut:

CustomFileSystemConfigs

Pengaturan untuk sistem file khusus (hanya sistem file Amazon EFS yang didukung).

FSxLustreFileSystemConfig

Pengaturan untuk kustom FSx untuk sistem file Lustre.

FileSystemId

ID sistem file Amazon EFS Anda.

FileSystemPath

Jalur ke direktori sistem file yang dapat diakses oleh pengguna domain di ruang mereka di Studio. Pengguna yang diizinkan hanya dapat mengakses direktori ini dan di bawahnya. Jalur default adalah root sistem file:/.

For your Amazon EFS file systems
{
    "CustomFileSystemConfigs":
    [
        {
            "EFSFileSystemConfig":
            {
                "FileSystemId": "file-system-id",
                "FileSystemPath": "/"
            }
        }
    ]
}

Konfigurasi contoh ini memiliki kunci berikut:

CustomFileSystemConfigs

Pengaturan untuk sistem file khusus (hanya sistem file Amazon EFS yang didukung).

EFSFileSystemConfig

Pengaturan untuk sistem file Amazon EFS khusus.

FileSystemId

ID sistem file Amazon EFS Anda.

FileSystemPath

Jalur ke direktori sistem file yang dapat diakses oleh pengguna domain di ruang mereka di Studio. Pengguna yang diizinkan hanya dapat mengakses direktori ini dan di bawahnya. Jalur default adalah root sistem file:/.

Saat Anda menetapkan sistem file ke pengaturan ruang default untuk domain, Anda juga harus menyertakan peran eksekusi dalam pengaturan:

{
    "ExecutionRole": "execution-role-arn"
}

Konfigurasi contoh ini memiliki kunci berikut:

ExecutionRole

Peran eksekusi default untuk pengguna domain.

Jika Anda ingin menerapkan izin POSIX untuk sistem file Anda, Anda juga dapat meneruskan pengaturan berikut ke perintah create-domain ataucreate-user-profile:

{
    "CustomPosixUserConfig":
    {
        "Uid": UID,
        "Gid": GID
    }
}

Konfigurasi contoh ini memiliki kunci berikut:

CustomPosixUserConfig

Identitas POSIX default yang digunakan untuk operasi sistem file. Anda dapat menggunakan pengaturan ini untuk menerapkan struktur izin POSIX yang ada ke profil pengguna yang mengakses sistem file kustom. Pada tingkat izin POSIX, Anda dapat mengontrol pengguna mana yang dapat mengakses sistem file dan file atau data mana yang dapat mereka akses.

Anda juga dapat menerapkan CustomPosixUserConfig pengaturan saat membuat profil pengguna dengan menggunakan create-user-profile perintah. Pengaturan yang Anda terapkan ke profil pengguna akan menggantikan pengaturan yang Anda terapkan ke domain terkait.

catatan

Anda dapat menerapkan CustomPosixUserConfig pengaturan saat Anda menggunakan create-user-profile perintah create-domain dan. Namun, Anda tidak dapat menerapkan pengaturan ini ketika Anda melakukan hal berikut:

  • Gunakan update-domain perintah untuk domain yang sudah dikaitkan dengan profil pengguna apa pun. Anda dapat menerapkan pengaturan ini hanya untuk domain yang tidak memiliki profil pengguna.

  • Gunakan perintah update-user-profile. Untuk menerapkan pengaturan ini ke profil yang telah Anda buat, hapus profil, dan buat yang baru yang memiliki pengaturan yang diperbarui.

Uid

ID pengguna POSIX. Defaultnya adalah 200001.

Gid

ID grup POSIX. Defaultnya adalah 1001.

Melampirkan sistem file kustom ke spasi dengan AWS CLI

Setelah Anda menambahkan sistem file kustom ke domain, pengguna domain dapat melampirkan sistem file ke spasi yang mereka buat. Misalnya, mereka dapat melampirkan sistem file ketika mereka menggunakan Studio atau perintah create-space dengan file. AWS CLI

Untuk melampirkan sistem file kustom ke spasi

  • Tambahkan konfigurasi sistem file ke pengaturan ruang. Contoh perintah berikut melampirkan sistem file ke ruang baru.

    aws sagemaker create-space \
--space-name space-name \
--domain-id domain-id \
--ownership-settings "OwnerUserProfileName=user-profile-name" \
--space-sharing-settings "SharingType=Private" \
--space-settings file://space-settings.json

    Dalam contoh ini, file space-settings.json memiliki pengaturan berikut, yang mencakup CustomFileSystems konfigurasi dengan FileSystemId kunci.

    For your FSx for Lustre file systems
    {
    "AppType": "JupyterLab",
    "JupyterLabAppSettings":
    {
        "DefaultResourceSpec":
        {
          "InstanceType": "instance-type"
        }
    },
    "CustomFileSystems":
    [
        {
            "FSxLustreFileSystem":
            {
              "FileSystemId": "file-system-id"
            }
        }
    ]
}
    For your Amazon EFS file systems
    {
    "AppType": "JupyterLab",
    "JupyterLabAppSettings":
    {
        "DefaultResourceSpec":
        {
            "InstanceType": "instance-type"
        }
    },
    "CustomFileSystems":
    [
        {
            "EFSFileSystem":
            {
                "FileSystemId": "file-system-id"
            }
        }
    ]
}

    SageMaker AI membuat tautan simbolis di jalur berikut:. /home/sagemaker-user/custom-file-systems/file-system-type/file-system-id Dengan ini, pengguna domain dapat menavigasi ke sistem file kustom dari dalam direktori home mereka/home/sagemaker-user.