Pelatihan model menggunakan perintah modeltraining - Amazon Neptune
Membuat tugas pelatihan modelDapatkan status tugasMenghentikan tugasMembuat daftar pekerjaan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pelatihan model menggunakan perintah modeltraining

Anda menggunakan perintah modeltraining Neptune ML untuk membuat tugas pelatihan model, memeriksa statusnya, menghentikannya, atau membuat daftar semua tugas pelatihan model aktif.

Membuat tugas pelatihan model menggunakan perintah modeltraining Neptune ML

modeltrainingPerintah Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltraining
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "dataProcessingJobId" : "(the data-processing job-id of a completed job)",
        "trainModelS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-graph-autotrainer"
      }'

modeltrainingPerintah Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Nep

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltraining
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "dataProcessingJobId" : "(the data-processing job-id of a completed job)",
        "trainModelS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-graph-autotrainer"
        "previousModelTrainingJobId" : "(the job ID of a completed model-training job to update)",
      }'

modeltrainingPerintah Neptune untuk membuat pekerjaan baru dengan implementasi model kustom yang disediakan pengguna terlihat seperti: 

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltraining
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "dataProcessingJobId" : "(the data-processing job-id of a completed job)",
        "trainModelS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-graph-autotrainer"
        "modelName": "custom",
        "customModelTrainingParameters" : {
          "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)",
          "trainingEntryPointScript": "(your training script entry-point name in the Python module)",
          "transformEntryPointScript": "(your transform script entry-point name in the Python module)"
        }
      }'
Parameter untuk pembuatan pekerjaan modeltraining

  • id   –   (Opsional) Pengidentifikasi unik untuk job baru.

    Tipe: string. Default: UUID yang dihasilkan secara otomatis.

  • dataProcessingJobId   –   (Wajib) Tugas ID dari tugas pemrosesan data yang telah selesai yang telah membuat data yang akan dikerjakan oleh pelatihan.

    Tipe: string.

  • trainModelS3Location   –   (Wajib) Lokasi di Amazon S3 di mana artefak model akan disimpan.

    Tipe: string.

  • previousModelTrainingJobId- (Opsional) ID pekerjaan pekerjaan model-pelatihan selesai yang ingin Anda perbarui secara bertahap berdasarkan data yang diperbarui.

    Tipe: string. Default: tidak ada.

  • sagemakerIamRoleArn- (Opsional) ARN peran IAM untuk SageMaker eksekusi.

    Tipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.

  • neptuneIamRoleArn— (Opsional) ARN peran IAM yang menyediakan akses Neptune ke SageMaker dan sumber daya Amazon S3.

    Tipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.

  • modelName   –   (Opsional) Jenis model untuk pelatihan. Secara default model ML secara otomatis didasarkan pada modelType yang digunakan dalam pemrosesan data, tetapi Anda dapat menentukan jenis model yang berbeda di sini.

    Tipe: string. Default: rgcn untuk grafik heterogen dan kge untuk grafik pengetahuan. Nilai yang valid: Untuk grafik heterogen: rgcn. Untukkge grafik:transe,distmult, ataurotate. Untuk implementasi model kustom:custom.

  • baseProcessingInstanceType— (Opsional) Jenis instans ML yang digunakan dalam mempersiapkan dan mengelola pelatihan model ML.

    Tipe: string. Catatan: Ini adalah instance CPU yang dipilih berdasarkan persyaratan memori untuk memproses data dan model pelatihan. Lihat Memilih instance untuk pelatihan model dan transformasi model.

  • trainingInstanceType   –   (Opsional) Jenis instans ML yang digunakan untuk pelatihan model Semua model Neptune ML mendukung pelatihan CPU, GPU, dan MultiGPU.

    Tipe: string. Default: ml.p3.2xlarge.

    Catatan: Memilih jenis instans yang tepat untuk pelatihan tergantung pada jenis tugas, ukuran grafik, dan anggaran Anda. Lihat Memilih instance untuk pelatihan model dan transformasi model.

  • trainingInstanceVolumeSizeInGB   –   (Opsional) Ukuran volume disk dari instans pelatihan. Input data dan model output disimpan dalam disk, sehingga ukuran volume harus cukup besar untuk menahan kedua set data.

    Tipe: integer. Default: 0.

    Catatan: Jika tidak ditentukan atau 0, Neptune MLmemilih ukuran volume disk berdasarkan rekomendasi yang dihasilkan dalam langkah pemrosesan data. Lihat Memilih instance untuk pelatihan model dan transformasi model.

  • trainingTimeOutInSeconds   –   (Opsional) Timeout dalam hitungan detik untuk tugas pelatihan.

    Tipe: integer. Default: 86,400 (1 hari).

  • maxHPONumberOfTrainingJobs   –   Jumlah total maksimum dari tugas pelatihan untuk memulai tugas penyetelan hyperparameter.

    Tipe: integer. Default: 2.

    Catatan: Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Neptune Untuk mendapatkan model yang berperforma baik, setidaknya gunakan setidaknya 10 tugas (dengan kata lain, mengaturmaxHPONumberOfTrainingJobs ke 10). Secara umum, semakin banyak hasilnya hasilnya.

  • maxHPOParallelTrainingJobs   –   Jumlah maksimum dari tugas pelatihan untuk memulai tugas penyetelan hyperparameter.

    Tipe: integer. Default: 2.

    Catatan: Jumlah pekerjaan parallel yang dapat Anda jalankan dibatasi oleh sumber daya yang tersedia pada instans pelatihan Anda.

  • subnets   –   (Opsional) ID dari subnet dalam VPC Neptune.

    Tipe: daftar string. Default: tidak ada.

  • securityGroupIds   –   (Opsional) ID grup keamanan VPC.

    Tipe: daftar string. Default: tidak ada.

  • volumeEncryptionKMSKey— (Opsional) KunciAWS Key Management Service (AWS KMS) Kunci () yang SageMaker digunakan untuk mengenkripsi data pada volume penyimpanan yang melekat pada instans komputasi Nepak.

    Tipe: string. Default: tidak ada.

  • s3OutputEncryptionKMSKey- (OpsionalAWS KMS) KunciAWS Key Management Service () yang SageMaker digunakan untuk mengenkripsi output dari pekerjaan pemrosesan.

    Tipe: string. Default: tidak ada.

  • enableInterContainerTrafficEncryption- (Opsional) Mengaktifkan atau menonaktifkan enkripsi lalu lintas antar-kontainer dalam pelatihan atau pekerjaan penyetelan hiper-parameter.

    Jenis: boolean. Default: Benar.

    catatan

    enableInterContainerTrafficEncryptionParameter ini hanya tersedia dalam rilis mesin 1.2.0.2.R3.

  • enableManagedSpotTraining— (Opsional) Mengoptimalkan biaya model machine learning pelatihan dengan menggunakan instans spot Amazon Elastic Compute Cloud. Untuk informasi lebih lanjut, lihat Dikelola Spot Training di Amazon SageMaker

    Tipe: Boolean. Default: Salah.

  • customModelTrainingParameters- (Opsional) Konfigurasi untuk pelatihan model khusus. Ini adalah objek JSON objek JSON dengan bidang-bidang berikut:

    • sourceS3DirectoryPath— (Diperlukan) Jalur ke lokasi Amazon S3 tempat modul Python yang mengimplementasikan model Anda berada. Ini harus mengarah ke lokasi Amazon S3 yang valid yang berisi, minimal, skrip pelatihan, skrip transformasi, danmodel-hpo-configuration.json file.

    • trainingEntryPointScript- (Opsional) Nama titik masuk dalam modul skrip Anda yang melakukan pelatihan model dan mengambil hyperparameter sebagai argumen baris perintah, termasuk hyperparameter tetap.

      Default: training.py.

    • transformEntryPointScript- (Opsional) Nama titik masuk dalam modul skrip Anda yang harus dijalankan setelah model terbaik dari pencarian hyperparameter telah diidentifikasi, untuk menghitung artefak model yang diperlukan untuk penerapan model. Seharusnya bisa berjalan tanpa argumen baris perintah.

      Default: transform.py.

  • maxWaitTime- (Opsional) Waktu maksimum untuk menunggu, dalam hitungan detik, saat melakukan pelatihan model menggunakan instance spot. Harus lebih besar daritrainingTimeOutInSeconds.

    Tipe: integer.

Mendapatkan status tugas pelatihan model menggunakan perintah modeltraining Neptune ML

Perintah modeltraining Neptune ML sampel untuk status tugas terlihat seperti ini:

curl -s \
  "https://(your Neptune endpoint)/ml/modeltraining/(the job ID)" \
  | python -m json.tool
Parameter untuk status tugas modeltraining

  • id   –   (Wajib) Pengenal unik tugas pelatihan model.

    Tipe: string.

  • neptuneIamRoleArn— (Opsional) ARN peran IAM yang menyediakan akses Neptune ke SageMaker dan sumber daya Amazon S3.

    Tipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.

Menghentikan tugas pelatihan model menggunakan perintah modeltraining Neptune ML

Perintah modeltraining Neptune ML sampel untuk menghentikan tugas terlihat seperti ini:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltraining/(the job ID)"

Atau ini:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltraining/(the job ID)?clean=true"
Parameter untuk tugas berhenti modeltraining

  • id   –   (Wajib) Pengenal unik tugas pelatihan model.

    Tipe: string.

  • neptuneIamRoleArn— (Opsional) ARN peran IAM yang menyediakan akses Neptune ke SageMaker dan sumber daya Amazon S3.

    Tipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.

  • clean   –   (Opsional) Bendera ini menetapkan bahwa semua artefak Amazon S3 harus dihapus ketika tugas dihentikan.

    Tipe: Boolean. Default: FALSE.

Mendaftar tugas pelatihan model aktif menggunakan perintah modeltraining Neptune ML

Perintah modeltraining Neptune ML sampel untuk membuat daftar tugas aktif terlihat seperti ini:

curl -s "https://(your Neptune endpoint)/ml/modeltraining" | python -m json.tool

Atau ini:

curl -s "https://(your Neptune endpoint)/ml/modeltraining?maxItems=3" | python -m json.tool
Parameter untuk tugas daftar modeltraining

  • maxItems   –   (Opsional) Jumlah maksimum item yang akan dikembalikan.

    Tipe: integer. Default: 10. Nilai maksimum yang diperbolehkan: 1024.

  • neptuneIamRoleArn— (Opsional) ARN peran IAM yang menyediakan akses Neptune ke SageMaker dan sumber daya Amazon S3.

    Tipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.