Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Anda menggunakan perintah dataprocessing Neptune ML untuk membuat tugas pemrosesan data, memeriksa statusnya, menghentikannya, atau membuat daftar semua tugas pemrosesan data aktif.
Membuat tugas pemrosesan data menggunakan perintah dataprocessing Neptune ML
Perintah Neptunus dataprocessing ML yang khas untuk membuat pekerjaan baru terlihat seperti ini:
curl \ -X POST https://(your Neptune endpoint)/ml/dataprocessing \ -H 'Content-Type: application/json' \ -d '{ "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)", "id" : "(a job ID for the new job)", "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)" }'
Perintah untuk memulai pemrosesan ulang inkremental terlihat seperti ini:
curl \ -X POST https://(your Neptune endpoint)/ml/dataprocessing \ -H 'Content-Type: application/json' \ -d '{ "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)", "id" : "(a job ID for this job)", "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)" "previousDataProcessingJobId" : "(the job ID of a previously completed job to update)" }'
Parameter untuk pembuatan pekerjaan dataprocessing
-
id– (Opsional) Pengidentifikasi unik untuk job baru.Tipe: string. Default: UUID yang dihasilkan secara otomatis.
-
previousDataProcessingJobId— (Opsional) ID pekerjaan dari pekerjaan pemrosesan data yang telah selesai dijalankan pada versi data sebelumnya.Tipe: string. Default: tidak ada.
Catatan: Gunakan ini untuk pemrosesan data tambahan, untuk memperbarui model ketika data grafik telah berubah (tetapi tidak ketika data telah dihapus).
-
inputDataS3Location— (Wajib) URI lokasi Amazon S3 tempat Anda ingin SageMaker AI mengunduh data yang diperlukan untuk menjalankan pekerjaan pemrosesan data.Tipe: string.
-
processedDataS3Location— (Wajib) URI lokasi Amazon S3 tempat Anda ingin SageMaker AI menyimpan hasil pekerjaan pemrosesan data.Tipe: string.
-
sagemakerIamRoleArn— (Opsional) ARN dari peran IAM untuk SageMaker eksekusi AI.Tipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.
-
neptuneIamRoleArn— (Opsional) Nama Sumber Daya Amazon (ARN) dari peran IAM yang dapat diasumsikan SageMaker AI untuk melakukan tugas atas nama Anda.Tipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.
-
processingInstanceType— (Opsional) Jenis instans ML yang digunakan selama pemrosesan data. Memorinya harus cukup besar untuk menahan set data yang diproses.Tipe: string. Default:
ml.r5tipe terkecil yang memorinya sepuluh kali lebih besar dari ukuran data grafik yang diekspor pada disk.Catatan: Neptunus ML dapat memilih jenis instans secara otomatis. Lihat Memilih instance untuk pemrosesan data.
-
processingInstanceVolumeSizeInGB– (Opsional) Ukuran volume disk dari instans pemrosesan. Data input dan data yang diproses disimpan pada disk, sehingga ukuran volume harus cukup besar untuk menahan kedua set data.Tipe: integer. Default:
0.Catatan: Jika tidak ditentukan atau 0, Neptunus ML memilih ukuran volume secara otomatis berdasarkan ukuran data.
-
processingTimeOutInSeconds– (Opsional) Timeout dalam hitungan detik untuk tugas pemrosesan data.Tipe: integer. Default:
86,400(1 hari). -
modelType— (Opsional) Salah satu dari dua jenis model yang saat ini didukung Neptunus ML: model grafik heterogenheterogeneous(), dan grafik pengetahuan ().kgeTipe: string. Default: tidak ada.
Catatan: Jika tidak ditentukan, Neptunus ML memilih jenis model secara otomatis berdasarkan data.
-
configFileName– (Opsional) File spesifikasi data yang menjelaskan cara memuat data grafik yang diekspor untuk pelatihan. File secara otomatis dihasilkan oleh kit alat ekspor Neptune.Tipe: string. Default:
training-data-configuration.json. -
subnets— (Opsional) Subnet di VPC Neptunus. IDsTipe: daftar string. Default: tidak ada.
-
securityGroupIds— (Opsional) Grup keamanan VPC. IDsTipe: daftar string. Default: tidak ada.
-
volumeEncryptionKMSKey— (Opsional) Kunci AWS Key Management Service (AWS KMS) yang digunakan SageMaker AI untuk mengenkripsi data pada volume penyimpanan yang dilampirkan ke instance komputasi ML yang menjalankan tugas pemrosesan.Tipe: string. Default: tidak ada.
-
enableInterContainerTrafficEncryption— (Opsional) Aktifkan atau nonaktifkan enkripsi lalu lintas antar-kontainer dalam pelatihan atau pekerjaan penyetelan hiper-parameter.Jenis: boolean. Default: Benar.
catatan
enableInterContainerTrafficEncryptionParameter ini hanya tersedia dalam rilis mesin 1.2.0.2.R3. -
s3OutputEncryptionKMSKey— (Opsional) Kunci AWS Key Management Service (AWS KMS) yang digunakan SageMaker AI untuk mengenkripsi output dari pekerjaan pelatihan.Tipe: string. Default: tidak ada.
Mendapatkan status job pemrosesan data menggunakan perintah dataprocessing Neptune ML
Perintah dataprocessing Neptune ML sampel untuk status tugas terlihat seperti ini:
curl -s \ "https://(your Neptune endpoint)/ml/dataprocessing/(the job ID)" \ | python -m json.tool
Parameter untuk status tugas dataprocessing
-
id– (Wajib) Pengenal unik tugas pemrosesan data.Tipe: string.
-
neptuneIamRoleArn— (Opsional) ARN dari peran IAM yang menyediakan akses Neptunus ke sumber daya AI dan Amazon S3. SageMakerTipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.
Menghentikan tugas pemrosesan data menggunakan perintah dataprocessing Neptune ML
Perintah dataprocessing Neptune ML sampel untuk menghentikan tugas terlihat seperti ini:
curl -s \ -X DELETE "https://(your Neptune endpoint)/ml/dataprocessing/(the job ID)"
Atau ini:
curl -s \ -X DELETE "https://(your Neptune endpoint)/ml/dataprocessing/(the job ID)?clean=true"
Parameter untuk tugas berhenti dataprocessing
-
id– (Wajib) Pengenal unik tugas pemrosesan data.Tipe: string.
-
neptuneIamRoleArn— (Opsional) ARN dari peran IAM yang menyediakan akses Neptunus ke sumber daya AI dan Amazon S3. SageMakerTipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.
-
clean– (Opsional) Bendera ini menetapkan bahwa semua artefak Amazon S3 harus dihapus ketika tugas dihentikan.Tipe: Boolean. Default:
FALSE.
Membuat daftar tugas pemrosesan data aktif menggunakan perintah dataprocessingNeptune ML
Perintah dataprocessing Neptune ML sampel untuk membuat daftar tugas aktif terlihat seperti ini:
curl -s "https://(your Neptune endpoint)/ml/dataprocessing"
Atau ini:
curl -s "https://(your Neptune endpoint)/ml/dataprocessing?maxItems=3"
Parameter untuk tugas daftar dataprocessing
-
maxItems– (Opsional) Jumlah maksimum item yang akan dikembalikan.Tipe: integer. Default:
10. Nilai maksimum yang diperbolehkan:1024. -
neptuneIamRoleArn— (Opsional) ARN dari peran IAM yang menyediakan akses Neptunus ke sumber daya AI dan Amazon S3. SageMakerTipe: string. Catatan: Ini harus tercantum dalam grup parameter klaster DB Anda atau kesalahan akan terjadi.
