Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Transformasi Batch untuk inferensi dengan Amazon AI SageMaker
Gunakan transformasi batch saat Anda perlu:
+ Melakukan pemrosesan awal set data untuk menghilangkan derau atau bias dari set data Anda yang dapat mengganggu pelatihan atau inferensi.
+ Mendapatkan inferensi dari set data berukuran besar.
+ Menjalankan inferensi saat Anda tidak membutuhkan titik akhir persisten.
+ Mengaitkan catatan input dengan inferensi untuk membantu interpretasi hasil.
Untuk memfilter data input sebelum melakukan inferensi atau untuk mengaitkan catatan input dengan kesimpulan tentang catatan tersebut, lihat. [Mengaitkan Hasil Prediksi dengan Catatan Input](batch-transform-data-processing.md) Misalnya, Anda dapat memfilter data input untuk menyediakan konteks untuk membuat dan menafsirkan laporan tentang data keluaran.
**Topics**
+ [Gunakan transformasi batch untuk mendapatkan kesimpulan dari kumpulan data besar](#batch-transform-large-datasets)
+ [Mempercepat pekerjaan transformasi batch](#batch-transform-reduce-time)
+ [Gunakan transformasi batch untuk menguji varian produksi](#batch-transform-test-variants)
+ [Buku catatan sampel transformasi Batch](#batch-transform-notebooks)
+ [Mengaitkan Hasil Prediksi dengan Catatan Input](batch-transform-data-processing.md)
+ [Penyimpanan dalam Transformasi Batch](batch-transform-storage.md)
+ [Pemecahan masalah](batch-transform-errors.md)
## Gunakan transformasi batch untuk mendapatkan kesimpulan dari kumpulan data besar
Transformasi Batch secara otomatis mengelola pemrosesan kumpulan data besar dalam batas parameter yang ditentukan. Misalnya, memiliki file dataset,`input1.csv`, disimpan dalam bucket S3. Isi file input mungkin terlihat seperti contoh berikut.
```
Record1-Attribute1, Record1-Attribute2, Record1-Attribute3, ..., Record1-AttributeM
Record2-Attribute1, Record2-Attribute2, Record2-Attribute3, ..., Record2-AttributeM
Record3-Attribute1, Record3-Attribute2, Record3-Attribute3, ..., Record3-AttributeM
...
RecordN-Attribute1, RecordN-Attribute2, RecordN-Attribute3, ..., RecordN-AttributeM
```
Saat pekerjaan transformasi batch dimulai, SageMaker AI memulai instance komputasi dan mendistribusikan inferensi atau beban kerja pra-pemrosesan di antara mereka. Batch Transform mempartisi objek Amazon S3 dalam input dengan kunci dan memetakan objek Amazon S3 ke instance. Ketika Anda memiliki beberapa file, satu contoh mungkin memproses`input1.csv`, dan contoh lain mungkin memproses file bernama`input2.csv`. Jika Anda memiliki satu file input tetapi menginisialisasi beberapa instance komputasi, hanya satu instance yang memproses file input. Sisa contoh menganggur.
Anda juga dapat membagi file input menjadi mini-batch. Misalnya, Anda dapat membuat mini-batch dari `input1.csv` dengan menyertakan hanya dua catatan.
```
Record3-Attribute1, Record3-Attribute2, Record3-Attribute3, ..., Record3-AttributeM
Record4-Attribute1, Record4-Attribute2, Record4-Attribute3, ..., Record4-AttributeM
```
**catatan**
SageMaker AI memproses setiap file input secara terpisah. Itu tidak menggabungkan mini-batch dari file input yang berbeda untuk memenuhi batas. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB )
Untuk membagi file input menjadi mini-batch saat Anda membuat pekerjaan transformasi batch, tetapkan nilai [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType )parameter ke. `Line` SageMaker AI menggunakan seluruh file input dalam satu permintaan ketika:
+ `SplitType`diatur ke`None`.
+ File input tidak dapat dibagi menjadi mini-batch.
. Perhatikan bahwa Batch Transform tidak mendukung input berformat CSV yang berisi karakter baris baru yang disematkan. Anda dapat mengontrol ukuran mini-batch dengan menggunakan parameter `[BatchStrategy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-BatchStrategy)` dan`[MaxPayloadInMB](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-MaxPayloadInMB)`. `MaxPayloadInMB`tidak boleh lebih besar dari 100 MB. Jika Anda menentukan `[MaxConcurrentTransforms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-MaxConcurrentTransforms)` parameter opsional, maka nilai juga `(MaxConcurrentTransforms * MaxPayloadInMB)` harus tidak melebihi 100 MB.
Jika pekerjaan transformasi batch berhasil memproses semua catatan dalam file input, itu akan membuat file output. File output memiliki nama dan ekstensi `.out` file yang sama. Untuk beberapa file input, seperti `input1.csv` dan`input2.csv`, file output diberi nama `input1.csv.out` dan`input2.csv.out`. Pekerjaan transformasi batch menyimpan file output di lokasi yang ditentukan di Amazon S3, seperti. `s3://amzn-s3-demo-bucket/output/`
Prediksi dalam file output terdaftar dalam urutan yang sama dengan catatan yang sesuai dalam file input. File output`input1.csv.out`, berdasarkan file input yang ditunjukkan sebelumnya, akan terlihat seperti berikut ini.
```
Inference1-Attribute1, Inference1-Attribute2, Inference1-Attribute3, ..., Inference1-AttributeM
Inference2-Attribute1, Inference2-Attribute2, Inference2-Attribute3, ..., Inference2-AttributeM
Inference3-Attribute1, Inference3-Attribute2, Inference3-Attribute3, ..., Inference3-AttributeM
...
InferenceN-Attribute1, InferenceN-Attribute2, InferenceN-Attribute3, ..., InferenceN-AttributeM
```
Jika Anda mengatur [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType )ke`Line`, Anda dapat mengatur [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-AssembleWith ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-AssembleWith )parameter `Line` untuk menggabungkan catatan output dengan pembatas baris. Ini tidak mengubah jumlah file output. Jumlah file output sama dengan jumlah file input, dan menggunakan `AssembleWith` tidak menggabungkan file. Jika Anda tidak menentukan `AssembleWith` parameter, catatan keluaran digabungkan dalam format biner secara default.
Ketika data input sangat besar dan ditransmisikan menggunakan HTTP chunked encoding, untuk mengalirkan data ke algoritma, diatur ke. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB)`0` Algoritma bawaan Amazon SageMaker AI tidak mendukung fitur ini.
Untuk informasi tentang penggunaan API untuk membuat pekerjaan transformasi batch, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)API. Untuk informasi selengkapnya tentang hubungan antara objek input dan output transformasi batch, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_OutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_OutputDataConfig.html). Untuk contoh cara menggunakan transformasi batch, lihat[(Opsional) Buat Prediksi dengan Batch Transform](ex1-model-deployment.md#ex1-batch-transform).
## Mempercepat pekerjaan transformasi batch
Jika Anda menggunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)API, Anda dapat mengurangi waktu yang diperlukan untuk menyelesaikan pekerjaan transformasi batch dengan menggunakan nilai optimal untuk parameter. Ini termasuk parameter seperti [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB), [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxConcurrentTransforms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxConcurrentTransforms), atau [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-BatchStrategy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-BatchStrategy). Nilai ideal untuk `MaxConcurrentTransforms` sama dengan jumlah pekerja komputasi dalam pekerjaan transformasi batch.
Jika Anda menggunakan konsol SageMaker AI, tentukan nilai parameter optimal ini di bagian **Konfigurasi tambahan** pada halaman **konfigurasi pekerjaan transformasi Batch**. SageMaker AI secara otomatis menemukan pengaturan parameter optimal untuk algoritme bawaan. Untuk algoritme kustom, berikan nilai-nilai ini melalui titik akhir parameter [eksekusi](https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-batch-code.html#your-algorithms-batch-code-how-containe-serves-requests).
## Gunakan transformasi batch untuk menguji varian produksi
Untuk menguji model atau pengaturan hyperparameter yang berbeda, buat pekerjaan transformasi terpisah untuk setiap varian model baru dan gunakan kumpulan data validasi. Untuk setiap tugas transformasi, tentukan nama model dan lokasi unik di Amazon S3 untuk file keluaran. Untuk menganalisis hasil, gunakan[Log dan Metrik Pipa Inferensi](inference-pipeline-logs-metrics.md).
## Buku catatan sampel transformasi Batch
Untuk contoh notebook yang menggunakan batch transform, lihat Batch Transform [with PCA dan DBSCAN](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker_batch_transform/introduction_to_batch_transform/batch_transform_pca_dbscan_movie_clusters.html) Movie Clusters. Notebook ini menggunakan transformasi batch dengan model analisis komponen utama (PCA) untuk mengurangi data dalam matriks tinjauan item pengguna. Ini kemudian menunjukkan penerapan pengelompokan spasial berbasis kepadatan aplikasi dengan algoritma noise (DBSCAN) untuk mengelompokkan film.
Untuk petunjuk cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan contoh di SageMaker AI, lihat. [Instans SageMaker notebook Amazon](nbi.md) Setelah membuat dan membuka instance notebook, pilih tab **SageMakerContoh** untuk melihat daftar semua contoh SageMaker AI. **Notebook contoh pemodelan topik yang menggunakan algoritma NTM terletak di bagian Fungsionalitas lanjutan.** Untuk membuka buku catatan, pilih tab **Use**, lalu pilih **Buat salinan**.