Sequence-to-Sequence Algoritma - Amazon SageMaker
Antarmuka Input/Output untuk Algoritma Sequence-to-SequenceEC2Rekomendasi Instance untuk Sequence-to-Sequence AlgoritmaContoh Notebook

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sequence-to-Sequence Algoritma

Amazon SageMaker Sequence to Sequence adalah algoritma pembelajaran yang diawasi di mana input adalah urutan token (misalnya, teks, audio) dan output yang dihasilkan adalah urutan token lainnya. Contoh aplikasi meliputi: terjemahan mesin (masukan kalimat dari satu bahasa dan prediksi apa kalimat itu dalam bahasa lain), ringkasan teks (masukkan string kata yang lebih panjang dan prediksi string kata yang lebih pendek yang merupakan ringkasan), speech-to-text (klip audio diubah menjadi kalimat keluaran dalam token). Baru-baru ini, masalah dalam domain ini telah berhasil dimodelkan dengan jaringan saraf dalam yang menunjukkan peningkatan kinerja yang signifikan dibandingkan metodologi sebelumnya. Amazon SageMaker seq2seq menggunakan model Recurrent Neural Networks (RNNs) dan Convolutional Neural Network (CNN) dengan perhatian sebagai arsitektur encoder-decoder.

Topik

Antarmuka Input/Output untuk Algoritma Sequence-to-Sequence

Pelatihan

SageMaker seq2seq mengharapkan data dalam format Recordio-Protobuf. Namun, token diharapkan sebagai bilangan bulat, bukan sebagai floating point, seperti biasanya.

Skrip untuk mengonversi data dari file teks tokenized ke format protobuf disertakan dalam notebook contoh seq2seq. Secara umum, ini mengemas data ke dalam tensor bilangan bulat 32-bit dan menghasilkan file kosakata yang diperlukan, yang diperlukan untuk perhitungan metrik dan inferensi.

Setelah preprocessing selesai, algoritma dapat dipanggil untuk pelatihan. Algoritma mengharapkan tiga saluran:

  • train: Ini harus berisi data pelatihan (misalnya, train.rec file yang dihasilkan oleh skrip preprocessing).

  • validation: Ini harus berisi data validasi (misalnya, val.rec file yang dihasilkan oleh skrip preprocessing).

  • vocab: Ini harus berisi dua file kosakata (vocab.src.jsondan) vocab.trg.json

Jika algoritme tidak menemukan data di salah satu dari ketiga saluran ini, pelatihan menghasilkan kesalahan.

Inferensi

Untuk titik akhir yang dihosting, inferensi mendukung dua format data. Untuk melakukan inferensi menggunakan token teks yang dipisahkan spasi, gunakan application/json formatnya. Jika tidak, gunakan recordio-protobuf format untuk bekerja dengan data yang dikodekan integer. Kedua mode mendukung batch data input. application/jsonformat juga memungkinkan Anda untuk memvisualisasikan matriks perhatian.

  • application/json: Mengharapkan input dalam JSON format dan mengembalikan output dalam JSON format. Jenis konten dan penerimaan harusapplication/json. Setiap urutan diharapkan menjadi string dengan token terpisah spasi. Format ini direkomendasikan ketika jumlah urutan sumber dalam batch kecil. Ini juga mendukung opsi konfigurasi tambahan berikut:

    configuration: {attention_matrix:true}: Mengembalikan matriks perhatian untuk urutan input tertentu.

  • application/x-recordio-protobuf: Mengharapkan input dalam recordio-protobuf format dan mengembalikan output dalamrecordio-protobuf format. Jenis konten dan penerimaan harusapplications/x-recordio-protobuf. Untuk format ini, urutan sumber harus diubah menjadi daftar bilangan bulat untuk pengkodean protobuf berikutnya. Format ini direkomendasikan untuk inferensi massal.

Untuk transformasi batch, inferensi mendukung format JSON Garis. Transformasi Batch mengharapkan input dalam format JSON Garis dan mengembalikan output dalam format JSON Garis. Jenis konten dan penerimaan harusapplication/jsonlines. Format untuk input adalah sebagai berikut:

content-type: application/jsonlines

{"source": "source_sequence_0"}
{"source": "source_sequence_1"}

Format tanggapan adalah sebagai berikut:

accept: application/jsonlines

{"target": "predicted_sequence_0"}
{"target": "predicted_sequence_1"}

Untuk detail tambahan tentang cara membuat serial dan deserialisasi input dan output ke format tertentu untuk inferensi, lihat. Sequence-to-Sequence Contoh Notebook

EC2Rekomendasi Instance untuk Sequence-to-Sequence Algoritma

Algoritma Amazon SageMaker seq2seq hanya mendukung jenis GPU instans dan hanya dapat melatih pada satu mesin. Namun, Anda dapat menggunakan instance dengan beberapaGPUs. Algoritma seq2seq mendukung keluarga instance P2, P3, G4dn, dan G5. GPU

Sequence-to-Sequence Contoh Notebook

Untuk contoh buku catatan yang menunjukkan cara menggunakan algoritma Sequence to SageMaker Sequence untuk melatih model terjemahan Inggris-Jerman, lihat Contoh Bahasa Inggris-Jerman Terjemahan Mesin Menggunakan Seq2Seq. SageMaker Untuk petunjuk cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan contoh, lihat. SageMaker Instans SageMaker Notebook Amazon Setelah Anda membuat instance notebook dan membukanya, pilih tab SageMakerContoh untuk melihat daftar semua SageMaker sampel. Contoh buku catatan pemodelan topik yang menggunakan NTM algoritme terletak di bagian Pengantar Algoritma Amazon. Untuk membuka buku catatan, klik tab Use dan pilih Create copy.