Menyalin CSV data skala besar menggunakan Peta Terdistribusi di Step Functions

1. Buka Konsol Step Functions dan pilih Buat mesin status.

2. Dalam kotak dialog Pilih templat, pilih Kosong.

3. Pilih Pilih untuk membuka Workflow Studio diMode desain.

4. Dari tab Flow, seret status Peta dan jatuhkan ke status kosong berlabel Seret status pertama di sini.

5. Di tab Konfigurasi, untuk nama Negara, masukkanProcess data.

6. Dari tab Tindakan, seret AWS Lambda Memanggil API tindakan dan menjatuhkannya di dalam status data Proses.

7. Ganti nama AWS Lambda Memanggil status keProcess CSV data.

Untuk mengkonfigurasi bidang yang diperlukan:

1. Pilih status data Proses dan, di tab Konfigurasi, lakukan hal berikut:

   1. Untuk mode Pemrosesan, pilih Didistribusikan.

   2. Untuk Sumber item, pilih Amazon S3, lalu pilih CSVfile di S3 dari daftar tarik-turun sumber item S3.

   3. Lakukan hal berikut untuk menentukan lokasi Amazon S3 file AndaCSV:

      1. Untuk objek S3, pilih Masukkan bucket dan kunci dari daftar dropdown.

      2. Untuk Bucket, masukkan nama bucket Amazon S3, yang berisi file. CSV Misalnya, amzn-s3-demo-source-bucket.

      3. Untuk Kunci, masukkan nama objek Amazon S3 tempat Anda menyimpan file. CSV Anda juga harus menentukan nama CSV file di bidang ini. Misalnya, csvDataset/ratings.csv.

   4. Untuk CSV file, Anda juga harus menentukan lokasi header kolom. Untuk melakukan ini, pilih Konfigurasi tambahan, dan kemudian untuk lokasi CSV header pertahankan pilihan default Baris pertama jika baris pertama CSV file Anda adalah header. Jika tidak, pilih Diberikan untuk menentukan header dalam definisi mesin negara. Untuk informasi selengkapnya, lihat ReaderConfig.

   5. Untuk jenis eksekusi Child, pilih Express.

2. Di lokasi Ekspor, untuk mengekspor hasil Map Run ke lokasi Amazon S3 tertentu, pilih Ekspor output status Peta ke Amazon S3.

3. Lakukan hal-hal berikut:

   1. Untuk bucket S3, pilih Masukkan nama bucket dan awalan dari daftar dropdown.

   2. Untuk Bucket, masukkan nama bucket Amazon S3 tempat Anda ingin mengekspor hasilnya. Misalnya, mapOutputs.

   3. Untuk Awalan, masukkan nama folder tempat Anda ingin menyimpan hasilnya. Misalnya, resultData.

1. Pilih status data Proses. Kemudian, di Sumber item, pilih Konfigurasi tambahan.

2. Lakukan hal-hal berikut:

   1. Pilih Ubah item dengan ItemSelector untuk menentukan JSON input khusus untuk setiap eksekusi alur kerja anak.

   2. Masukkan JSON masukan berikut:

      {
        "index.$": "$$.Map.Item.Index",
        "value.$": "$$.Map.Item.Value"
      }

      Untuk informasi tentang cara membuat input kustom, lihatItemSelector (Peta).

3. Dalam pengaturan Runtime, untuk batas Konkurensi, tentukan jumlah eksekusi alur kerja turunan bersamaan yang dapat dimulai oleh status Peta Terdistribusi. Misalnya, masukkan 100.

4. Buka jendela atau tab baru di browser Anda dan selesaikan konfigurasi fungsi Lambda yang akan Anda gunakan dalam alur kerja ini, seperti yang dijelaskan di. Langkah 4: Konfigurasikan fungsi Lambda

1. Buka konsol Lambda dan pilih Create Function.

2. Pilih halaman Buat fungsi, pilih Penulis dari scratch.

3. Di bagian Informasi dasar, konfigurasikan fungsi Lambda Anda:

   1. Untuk Nama fungsi, masukkan distributedMapLambda.

   2. Untuk Runtime, pilih Node.js.

   3. Simpan semua pilihan default dan pilih Create function.

   4. Setelah Anda membuat fungsi Lambda, salin Amazon Resource Name (ARN) fungsi yang ditampilkan di sudut kanan atas halaman. Anda harus menyediakan ini dalam prototipe alur kerja Anda. Berikut ini adalah contohARN:

      arn:aws:lambda:us-east-2:123456789012:function:distributedMapLambda

4. Salin kode berikut untuk fungsi Lambda dan tempel ke bagian Sumber kode halaman. distributedMapLambda

   exports.handler = async function(event, context) {
       console.log("Received Input:\n", event);
   
       return {
           'statusCode' : 200,
           'inputReceived' : event //returns the input that it received
       }
   };

5. Pilih Deploy. Setelah fungsi Anda di-deploy, pilih Test untuk melihat output dari fungsi Lambda Anda.

1. Kembali ke tab atau jendela tempat Anda membuat prototipe alur kerja.

2. Pilih langkah Proses CSV data, dan di tab Konfigurasi, lakukan hal berikut:

   1. Untuk jenis Integrasi, pilih Dioptimalkan.

   2. Untuk nama Fungsi, mulailah memasukkan nama fungsi Lambda Anda. Pilih fungsi dari daftar dropdown yang muncul, atau pilih Masukkan nama fungsi dan berikan fungsi Lambda. ARN

1. (Opsional) Pilih Definisi pada Panel Inspector panel dan lihat definisi mesin status.

   Tip

   Anda juga dapat melihat ASL definisi di Editor kode Workflow Studio. Di editor kode, Anda juga dapat mengedit ASL definisi alur kerja Anda.

   Kode contoh berikut menunjukkan definisi Bahasa Negara Amazon yang dibuat secara otomatis untuk alur kerja Anda.

   {
     "Comment": "Using Map state in Distributed mode",
     "StartAt": "Process data",
     "States": {
       "Process data": {
         "Type": "Map",
         "MaxConcurrency": 100,
         "ItemReader": {
           "ReaderConfig": {
             "InputType": "CSV",
             "CSVHeaderLocation": "FIRST_ROW"
           },
           "Resource": "arn:aws:states:::s3:getObject",
           "Parameters": {
             "Bucket": "amzn-s3-demo-source-bucket",
             "Key": "csvDataset/ratings.csv"
           }
         },
         "ItemProcessor": {
           "ProcessorConfig": {
             "Mode": "DISTRIBUTED",
             "ExecutionType": "EXPRESS"
           },
           "StartAt": "Process CSV data",
           "States": {
             "Process CSV data": {
               "Type": "Task",
               "Resource": "arn:aws:states:::lambda:invoke",
               "OutputPath": "$.Payload",
               "Parameters": {
                 "Payload.$": "$",
                 "FunctionName": "arn:aws:lambda:us-east-2:123456789012:function:distributedMapLambda"
               },
               "End": true
             }
           }
         },
         "Label": "Processdata",
         "End": true,
         "ResultWriter": {
           "Resource": "arn:aws:states:::s3:putObject",
           "Parameters": {
             "Bucket": "mapOutputs",
             "Prefix": "resultData"
           }
         },
         "ItemSelector": {
           "index.$": "$$.Map.Item.Index",
           "value.$": "$$.Map.Item.Value"
         }
       }
     }
   }

2. Tentukan nama untuk mesin negara Anda. Untuk melakukan ini, pilih ikon edit di sebelah nama mesin status default MyStateMachine. Kemudian, dalam konfigurasi mesin Negara, tentukan nama di kotak Nama mesin Negara.

   Untuk tutorial ini, masukkan nama DistributedMapDemo.

3. (Opsional) Dalam konfigurasi mesin State, tentukan pengaturan alur kerja lainnya, seperti jenis mesin status dan peran pelaksanaannya.

   Untuk tutorial ini, simpan semua pilihan default dalam konfigurasi mesin State.

4. Dalam kotak dialog Konfirmasi pembuatan peran, pilih Konfirmasi untuk melanjutkan.

   Anda juga dapat memilih Lihat pengaturan peran untuk kembali ke konfigurasi mesin Status.

   catatan

   Jika Anda menghapus IAM peran yang dibuat Step Functions, Step Functions tidak dapat membuatnya kembali nanti. Demikian pula, jika Anda mengubah peran (misalnya, dengan menghapus Step Functions dari prinsipal dalam IAM kebijakan), Step Functions tidak dapat memulihkan pengaturan aslinya nanti.

1. Pada DistributedMapDemohalaman, pilih Mulai eksekusi.

2. Dalam kotak dialog Mulai eksekusi, lakukan hal berikut:

   1. (Opsional) Masukkan nama eksekusi khusus untuk mengganti default yang dihasilkan.

      Non- ASCII nama dan logging

      Step Functions menerima nama untuk mesin negara, eksekusi, aktivitas, dan label yang berisi ASCII non-karakter. Karena karakter seperti itu tidak akan berfungsi dengan Amazon CloudWatch, kami sarankan hanya menggunakan ASCII karakter sehingga Anda dapat melacak metrik. CloudWatch

   2. (Opsional) Dalam kotak Input, masukkan nilai input dalam JSON format untuk menjalankan alur kerja Anda.

   3. Pilih Mulai Eksekusi.

   4. Konsol Step Functions mengarahkan Anda ke halaman yang berjudul dengan ID eksekusi Anda. Halaman ini dikenal sebagai halaman Detail Eksekusi. Di halaman ini, Anda dapat meninjau hasil eksekusi saat eksekusi berlangsung atau setelah selesai.

      Untuk meninjau hasil eksekusi, pilih status individual pada tampilan Grafik, lalu pilih tab individual di Detail langkah panel untuk melihat detail setiap status termasuk input, output, dan definisi masing-masing. Untuk detail tentang informasi eksekusi yang dapat Anda lihat di halaman Rincian Eksekusi, lihatIkhtisar detail eksekusi.

   Misalnya, pilih Map status, lalu pilih Map Run untuk membuka halaman Map Run Details. Di halaman ini, Anda dapat melihat semua detail eksekusi status Peta Terdistribusi dan eksekusi alur kerja anak yang dimulai. Untuk informasi tentang halaman ini, lihatMelihat Peta Berjalan.