Tutorial: Membuat transformasi pembelajaran mesin dengan AWS Glue

Masuk ke AWS Management Console, lalu buka konsol AWS Glue di https://console.aws.amazon.com/glue/.

Di panel navigasi, pilih Crawler, Tambahkan crawler.

Ikuti penuntun untuk membuat dan menjalankan crawler bernama demo-crawl-dblp-acm dengan keluaran ke basisdata demo-db-dblp-acm. Saat menjalankan penuntun, buat basis data demo-db-dblp-acm jika itu belum ada. Pilih Amazon S3 termasuk path ke data sampel dalam Wilayah AWS saat ini. Contohnya, untuk us-east-1, Amazon S3 mencakup path ke file sumber yakni s3://ml-transforms-public-datasets-us-east-1/dblp-acm/records/dblp_acm_records.csv.

Jika berhasil, crawler menciptakan tabel dblp_acm_records_csv dengan kolom berikut: id, judul, penulis, tempat, tahun, dan sumber.

Di AWS Glue konsol, di panel navigasi di bawah Integrasi Data dan ETL, pilih Alat klasifikasi data > Pencocokan Rekam, lalu Tambahkan transformasi. Ikuti wizard untuk membuat Find matches transformasi dengan properti berikut.

1. Untuk Nama transformasi, masukkan demo-xform-dblp-acm. Ini adalah nama transformasi yang digunakan untuk menemukan kecocokan dalam data sumber.

2. Untuk IAM role, pilih sebuah IAM role yang memiliki izin ke data sumber Amazon S3, file pelabelan, dan operasi API AWS Glue. Untuk informasi selengkapnya, lihat Membuat IAM role untuk AWS Glue dalam Panduan Developer AWS Glue.

3. Untuk sumber Data, pilih tabel bernama dblp_acm_records_csv dalam database. demo-db-dblp-acm

4. Untuk Kunci primer, pilih kolom kunci primer untuk tabel, id.

Dalam penuntun, pilih Selesai dan kembali ke daftar Transformasi ML.

Di AWS Glue konsol, di panel navigasi, pilih Rekam Pencocokan.

Pilih transformasi demo-xform-dblp-acm, dan kemudian pilih Tindakan, Ajarkan. Ikuti panduan untuk mengajar transformasi Find matches Anda.

Pada halaman properti transformasi, pilih Saya memiliki label. Pilih path Amazon S3 untuk file pelabelan sampel dalam Wilayah AWS saat ini. Contohnya, untuk us-east-1, unggah file pelabelan yang tersedia dari path Amazon S3 s3://ml-transforms-public-datasets-us-east-1/dblp-acm/labels/dblp_acm_labels.csv dengan opsi menimpa label yang ada. File pelabelan harus ditempatkan di Amazon S3 dengan Wilayah yang sama dengan konsol AWS Glue.

Ketika Anda mengunggah file pelabelan, sebuah tugas dimulai di AWS Glue untuk menambah atau menimpa label yang digunakan untuk mengajar transformasi cara memproses sumber data.

Di halaman terakhir penuntun, pilih Selesai, dan kembali ke daftar Transformasi ML.

Di AWS Glue konsol, di panel navigasi di bawah Integrasi Data dan ETL, pilih Alat klasifikasi data > Pencocokan Rekam.

Pilih transformasi demo-xform-dblp-acm, dan pilih tab Estimasi kualitas. Tab ini menampilkan perkiraan kualitas saat ini, jika tersedia, untuk transformasi tersebut.

Pilih Estimasi kualitas untuk memulai sebuah tugas untuk memperkirakan kualitas transformasi. Keakuratan estimasi kualitas tersebut didasarkan pada pelabelan data sumber.

Arahkan ke tab Riwayat. Dalam panel ini, eksekusi tugas dicantumkan untuk transformasi, termasuk tugas Estimasi kualitas. Untuk detail lebih lanjut tentang eksekusi, pilih Log. Periksa apakah status eksekusi adalah Berhasil ketika selesai.

Pada konsol AWS Glue, di panel navigasi, pilih Tugas.

Pilih Tambahkan tugas, dan ikuti langkah-langkah yang ada di penuntun untuk membuat tugas ETL Spark dengan skrip yang sudah dihasilkan. Pilih nilai-nilai properti berikut untuk transformasi Anda:

1. Untuk Nama, pilih contoh pekerjaan dalam tutorial ini, demo-etl-dblp-acm.

2. Untuk IAM role, pilih IAM role dengan izin ke data sumber Amazon S3, file pelabelan, dan operasi API AWS Glue. Untuk informasi selengkapnya, lihat Membuat IAM role untuk AWS Glue dalam Panduan Developer AWS Glue.

3. Untuk Bahasa ETL, pilih Scala. Ini adalah bahasa pemrograman dalam skrip ETL.

4. Untuk nama file Script, pilih demo-etl-dblp-acm. Ini adalah nama file dari skrip Scala (sama dengan nama tugas).

5. Untuk Sumber data, pilih dblp_acm_records_csv. Sumber data yang Anda pilih harus sesuai dengan skema sumber data transformasi machine learning.

6. Untuk Jenis transformasi, pilih Temukan catatan yang cocok untuk membuat sebuah tugas dengan menggunakan transformasi machine learning.

7. Bersihkan Hapus catatan duplikasi. Anda tidak ingin menghapus catatan duplikat karena catatan keluaran yang ditulis memiliki tambahan kolom match_id yang ditambahkan.

8. Untuk Transform, pilih demo-xform-dblp-acm, transformasi pembelajaran mesin yang digunakan oleh pekerjaan.

9. Untuk Buat tabel di target data Anda, pilih untuk membuat tabel dengan properti berikut:

   • Jenis penyimpanan data — Amazon S3

   • Format — CSV

   • Jenis kompresi — None

   • Path target — Path Amazon S3 di mana output dari tugas ditulis (di Wilayah AWS konsol saat ini)

Pilih Simpan tugas dan edit skrip untuk menampilkan halaman editor skrip.

Edit skrip untuk menambahkan pernyataan untuk menyebabkan output tugas untuk Path target untuk ditulis ke satu file partisi tunggal. Tambahkan pernyataan ini segera setelah pernyataan yang menjalankan transformasi FindMatches. Pernyataan tersebut serupa dengan yang berikut ini.

val single_partition = findmatches1.repartition(1) 

Anda harus mengubah pernyataan .writeDynamicFrame(findmatches1) untuk menulis output sebagai .writeDynamicFrame(single_partion).

Setelah Anda mengedit skrip, pilih Simpan. Skrip yang sudah dimodifikasi terlihat mirip dengan kode berikut, tapi disesuaikan untuk lingkungan Anda.

import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.errors.CallSite
import com.amazonaws.services.glue.ml.FindMatches
import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job
import com.amazonaws.services.glue.util.JsonOptions
import org.apache.spark.SparkContext
import scala.collection.JavaConverters._

object GlueApp {
  def main(sysArgs: Array[String]) {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    // @params: [JOB_NAME]
    val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)
    Job.init(args("JOB_NAME"), glueContext, args.asJava)
    // @type: DataSource
    // @args: [database = "demo-db-dblp-acm", table_name = "dblp_acm_records_csv", transformation_ctx = "datasource0"]
    // @return: datasource0
    // @inputs: []
    val datasource0 = glueContext.getCatalogSource(database = "demo-db-dblp-acm", tableName = "dblp_acm_records_csv", redshiftTmpDir = "", transformationContext = "datasource0").getDynamicFrame()
    // @type: FindMatches
    // @args: [transformId = "tfm-123456789012", emitFusion = false, survivorComparisonField = "<primary_id>", transformation_ctx = "findmatches1"]
    // @return: findmatches1
    // @inputs: [frame = datasource0]
    val findmatches1 = FindMatches.apply(frame = datasource0, transformId = "tfm-123456789012", transformationContext = "findmatches1", computeMatchConfidenceScores = true)
  
  
    // Repartition the previous DynamicFrame into a single partition. 
    val single_partition = findmatches1.repartition(1)    
 
    
    // @type: DataSink
    // @args: [connection_type = "s3", connection_options = {"path": "s3://aws-glue-ml-transforms-data/sal"}, format = "csv", transformation_ctx = "datasink2"]
    // @return: datasink2
    // @inputs: [frame = findmatches1]
    val datasink2 = glueContext.getSinkWithFormat(connectionType = "s3", options = JsonOptions("""{"path": "s3://aws-glue-ml-transforms-data/sal"}"""), transformationContext = "datasink2", format = "csv").writeDynamicFrame(single_partition)
    Job.commit()
  }
}

Pilih Jalankan tugas untuk memulai eksekusi tugas. Periksa status tugas dalam daftar tugas. Setelah tugas selesai, di Transformasi ML, tab Riwayat, ada baris ID eksekusi baru yang ditambahkan dari jenis Tugas ETL.

Arahkan ke Tugas, tab Riwayat. Dalam panel ini, eksekusi tugas dicantumkan. Untuk detail lebih lanjut tentang eksekusi, pilih Log. Periksa apakah status eksekusi adalah Berhasil ketika selesai.

Buka konsol Amazon S3 di https://console.aws.amazon.com/s3/.

Unduh file output target dari tugas demo-etl-dblp-acm. Buka file dalam aplikasi spreadsheet (Anda mungkin perlu menambahkan ekstensi file .csv pada file untuk membukanya dengan benar).

Gambar berikut menunjukkan kutipan dari output pada Microsoft Excel.

Sumber data dan file target keduanya memiliki 4.911 catatan. Namun, transformasi Find matches menambahkan kolom lain bernama match_id untuk mengidentifikasi catatan kecocokan dalam output. Baris dengan match_id yang sama dianggap catatan yang cocok. match_confidence_scoreIni adalah angka antara 0 dan 1 yang memberikan perkiraan kualitas kecocokan yang ditemukan olehFind matches.

Urutkan file output berdasarkan match_id untuk dengan mudah melihat catatan mana yang cocok. Bandingkan nilai di kolom lain untuk melihat apakah Anda setuju dengan hasil transformasi Find matches. Jika tidak, Anda dapat terus mengajarkan transformasi dengan menambahkan lebih banyak label lainnya.

Anda juga dapat mengurutkan file berdasarkan kolom lain, seperti title, untuk melihat apakah catatan dengan judul serupa memiliki match_id yang sama.