SqlActivity - AWS Data Pipeline
ContohSintaks

AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

SqlActivity

Menjalankan SQL query (script) pada database.

Contoh

Berikut adalah contoh dari jenis objek ini.

{
  "id" : "MySqlActivity",
  "type" : "SqlActivity",
  "database" : { "ref": "MyDatabaseID" },
  "script" : "SQLQuery" | "scriptUri" : s3://scriptBucket/query.sql,
  "schedule" : { "ref": "MyScheduleID" },
}

Sintaks

Bidang yang Wajib Diisi Deskripsi Jenis Slot
basis data Database untuk menjalankan SQL skrip yang disediakan. Objek Referensi, misalnya “database”: {"ref”:” myDatabaseId “}

Bidang Invokasi Objek Deskripsi Jenis Slot
jadwal

Objek ini dipanggil dalam pelaksanaan interval jadwal. Anda harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi dependensi untuk objek ini. Misalnya, Anda dapat dengan secara eksplisit mengatur jadwal pada objek dengan menentukan "schedule": {"ref": "DefaultSchedule"}.

Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu.

Jika alur memiliki pohon jadwal yang bersarang di jadwal utama, buat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html

 Objek Referensi, misalnya “schedule”: {"ref”:” myScheduleId “}

Grup yang diperlukan (Salah satu dari berikut ini diperlukan) Deskripsi Jenis Slot
script SQLScript untuk dijalankan. Anda harus menentukan skrip atauscriptUri. Ketika script disimpan di Amazon S3, maka script tidak dievaluasi sebagai ekspresi. Menentukan beberapa nilai untuk scriptArgument sangat membantu saat skrip disimpan di Amazon S3. String
scriptUri URIMenentukan lokasi SQL skrip untuk mengeksekusi dalam aktivitas ini. String

Grup yang diperlukan (Salah satu dari berikut ini diperlukan) Deskripsi Jenis Slot
runsOn Sumber daya komputasi untuk menjalankan aktivitas atau perintah. Misalnya, EC2 instans Amazon atau EMR kluster Amazon. Objek Referensi, misalnya "runsOn“: {" ref”:” myResourceId “}
workerGroup Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan. String

Bidang Opsional Deskripsi Jenis Slot
attemptStatus Baru-baru ini melaporkan status dari aktivitas jarak jauh. String
attemptTimeout Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel maka aktivitas jarak jauh yang tidak selesai dalam waktu mulai yang ditetapkan dapat dicoba lagi. Periode
dependsOn Tentukan dependensi pada objek yang bisa dijalankan lainnya. Objek Referensi, misalnya "dependsOn“: {" ref”:” myActivityId “}
failureAndRerunModus Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali Pencacahan
input Lokasi data input. Objek Referensi, misalnya “input”: {"ref”:” myDataNode Id "}
lateAfterTimeout Jangka waktu sejak awal dijadwalkan dari alur di mana objek dijalankan harus dimulai. Periode
maxActiveInstances Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. Bilangan Bulat
maximumRetries Jumlah maksimum percobaan ulang pada pelanggaran Bilangan Bulat
onFail Tindakan untuk dijalankan ketika objek saat ini gagal. Objek Referensi, misalnya "onFail“: {" ref”:” myActionId “}
onLateAction Tindakan yang harus dipicu jika suatu objek belum dijadwalkan atau masih belum selesai dalam periode waktu sejak awal pipeline yang dijadwalkan seperti yang ditentukan oleh 'lateAfterTimeout'. Objek Referensi, misalnya "onLateAction“: {" ref”:” myActionId “}
onSuccess Tindakan untuk dijalankan ketika objek saat ini berhasil. Objek Referensi, misalnya "onSuccess“: {" ref”:” myActionId “}
output Lokasi data output. Ini hanya berguna untuk referensi dari dalam skrip (misalnya#{output.tablename}) dan untuk membuat tabel output dengan mengatur 'createTableSql' di node data output. Output dari SQL query tidak ditulis ke node data output. Objek Referensi, misalnya “output”: {"ref”:” myDataNode Id "}
induk Induk dari objek saat ini dari mana slot akan diwariskan. Objek Referensi, misalnya “induk”: {"ref”:” myBaseObject Id "}
pipelineLogUri S3 URI (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. String
prasyarat Mendefinisikan prasyarat secara opsional. Node data tidak ditandai "READY" sampai semua prasyarat terpenuhi. Objek Referensi, misalnya “prasyarat”: {"ref”:” “myPreconditionId}
antrean [Amazon Redshift saja] Sesuai dengan pengaturan query_group di Amazon Redshift, yang mengizinkan Anda untuk menetapkan dan memprioritaskan aktivitas bersamaan berdasarkan penempatan mereka dalam antrean. Amazon Redshift membatasi jumlah koneksi simultan hingga 15. Untuk informasi selengkapnya, lihat Menetapkan Kueri untuk Antrean dalam Panduan Developer Basis Data Amazon Redshift. String
reportProgressTimeout Batas waktu untuk panggilan berturut-turut pekerjaan jarak jauh ke. reportProgress Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. Periode
retryDelay Durasi timeout antara dua upaya coba lagi. Periode
scheduleType

Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Nilai adalah: cron, ondemand, dan timeseries.

Penjadwalan timeseries berarti instans dijadwalkan pada akhir setiap interval.

Penjadwalan cron berarti bahwa instans dijadwalkan pada awal setiap interval.

Jadwal ondemand mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal ondemand itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan alur ondemand, panggil operasi ActivatePipeline untuk setiap putaran berikutnya.

 Pencacahan
scriptArgument Daftar variabel untuk script. Sebagai alternatif, Anda dapat menempatkan ekspresi langsung ke bidang script. Beberapa nilai untuk scriptArgument sangat membantu saat skrip disimpan di Amazon S3. Contoh: # {format (@scheduledStartTime, “YY-MM-DD HH:MM:SS"}\n# {format (plusPeriod(@scheduledStartTime, “1 hari”), “YY-MM-DD HH:MM:SS"} String

Bidang Runtime Deskripsi Jenis Slot
@activeInstances Daftar objek instans aktif terjadwal saat ini. Objek Referensi, misalnya "activeInstances“: {" ref”:” myRunnableObject Id "}
@actualEndTime Waktu ketika eksekusi objek ini selesai. DateTime
@actualStartTime Waktu ketika eksekusi objek ini dimulai. DateTime
cancellationReason cancellationReason Jika objek ini dibatalkan. String
@cascadeFailedOn Deskripsi rantai dependensi tempat objek gagal. Objek Referensi, misalnya "cascadeFailedOn“: {" ref”:” myRunnableObject Id "}
emrStepLog EMRlog langkah hanya tersedia pada upaya EMR aktivitas String
errorId errorId Jika objek ini gagal. String
errorMessage errorMessage Jika objek ini gagal. String
errorStackTrace Jejak tumpukan kesalahan jika objek ini gagal. String
@finishedTime Waktu saat objek ini menyelesaikan eksekusinya. DateTime
hadoopJobLog Log pekerjaan Hadoop tersedia pada upaya untuk aktivitas EMR berbasis. String
@healthStatus Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. String
@healthStatusFromInstanceId Id dari objek instans terakhir yang mencapai keadaan dihentikan. String
@ healthStatusUpdated Waktu Waktu di mana status kondisi diperbarui terakhir kali. DateTime
hostname Nama host klien yang mengambil upaya tugas. String
@lastDeactivatedTime Waktu di mana objek ini terakhir dinonaktifkan. DateTime
@ latestCompletedRun Waktu Waktu proses terakhir yang eksekusinya selesai. DateTime
@latestRunTime Waktu proses terakhir untuk eksekusi yang dijadwalkan. DateTime
@nextRunTime Waktu run yang akan dijadwalkan berikutnya. DateTime
reportProgressTime Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. DateTime
@scheduledEndTime Jadwalkan waktu akhir untuk objek DateTime
@scheduledStartTime Jadwalkan waktu mulai untuk objek DateTime
@status Status objek ini. String
@version Versi alur objek dibuat dengan. String
@waitingOn Deskripsi daftar dependensi objek ini sedang menunggu. Objek Referensi, misalnya "waitingOn“: {" ref”:” myRunnableObject Id "}

Bidang Sistem Deskripsi Jenis Slot
@error Galat menggambarkan objek yang tidak terbentuk. String
@pipelineId Id dari alur tempat objek ini berada. String
@sphere Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects. String