D ynamoDBExport DataFormat - AWS Data Pipeline
ContohSintaks

AWS Data Pipeline tidak lagi tersedia untuk pelanggan baru. Pelanggan yang sudah ada dari AWS Data Pipeline dapat terus menggunakan layanan seperti biasa. Pelajari selengkapnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

D ynamoDBExport DataFormat

Berlaku skema untuk tabel DynamoDB untuk membuatnya dapat diakses oleh kueri Hive. Gunakan DynamoDBExportDataFormat dengan objek HiveCopyActivity dan DynamoDBDataNode atau S3DataNode input dan output. DynamoDBExportDataFormat memiliki manfaat berikut:

  • Memberikan support DynamoDB dan Amazon S3

  • Mengizinkan Anda untuk mem-filter data dengan kolom tertentu dalam kueri Hive Anda

  • Ekspor semua atribut dari DynamoDB bahkan jika Anda memiliki skema tersebar

catatan

Jenis DynamoDB Boolean tidak dipetakan ke jenis Hive Boolean. Namun, adalah mungkin untuk memetakan nilai integer DynamoDB 0 atau 1 untuk jenis Hive Boolean.

Contoh

Contoh berikut menunjukkan cara menggunakan HiveCopyActivity dan DynamoDBExportDataFormat untuk menyalin data dari satu DynamoDBDataNode ke yang lain, sambil mem-filter berdasarkan stempel waktu.

{
  "objects": [
    {
      "id" : "DataFormat.1",
      "name" : "DataFormat.1",
      "type" : "DynamoDBExportDataFormat",
      "column" : "timeStamp BIGINT"
    },
    {
      "id" : "DataFormat.2",
      "name" : "DataFormat.2",
      "type" : "DynamoDBExportDataFormat"
    },
    {
      "id" : "DynamoDBDataNode.1",
      "name" : "DynamoDBDataNode.1",
      "type" : "DynamoDBDataNode",
      "tableName" : "item_mapped_table_restore_temp",
      "schedule" : { "ref" : "ResourcePeriod" },
      "dataFormat" : { "ref" : "DataFormat.1" }
    },
    {
      "id" : "DynamoDBDataNode.2",
      "name" : "DynamoDBDataNode.2",
      "type" : "DynamoDBDataNode",
      "tableName" : "restore_table",
      "region" : "us_west_1",
      "schedule" : { "ref" : "ResourcePeriod" },
      "dataFormat" : { "ref" : "DataFormat.2" }
    },
    {
      "id" : "EmrCluster.1",
      "name" : "EmrCluster.1",
      "type" : "EmrCluster",
      "schedule" : { "ref" : "ResourcePeriod" },
      "masterInstanceType" : "m1.xlarge",
      "coreInstanceCount" : "4"
    },
    {
      "id" : "HiveTransform.1",
      "name" : "Hive Copy Transform.1",
      "type" : "HiveCopyActivity",
      "input" : { "ref" : "DynamoDBDataNode.1" },
      "output" : { "ref" : "DynamoDBDataNode.2" },
      "schedule" : { "ref" : "ResourcePeriod" },
      "runsOn" : { "ref" : "EmrCluster.1" },
      "filterSql" : "`timeStamp` > unix_timestamp(\"#{@scheduledStartTime}\", \"yyyy-MM-dd'T'HH:mm:ss\")"
    },
    {
      "id" : "ResourcePeriod",
      "name" : "ResourcePeriod",
      "type" : "Schedule",
      "period" : "1 Hour",
      "startDateTime" : "2013-06-04T00:00:00",
      "endDateTime" : "2013-06-04T01:00:00"
    }
  ]
}

Sintaks

Bidang Opsional Deskripsi Jenis Slot
kolom Nama kolom dengan jenis data yang ditentukan oleh masing-masing bidang untuk data yang dijelaskan oleh simpul data ini. Mis: nama host STRING String
induk Induk dari objek saat ini dari mana slot akan diwariskan. Objek Referensi, misalnya “induk”: {"ref”:” myBaseObject Id "}

Bidang Runtime Deskripsi Jenis Slot
@version Versi alur objek dibuat dengan. String

Bidang Sistem Deskripsi Jenis Slot
@error Galat mendeskripsikan obyek yang tidak terbentuk String
@pipelineId Id dari alur tempat objek ini berada String
@sphere Lingkup dari sebuah objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects String