AWS GlueKelas scala DynamicRecord - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS GlueKelas scala DynamicRecord

Package: com.amazonaws.services.glue

class DynamicRecord extends Serializable with Writable with Cloneable

Sebuah DynamicRecord adalah struktur data self-describing yang mewakili deretan data dalam set data yang sedang diproses. Ia bersifat self-describing dalam arti bahwa Anda bisa mendapatkan skema dari baris yang diwakili oleh DynamicRecord dengan memeriksa catatan itu sendiri. Sebuah DynamicRecord mirip dengan Row di Apache Spark.

Def AddField

def addField( path : String, dynamicNode : DynamicNode ) : Unit

Menambahkan sebuah DynamicNode ke path yang ditentukan.

  • path — Path untuk bidang yang akan ditambahkan.

  • dynamicNodeDynamicNode yang akan ditambahkan pada path yang ditentukan.

DropField Def

def dropField(path: String, underRename: Boolean = false): Option[DynamicNode]

Menghapus DynamicNode dari path yang ditentukan dan mengembalikan simpul yang dibuang jika tidak ada array di path yang ditentukan.

  • path — Path ke bidang yang akan dibuang.

  • underRename — BETUL jika dropField dipanggil sebagai bagian dari penggantian nama transformasi, atau SALAH jika sebaliknya (secara default SALAH).

Mengembalikan scala.Option Option (DynamicNode).

Def SetError

def setError( error : Error )

Menetapkan catatan ini sebagai catatan kesalahan, sebagaimana yang ditentukan oleh parameter error.

Mengembalikan DynamicRecord.

Def isError

def isError

Memeriksa apakah catatan ini adalah catatan kesalahan.

Def GetError

def getError

Mengambil Error jika catatan adalah catatan kesalahan. Mengembalikan scala.Some Some (Kesalahan) jika catatan ini adalah catatan kesalahan, atau sebaliknya scala.None.

Def ClearError

def clearError

Atur Error ke scala.None.None .

Def menulis

override def write( out : DataOutput ) : Unit

Def ReadFields

override def readFields( in : DataInput ) : Unit

Klon def

override def clone : DynamicRecord

Kloning catatan ini ke DynamicRecord yang baru dan kembalikan.

Skema Def

def schema

Ambil Schema dengan memeriksa catatan.

Def GetRoot

def getRoot : ObjectNode

Ambil ObjectNode akar untuk catatan.

Def ToJSON

def toJson : String

Ambil string JSON untuk catatan.

Def getFieldNode

def getFieldNode( path : String ) : Option[DynamicNode]

Dapatkan nilai bidang di path yang ditentukan sebagai pilihan DynamicNode.

Mengembalikan scala.Some Some (DynamicNode) jika bidang ada, atau sebaliknya scala.None.None.

Def GetField

def getField( path : String ) : Option[Any]

Dapatkan nilai bidang di path yang ditentukan sebagai pilihan DynamicNode.

Mengembalikan scala.Some Some (nilai).

Kode Hash Def

override def hashCode : Int

Def sama dengan

override def equals( other : Any )

DynamicRecord objek

object DynamicRecord

Def berlaku

def apply( row : Row, schema : SparkStructType )

Terapkan metode untuk mengkonversi Apache Spark SQL Row menjadi DynamicRecord.

  • row — Sebuah Spark SQL Row.

  • schemaSchema dari baris tersebut.

Mengembalikan DynamicRecord.

RecordTraverser sifat

trait RecordTraverser { def nullValue(): Unit def byteValue(value: Byte): Unit def binaryValue(value: Array[Byte]): Unit def booleanValue(value: Boolean): Unit def shortValue(value: Short) : Unit def intValue(value: Int) : Unit def longValue(value: Long) : Unit def floatValue(value: Float): Unit def doubleValue(value: Double): Unit def decimalValue(value: BigDecimal): Unit def stringValue(value: String): Unit def dateValue(value: Date): Unit def timestampValue(value: Timestamp): Unit def objectStart(length: Int): Unit def objectKey(key: String): Unit def objectEnd(): Unit def mapStart(length: Int): Unit def mapKey(key: String): Unit def mapEnd(): Unit def arrayStart(length: Int): Unit def arrayEnd(): Unit }