DropNullFields kelas - AWS Glue
Contoh — metode —__call__applynamadescribeArgsdescribeReturndescribeTransformdescribeErrorsJelaskan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

DropNullFields kelas

Membuang semua bidang nol dalam DynamicFrame yang tipenya adalah NullType. Ini adalah bidang dengan nilai yang hilang atau nol di setiap catatan dalam DynamicFrame kumpulan data.

Contoh

Contoh ini digunakan DropNullFields untuk membuat bidang tipe baru DynamicFrame di mana NullType telah dijatuhkan. Untuk mendemonstrasikanDropNullFields, kami menambahkan kolom baru bernama empty_column dengan tipe null ke dataset yang sudah dimuatpersons.

catatan

Untuk mengakses kumpulan data yang digunakan dalam contoh ini, lihat Contoh kode: Bergabung dan menghubungkan data dan ikuti petunjuk diLangkah 1: Merayapi data di bucket Amazon S3.

# Example: Use DropNullFields to create a new DynamicFrame without NullType fields

from pyspark.context import SparkContext
from awsglue.context import GlueContext
from pyspark.sql.functions import lit
from pyspark.sql.types import NullType
from awsglue.dynamicframe import DynamicFrame
from awsglue.transforms import DropNullFields

# Create GlueContext
sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

# Create DynamicFrame
persons = glueContext.create_dynamic_frame.from_catalog(
    database="legislators", table_name="persons_json"
)
print("Schema for the persons DynamicFrame:")
persons.printSchema()

# Add new column "empty_column" with NullType
persons_with_nulls = persons.toDF().withColumn("empty_column", lit(None).cast(NullType()))
persons_with_nulls_dyf = DynamicFrame.fromDF(persons_with_nulls, glueContext, "persons_with_nulls")
print("Schema for the persons_with_nulls_dyf DynamicFrame:")
persons_with_nulls_dyf.printSchema()

# Remove the NullType field
persons_no_nulls = DropNullFields.apply(persons_with_nulls_dyf)
print("Schema for the persons_no_nulls DynamicFrame:")
persons_no_nulls.printSchema()
Schema for the persons DynamicFrame:
root
|-- family_name: string
|-- name: string
|-- links: array
|    |-- element: struct
|    |    |-- note: string
|    |    |-- url: string
|-- gender: string
|-- image: string
|-- identifiers: array
|    |-- element: struct
|    |    |-- scheme: string
|    |    |-- identifier: string
|-- other_names: array
|    |-- element: struct
|    |    |-- lang: string
|    |    |-- note: string
|    |    |-- name: string
|-- sort_name: string
|-- images: array
|    |-- element: struct
|    |    |-- url: string
|-- given_name: string
|-- birth_date: string
|-- id: string
|-- contact_details: array
|    |-- element: struct
|    |    |-- type: string
|    |    |-- value: string
|-- death_date: string

Schema for the persons_with_nulls_dyf DynamicFrame:
root
|-- family_name: string
|-- name: string
|-- links: array
|    |-- element: struct
|    |    |-- note: string
|    |    |-- url: string
|-- gender: string
|-- image: string
|-- identifiers: array
|    |-- element: struct
|    |    |-- scheme: string
|    |    |-- identifier: string
|-- other_names: array
|    |-- element: struct
|    |    |-- lang: string
|    |    |-- note: string
|    |    |-- name: string
|-- sort_name: string
|-- images: array
|    |-- element: struct
|    |    |-- url: string
|-- given_name: string
|-- birth_date: string
|-- id: string
|-- contact_details: array
|    |-- element: struct
|    |    |-- type: string
|    |    |-- value: string
|-- death_date: string
|-- empty_column: null

null_fields ['empty_column']
Schema for the persons_no_nulls DynamicFrame:
root
|-- family_name: string
|-- name: string
|-- links: array
|    |-- element: struct
|    |    |-- note: string
|    |    |-- url: string
|-- gender: string
|-- image: string
|-- identifiers: array
|    |-- element: struct
|    |    |-- scheme: string
|    |    |-- identifier: string
|-- other_names: array
|    |-- element: struct
|    |    |-- lang: string
|    |    |-- note: string
|    |    |-- name: string
|-- sort_name: string
|-- images: array
|    |-- element: struct
|    |    |-- url: string
|-- given_name: string
|-- birth_date: string
|-- id: string
|-- contact_details: array
|    |-- element: struct
|    |    |-- type: string
|    |    |-- value: string
|-- death_date: string

Metode

__call__(frame, transformation_ctx = "", info = "", stageThreshold = 0, totalThreshold = 0)

Membuang semua bidang nol dalam DynamicFrame yang tipenya adalah NullType. Ini adalah bidang dengan nilai yang hilang atau nol di setiap catatan dalam DynamicFrame kumpulan data.

  • frame— DynamicFrame Untuk menjatuhkan bidang null di (wajib).

  • transformation_ctx — Sebuah string unik yang digunakan untuk mengidentifikasi informasi status (opsional).

  • info — Sebuah string yang akan dikaitkan dengan kesalahan dalam transformasi (opsional).

  • stageThreshold— Jumlah maksimum kesalahan yang dapat terjadi dalam transformasi sebelum kesalahan keluar (opsional). Default-nya adalah nol.

  • totalThreshold— Jumlah maksimum kesalahan yang dapat terjadi secara keseluruhan sebelum memproses kesalahan keluar (opsional). Default-nya adalah nol.

Mengembalikan sebuah DynamicFrame baru yang tidak memiliki bidang nol.

apply(cls, *args, **kwargs)

  • cls — cls

name(cls)

  • cls — cls

describeArgs(cls)

  • cls — cls

describeReturn(cls)

  • cls — cls

describeTransform(cls)

  • cls — cls

describeErrors(cls)

  • cls — cls

describe(cls)

  • cls — cls