Visual Job API

• CodeGenConfigurationNode Struktur

• JDBCConnectorOptions Struktur

• StreamingDataPreviewOptions Struktur

• AthenaConnectorSource Struktur

• JDBCConnectorSource Struktur

• SparkConnectorSource Struktur

• CatalogSource Struktur

• MySQLCatalogSource Struktur

• PostgreSQLCatalogSource Struktur

• OracleSQLCatalogSource Struktur

• MicrosoftSQLServerCatalogSource Struktur

• CatalogKinesisSource Struktur

• DirectKinesisSource Struktur

• KinesisStreamingSourceOptions Struktur

• CatalogKafkaSource Struktur

• DirectKafkaSource Struktur

• KafkaStreamingSourceOptions Struktur

• RedshiftSource Struktur

• AmazonRedshiftSource Struktur

• AmazonRedshiftNodeData Struktur

• AmazonRedshiftAdvancedOption Struktur

• Optionsstruktur

• S3CatalogSource Struktur

• S3SourceAdditionalOptions Struktur

• S3CsvSource Struktur

• DirectJDBCSource-Struktur

• S3DirectSourceAdditionalOptions Struktur

• S3JsonSource Struktur

• S3ParquetSource Struktur

• S3DeltaSource Struktur

• S3CatalogDeltaSource Struktur

• CatalogDeltaSource Struktur

• S3HudiSource Struktur

• S3CatalogHudiSource Struktur

• S3ExcelSource Struktur

• CatalogHudiSource Struktur

• DynamoDBCatalogSource Struktur

• RelationalCatalogSource Struktur

• JDBCConnectorTarget Struktur

• SparkConnectorTarget Struktur

• BasicCatalogTarget Struktur

• MySQLCatalogTarget Struktur

• PostgreSQLCatalogTarget Struktur

• OracleSQLCatalogTarget Struktur

• MicrosoftSQLServerCatalogTarget Struktur

• RedshiftTarget Struktur

• AmazonRedshiftTarget Struktur

• UpsertRedshiftTargetOptions Struktur

• S3CatalogTarget -Struktur

• S3GlueParquetTarget Struktur

• CatalogSchemaChangePolicy Struktur

• S3DirectTarget Struktur

• S3HudiCatalogTarget Struktur

• S3HudiDirectTarget Struktur

• S3DeltaCatalogTarget Struktur

• S3DeltaDirectTarget Struktur

• S3HyperDirectTarget Struktur

• S3IcebergDirectTarget Struktur

• DirectSchemaChangePolicy Struktur

• ApplyMapping Struktur

• Mapping-Struktur

• SelectFields Struktur

• DropFields -Struktur

• RenameField -Struktur

• Spigot-Struktur

• Join-Struktur

• JoinColumn Struktur

• SplitFields -Struktur

• SelectFromCollection -Struktur

• FillMissingValues Struktur

• Filter-Struktur

• FilterExpression Struktur

• FilterValue Struktur

• CustomCode -Struktur

• SparkSQL-Struktur

• SqlAlias Struktur

• DropNullFields Struktur

• NullCheckBoxList Struktur

• NullValueField Struktur

• Datatype-Struktur

• Merge-Struktur

• Union-Struktur

• PIIDetektionsstruktur

• Aggregierte Struktur

• DropDuplicates -Struktur

• GovernedCatalogTarget -Struktur

• GovernedCatalogSource Struktur

• AggregateOperation Struktur

• GlueSchema Struktur

• GlueStudioSchemaColumn Struktur

• GlueStudioColumn Struktur

• DynamicTransform Struktur

• TransformConfigParameter Struktur

• EvaluateDataQuality Struktur

• DQResultsPublishingOptions Struktur

• DQStopJobOnFailureOptions Struktur

• EvaluateDataQualityMultiFrame Struktur

• Struktur des Rezepts

• RecipeReference Struktur

• SnowflakeNodeData Struktur

• SnowflakeSource Struktur

• SnowflakeTarget Struktur

• ConnectorDataSource Struktur

• ConnectorDataTarget Struktur

• RecipeStep Struktur

• RecipeAction Struktur

• ConditionExpression Struktur

• S3CatalogIcebergSource Struktur

• CatalogIcebergSource Struktur

• S3IcebergCatalogTarget Struktur

• DynamoDBELTConnectorSource Struktur

• DDBELTConnectionOptions Struktur

• DDBELTCatalogAdditionalOptions Struktur

• Routenstruktur

• GroupFilters Struktur

• AutoDataQuality Struktur

Felder

• AthenaConnectorSource – Ein AthenaConnectorSource-Objekt.

  Gibt einen Konnektor zu einer Amazon Athena-Datenquelle an.

• JDBCConnectorSource – Ein JDBCConnectorSource-Objekt.

  Gibt einen Konnektor zu einer JDBC-Datenquelle an.

• SparkConnectorSource – Ein SparkConnectorSource-Objekt.

  Gibt einen Konnektor zu einer Apache-Spark-Datenquelle an.

• CatalogSource – Ein CatalogSource-Objekt.

  Gibt einen Datenspeicher im AWS Glue Datenkatalog an.

• RedshiftSource – Ein RedshiftSource-Objekt.

  Gibt einen Amazon Redshift-Datenspeicher an.

• S3CatalogSource – Ein S3CatalogSource-Objekt.

  Gibt einen Amazon S3-Datenspeicher im AWS Glue Datenkatalog an.

• S3CsvSource – Ein S3CsvSource-Objekt.

  Gibt einen CSV-Datenspeicher an, der in Amazon S3 gespeichert ist.

• S3JsonSource – Ein S3JsonSource-Objekt.

  Gibt einen JSON-Datenspeicher an, der in Amazon S3 gespeichert ist.

• S3ParquetSource – Ein S3ParquetSource-Objekt.

  Gibt einen Apache-Parquet-Datenspeicher an, der in Amazon S3 gespeichert ist.

• RelationalCatalogSource – Ein RelationalCatalogSource-Objekt.

  Gibt einen relationalen Katalogdatenspeicher im AWS Glue Datenkatalog an.

• DynamoDBCatalogSource – Ein DynamoDBCatalogSource-Objekt.

  Gibt einen DynamoDBC-Katalogdatenspeicher im Datenkatalog an AWS Glue .

• JDBCConnectorTarget – Ein JDBCConnectorTarget-Objekt.

  Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

• SparkConnectorTarget – Ein SparkConnectorTarget-Objekt.

  Gibt ein Ziel an, das einen Apache-Spark-Konnektor verwendet.

• CatalogTarget – Ein BasicCatalogTarget-Objekt.

  Gibt ein Ziel an, das eine AWS Glue Datenkatalogtabelle verwendet.

• RedshiftTarget – Ein RedshiftTarget-Objekt.

  Gibt ein Ziel an, das Amazon Redshift verwendet.

• S3CatalogTarget – Ein S3CatalogTarget-Objekt.

  Gibt ein Datenziel an, das mithilfe des AWS Glue Datenkatalogs in Amazon S3 schreibt.

• S3GlueParquetTarget – Ein S3GlueParquetTarget-Objekt.

  Gibt ein Datenziel an, das in den Säulenspeicher von Apache Parquet in Amazon S3 schreibt.

• S3DirectTarget – Ein S3DirectTarget-Objekt.

  Gibt ein Datenziel an, das an Amazon S3 schreibt.

• ApplyMapping – Ein ApplyMapping-Objekt.

  Gibt eine Transformation an, die Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel zuordnet. Sie können Schlüssel umbenennen, die Datentypen für Schlüssel ändern und die Schlüssel auswählen, die aus dem Datensatz gelöscht werden sollen.

• SelectFields – Ein SelectFields-Objekt.

  Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie beibehalten möchten.

• DropFields – Ein DropFields-Objekt.

  Gibt eine Transformation an, die die Dateneigenschaftsschlüssel auswählt, die Sie löschen möchten.

• RenameField – Ein RenameField-Objekt.

  Gibt eine Transformation an, die einen einzelnen Dateneigenschaftsschlüssel umbenennt.

• Spigot – Ein Spigot-Objekt.

  Gibt eine Transformation an, die Beispiele der Daten in einen Amazon S3-Bucket schreibt.

• Join – Ein Join-Objekt.

  Gibt eine Transformation an, die zwei Datensätze mit einer Vergleichsphrase für die angegebenen Dateneigenschaftsschlüssel zu einem Datensatz zusammenführt. Sie können innere, äußere, linke, rechte, linke Hälfte und linke Anti-Joins verwenden.

• SplitFields – Ein SplitFields-Objekt.

  Gibt eine Transformation an, die Dateneigenschaftsschlüssel in zwei teDynamicFrames aufteilt. Die Ausgabe ist eine Sammlung von DynamicFrames: Einer mit ausgewählten Dateneigenschaftsschlüsseln und einer mit den übrigen Dateneigenschaftsschlüsseln.

• SelectFromCollection – Ein SelectFromCollection-Objekt.

  Gibt eine Transformation an, die einen DynamicFrame aus einer Reihe von DynamicFrames auswählt. Die Ausgabe ist das ausgewählte DynamicFrame.

• FillMissingValues – Ein FillMissingValues-Objekt.

  Gibt eine Transformation an, bei der Akten im Datensatz gesucht werden können, die fehlende Werte aufweisen, und die ein neues Feld mit einem durch Imputation bestimmten Wert hinzufügt. Mit dem Eingabedatensatz wird das Modell zum Machine Learning (ML) trainiert, das den fehlenden Wert bestimmt.

• Filter – Ein Filter-Objekt.

  Gibt eine Transformation an, die einen Datensatz basierend auf einer Filterbedingung in zwei Teile teilt.

• CustomCode – Ein CustomCode-Objekt.

  Gibt eine Transformation an, die benutzerdefinierten Code verwendet, den Sie zur Durchführung der Datentransformation bereitstellen. Die Ausgabe ist eine Sammlung von DynamicFrames.

• SparkSQL – Ein SparkSQL-Objekt.

  Gibt eine Transformation an, bei der Sie eine SQL-Abfrage mit der Spark SQL-Syntax eingeben, um die Daten zu transformieren. Die Ausgabe ist ein einzelner DynamicFrame.

• DirectKinesisSource – Ein DirectKinesisSource-Objekt.

  Gibt eine direkte Amazon Kinesis-Datenquelle an.

• DirectKafkaSource – Ein DirectKafkaSource-Objekt.

  Gibt einen Apache-Kafka-Datenspeicher an.

• CatalogKinesisSource – Ein CatalogKinesisSource-Objekt.

  Gibt eine Kinesis-Datenquelle im AWS Glue Datenkatalog an.

• CatalogKafkaSource – Ein CatalogKafkaSource-Objekt.

  Gibt einen Apache-Kafka-Datenspeicher im Data Catalog an.

• DropNullFields – Ein DropNullFields-Objekt.

  Gibt eine Transformation an, die Spalten aus dem Datensatz entfernt, wenn alle Werte in der Spalte „null“ sind. Standardmäßig erkennt AWS Glue Studio Nullobjekte, aber einige Werte wie leere Zeichenfolgen, Zeichenfolgen, die „Null“ sind, ganze Zahlen vom Typ -1 oder andere Platzhalter wie Nullen, werden nicht automatisch als Nullen erkannt.

• Merge – Ein Mischen von-Objekt.

  Gibt eine Transformation an, die ein DynamicFrame mit einem Staging-DynamicFrame basierend auf den angegebenen Primärschlüsseln zusammenführt, um Datensätze zu identifizieren. Doppelte Datensätze (Datensätze mit denselben Primärschlüsseln) werden nicht dedupliziert.

• Union – Ein Union-Objekt.

  Gibt eine Transformation an, die die Zeilen aus zwei oder mehr Datensätzen zu einem einzigen Ergebnis kombiniert.

• PIIDetection – Ein PIIDetection-Objekt.

  Gibt eine Transformation an, die PII-Daten identifiziert, entfernt oder maskiert.

• Aggregate – Ein Aggregate-Objekt.

  Gibt eine Transformation an, die Zeilen nach ausgewählten Feldern gruppiert und den aggregierten Wert nach der angegebenen Funktion berechnet.

• DropDuplicates – Ein DropDuplicates-Objekt.

  Gibt eine Transformation an, die Zeilen mit sich wiederholenden Daten aus einem Datensatz entfernt.

• GovernedCatalogTarget – Ein GovernedCatalogTarget-Objekt.

  Gibt ein Datenziel an, das in einen gesteuerten Katalog schreibt.

• GovernedCatalogSource – Ein GovernedCatalogSource-Objekt.

  Gibt eine Datenquelle in einem gesteuerten Datenkatalog an.

• MicrosoftSQLServerCatalogSource – Ein MicrosoftSQLServerCatalogSource-Objekt.

  Gibt eine Microsoft SQL Server-Datenquelle im AWS Glue -Datenkatalog an.

• MySQLCatalogSource – Ein MySQLCatalogSource-Objekt.

  Gibt eine MySQL-Datenquelle im Datenkatalog an. AWS Glue

• OracleSQLCatalogSource – Ein OracleSQLCatalogSource-Objekt.

  Gibt eine Oracle-Datenquelle im AWS Glue Datenkatalog an.

• PostgreSQLCatalogSource – Ein PostgreSQLCatalogSource-Objekt.

  Gibt eine PostgresSQL-Datenquelle im Datenkatalog an AWS Glue .

• MicrosoftSQLServerCatalogTarget – Ein MicrosoftSQLServerCatalogTarget-Objekt.

  Gibt ein Ziel an, das Microsoft SQL verwendet.

• MySQLCatalogTarget – Ein MySQLCatalogTarget-Objekt.

  Gibt ein Ziel an, das MySQL verwendet.

• OracleSQLCatalogTarget – Ein OracleSQLCatalogTarget-Objekt.

  Gibt ein Ziel an, das Oracle SQL verwendet.

• PostgreSQLCatalogTarget – Ein PostgreSQLCatalogTarget-Objekt.

  Gibt ein Ziel an, das Postgres SQL verwendet.

• Route – Ein Route-Objekt.

  Gibt einen Routenknoten an, der Daten basierend auf definierten Filterbedingungen an verschiedene Ausgabepfade weiterleitet.

• DynamicTransform – Ein DynamicTransform-Objekt.

  Gibt eine benutzerdefinierte visuelle Transformation an, die von einem Benutzer erstellt wurde.

• EvaluateDataQuality – Ein EvaluateDataQuality-Objekt.

  Gibt Ihre Auswertungskriterien für die Datenqualität an.

• S3CatalogHudiSource – Ein S3CatalogHudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die im Datenkatalog registriert ist. AWS Glue Die Datenquelle muss in Amazon S3 gespeichert sein.

• CatalogHudiSource – Ein CatalogHudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.

• S3HudiSource – Ein S3HudiSource-Objekt.

  Gibt eine Hudi-Datenquelle an, die in gespeichert ist. Amazon S3

• S3HudiCatalogTarget – Ein S3HudiCatalogTarget-Objekt.

  Gibt ein Ziel an, das in eine Hudi-Datenquelle im AWS Glue Datenkatalog schreibt.

• S3HudiDirectTarget – Ein S3HudiDirectTarget-Objekt.

  Gibt ein Ziel an, das in eine Hudi-Datenquelle schreibt. Amazon S3

• S3CatalogDeltaSource – Ein S3CatalogDeltaSource-Objekt.

  Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Datenquelle muss in gespeichert werden Amazon S3.

• CatalogDeltaSource – Ein CatalogDeltaSource-Objekt.

  Gibt eine Delta Lake-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.

• S3DeltaSource – Ein S3DeltaSource-Objekt.

  Gibt eine Delta Lake-Datenquelle an, die in gespeichert ist Amazon S3.

• S3DeltaCatalogTarget – Ein S3DeltaCatalogTarget-Objekt.

  Gibt ein Ziel an, das in eine Delta Lake-Datenquelle im AWS Glue Datenkatalog schreibt.

• S3DeltaDirectTarget – Ein S3DeltaDirectTarget-Objekt.

  Gibt ein Ziel an, das in eine Delta Lake-Datenquelle schreibt Amazon S3.

• AmazonRedshiftSource – Ein AmazonRedshiftSource-Objekt.

  Gibt ein Ziel an, das in eine Datenquelle in Amazon Redshift schreibt.

• AmazonRedshiftTarget – Ein AmazonRedshiftTarget-Objekt.

  Gibt ein Ziel an, das in ein Datenziel in Amazon Redshift schreibt.

• EvaluateDataQualityMultiFrame – Ein EvaluateDataQualityMultiFrame-Objekt.

  Gibt Ihre Auswertungskriterien für die Datenqualität an. Ermöglicht mehrere Eingabedaten und gibt eine Sammlung von Dynamic Frames zurück.

• Recipe – Ein Rezept-Objekt.

  Gibt einen AWS Glue DataBrew Rezeptknoten an.

• SnowflakeSource – Ein SnowflakeSource-Objekt.

  Gibt eine Snowflake-Datenquelle an.

• SnowflakeTarget – Ein SnowflakeTarget-Objekt.

  Gibt ein Ziel an, das in eine Snowflake-Datenquelle schreibt.

• ConnectorDataSource – Ein ConnectorDataSource-Objekt.

  Gibt eine Quelle an, die mit Standardverbindungsoptionen generiert wurde.

• ConnectorDataTarget – Ein ConnectorDataTarget-Objekt.

  Gibt ein Ziel an, das mit Standardverbindungsoptionen generiert wurde.

• S3CatalogIcebergSource – Ein S3CatalogIcebergSource-Objekt.

  Gibt eine Apache Iceberg-Datenquelle an, die im AWS Glue Datenkatalog registriert ist. Die Iceberg-Datenquelle muss in gespeichert werden. Amazon S3

• CatalogIcebergSource – Ein CatalogIcebergSource-Objekt.

  Gibt eine Apache Iceberg-Datenquelle an, die im AWS Glue Datenkatalog registriert ist.

• S3IcebergCatalogTarget – Ein S3IcebergCatalogTarget-Objekt.

  Gibt ein Apache Iceberg-Katalogziel an, das Daten in den Datenkatalog schreibt Amazon S3 und die Tabelle im AWS Glue Datenkatalog registriert.

• S3IcebergDirectTarget – Ein S3IcebergDirectTarget-Objekt.

  Definiert Konfigurationsparameter für das Schreiben von Daten in Amazon S3 als Apache-Iceberg-Tabelle.

• S3ExcelSource – Ein S3ExcelSource-Objekt.

  Gibt Konfigurationsparameter für das Lesen von Excel-Dateien aus Amazon S3 an.

• S3HyperDirectTarget – Ein S3HyperDirectTarget-Objekt.

  Definiert Konfigurationsparameter für das Schreiben von Daten in Amazon S3 mithilfe der HyperDirect Optimierung.

• DynamoDBELTConnectorSource – Ein DynamoDBELTConnectorSource-Objekt.

  Gibt eine DynamoDB-ELT-Connectorquelle zum Extrahieren von Daten aus DynamoDB-Tabellen an.

Felder

• FilterPredicate— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Zusätzliche Bedingungsklausel zum Filtern von Daten aus der Quelle. Zum Beispiel:

  BillingCity='Mountain View'

  Wenn Sie eine Abfrage anstelle eines Tabellennamens verwenden, sollten Sie überprüfen, ob die Abfrage mit dem angegebenen filterPredicate funktioniert.

• PartitionColumn— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name einer Ganzzahlspalte, die für die Partitionierung verwendet wird. Diese Option funktioniert nur, wenn sie in lowerBound, upperBound und numPartitions enthalten ist. Diese Option funktioniert auf die gleiche Weise wie im Spark SQL JDBC Reader.

• LowerBound – Zahl (lang).

  Der Mindestwert von partitionColumn, der verwendet wird, um Partitionsschritte festzulegen.

• UpperBound – Zahl (lang).

  Der Maximalwert von partitionColumn, der verwendet wird, um Partitionsschritte festzulegen.

• NumPartitions – Zahl (lang).

  Die Anzahl an Partitionen. Dieser Wert, zusammen mit lowerBound (inklusive) und upperBound (exklusiv), bilden Partitionsschritte für generierte WHERE-Klauselausdrücke, die verwendet werden, um die partitionColumn aufzuteilen.

• JobBookmarkKeys— Eine Reihe von UTF-8 Zeichenketten.

  Der Name der Auftrags-Lesezeichenschlüssel, nach denen sortiert werden soll.

• JobBookmarkKeysSortOrder— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Legt eine auf- oder absteigende Sortierreihenfolge fest.

• DataTypeMapping – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge (gültige Werte: ARRAY | BIGINT | BINARY | BIT | BLOB | BOOLEAN | CHAR | CLOB | DATALINK | DATE | DECIMAL | DISTINCT | DOUBLE | FLOAT | INTEGER | JAVA_OBJECT | LONGNVARCHAR | LONGVARBINARY | LONGVARCHAR | NCHAR | NCLOB | NULL | NUMERIC | NVARCHAR | OTHER | REAL | REF | REF_CURSOR | ROWID | SMALLINT | SQLXML | STRUCT | TIME | TIME_WITH_TIMEZONE | TIMESTAMP | TIMESTAMP_WITH_TIMEZONE| TINYINT | VARBINARY |VARCHAR).

  Jeder Wert ist eine UTF-8 Zeichenfolge (gültige Werte: DATE | | STRING | TIMESTAMP | INT | FLOAT | LONG | BIGDECIMAL | BYTE | SHORT |DOUBLE).

  Benutzerdefiniertes Datentyp-Mapping, das ein Mapping aus einem JDBC-Datentyp auf einen AWS Glue -Datentyp durchführt. Beispielsweise "dataTypeMapping":{"FLOAT":"STRING"} ordnet die Option Datenfelder vom Typ JDBC dem String Typ Java FLOAT zu, indem sie die ResultSet.getString() Methode des Treibers aufruft und sie verwendet, um den AWS Glue Datensatz zu erstellen. Das ResultSet-Objekt wird von jedem Treiber implementiert, sodass das Verhalten spezifisch für den von Ihnen verwendeten Treiber ist. Informieren Sie sich in der Dokumentation für Ihren JDBC-Treiber, um zu verstehen, wie der Treiber die Konvertierungen durchführt.

Felder

• PollingTime – Zahl (lang), mindestens 10.

  Die Abrufzeit in Millisekunden.

• RecordPollingLimit – Zahl (lang), mindestens 1.

  Die Begrenzung der Anzahl der befragten Datensätze.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• ConnectionName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Art der Verbindung, wie marketplace.athena oder custom.athena, die eine Verbindung zu einem Amazon Athena-Datenspeicher bezeichnet.

• ConnectionTable— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenquelle.

• SchemaName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name des zu lesenden CloudWatch-Protokollgruppenstreams. Beispiel, /aws-glue/jobs/output.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Athena-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• ConnectionName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Art der Verbindung, wie marketplace.jdbc oder custom.jdbc, die eine Verbindung zu einem JDBC-Datenspeicher bezeichnet.

• AdditionalOptions – Ein JDBCConnectorOptions-Objekt.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• ConnectionTable— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenquelle.

• Query— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #67.

  Die Tabelle oder SQL-Abfrage, aus der die Daten abgerufen werden. Sie können ConnectionTable oder query angeben, aber nicht beides.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte JDBC-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• ConnectionName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectorName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name eines Connectors, der den Zugriff auf den Datenspeicher in AWS Glue Studio unterstützt.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Sparkquelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• PartitionPredicate— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Katalogquelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entspricht. Custom string pattern #68

  Der Name der Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name der Datenquelle.

• WindowSize – Zahl (Ganzzahl).

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• StreamingOptions – Ein KinesisStreamingSourceOptions-Objekt.

  Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Zusätzliche Optionen für die Datenvorschau.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• WindowSize – Zahl (Ganzzahl).

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• StreamingOptions – Ein KinesisStreamingSourceOptions-Objekt.

  Zusätzliche Optionen für die Kinesis-Streaming-Datenquelle.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Zusätzliche Optionen für die Datenvorschau.

Felder

• EndpointUrl— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die URL des Kinesis-Endpunktes.

• StreamName— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name des Kinesis-Datenstroms.

• Classification— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Eine optionale Klassifizierung.

• Delimiter— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt das Trennzeichen an.

• StartingPosition— UTF-8 Zeichenfolge (gültige Werte: latest="LATEST" | trim_horizon="TRIM_HORIZON" | earliest="EARLIEST" |timestamp="TIMESTAMP").

  Die Ausgangsposition im Kinesis Data Stream, von dem Daten gelesen werden sollen. Die möglichen Werte sind"latest",, "trim_horizon""earliest", oder eine Zeitstempelzeichenfolge im UTC-Format im Muster yyyy-mm-ddTHH:MM:SSZ (wobei ein UTC-Zeitzonen-Offset mit einem Z Wert von +/- steht). Zum Beispiel: „T08:00:00-04:002023-04-04 „). Der Standardwert ist "latest".

  Hinweis: Die Verwendung eines Werts, der eine Zeitstempelzeichenfolge im UTC-Format für „StartingPosition“ ist, wird nur für Version 4.0 oder höher unterstützt. AWS Glue

• MaxFetchTimeInMs – Zahl (lang).

  Die maximale Zeit, die der Auftrags-Executor zum Lesen der Datensätze für den aktuellen Batch aus dem Kinesis-Datenstrom benötigt, angegeben in Millisekunden (ms). Innerhalb dieser Zeit können mehrere GetRecords-API-Aufrufe getätigt werden. Der Standardwert ist 1000.

• MaxFetchRecordsPerShard – Zahl (lang).

  Die maximale Anzahl von Datensätzen, die pro Shard im Kinesis-Datenstrom pro Microbatch abgerufen werden sollen. Hinweis: Der Client kann dieses Limit überschreiten, wenn der Streaming-Auftrag bereits zusätzliche Datensätze von Kinesis gelesen hat (im selben get-records-Aufruf). Wenn MaxFetchRecordsPerShard streng sein muss, muss es ein Vielfaches von MaxRecordPerRead sein. Der Standardwert ist 100000.

• MaxRecordPerRead – Zahl (lang).

  Die maximale Anzahl von Datensätzen, die aus dem Kinesis Data Stream in jeder getRecords-Operation abgerufen werden sollen. Der Standardwert ist 10000.

• AddIdleTimeBetweenReads – Boolesch.

  Fügt eine Zeitverzögerung zwischen zwei aufeinander folgenden -Operationen ein. Der Standardwert ist "False". Diese Option ist nur für AWS Glue -Version 2.0 und höher konfigurierbar.

• IdleTimeBetweenReadsInMs – Zahl (lang).

  Die minimale Zeitverzögerung zwischen zwei aufeinanderfolgenden getRecords-Operationen, angegeben in Millisekunden (ms). Der Standardwert ist 1000. Diese Option ist nur für AWS Glue Version 2.0 und höher konfigurierbar.

• DescribeShardInterval – Zahl (lang).

  Das Mindestzeitintervall zwischen zwei ListShards API-Aufrufen, in dem Ihr Skript Resharding in Betracht zieht. Der Standardwert ist 1s.

• NumRetries – Zahl (Ganzzahl).

  Die maximale Anzahl erneuter Versuche für API-Aufrufe von Kinesis Data Streams. Der Standardwert ist 3.

• RetryIntervalMs – Zahl (lang).

  Die Abkühlzeit (angegeben in ms) vor dem erneuten Versuch des API-Aufrufs von Kinesis Data Streams. Der Standardwert ist 1000.

• MaxRetryIntervalMs – Zahl (lang).

  Die maximale Abkühlzeit (angegeben in ms) zwischen zwei wiederholten Versuchen eines API-Aufrufs von Kinesis Data Streams. Der Standardwert ist 10000.

• AvoidEmptyBatches – Boolesch.

  Vermeidet das Erstellen eines leeren Mikrobatchauftrags, indem vor dem Start des Batches im Kinesis Data Stream nach ungelesenen Daten gesucht wird. Der Standardwert ist "False".

• StreamArn— UTF-8 Zeichenfolge, die dem entspricht. Custom string pattern #66

  Der Amazon-Ressourcenname (ARN) des Kinesis Data Stream.

• RoleArn— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Amazon-Ressourcenname (ARN) der Rolle, die mit AWS Security Token Service (AWS STS) übernommen werden soll. Diese Rolle muss über Berechtigungen zum Beschreiben oder Lesen von Datensatzoperationen für den Kinesis-Datenstrom verfügen. Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit "awsSTSSessionName".

• RoleSessionName— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Eine Kennung für die Sitzung, die die Rolle mit AWS STS übernimmt. Sie müssen diesen Parameter verwenden, wenn Sie auf einen Datenstrom in einem anderen Konto zugreifen. Verwendet in Verbindung mit "awsSTSRoleARN".

• AddRecordTimestamp— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Wenn diese Option auf 'true' gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die die Uhrzeit angibt, zu der der entsprechende Datensatz mit dem Stream empfangen wurde. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• EmitConsumerLagMetrics— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Wenn diese Option auf „true“ gesetzt ist, werden für jeden Batch die Messwerte für den Zeitraum zwischen dem ältesten Datensatz, den der Stream empfangen hat, und dem Zeitpunkt, AWS Glue zu dem er eingeht, ausgegeben CloudWatch. Der Name der Metrik lautet „glue.driver.streaming.maxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• StartingTimestamp— Zeichenfolge. UTF-8

  Der Zeitstempel des Datensatzes im Kinesis-Datenstrom, aus dem mit dem Lesen der Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge des Musters im UTC-Format yyyy-mm-ddTHH:MM:SSZ (wobei Z für einen UTC-Zeitzonen-Offset mit einem Wert von +/- steht). Zum Beispiel: „2023-04-04 T08:00:00 + 08:00 „).

• FanoutConsumerARN— UTF-8 Zeichenfolge, die dem entspricht. Custom string pattern #66

  Der Amazon-Ressourcenname (ARN) des erweiterten Fan-Out-Konsumenten des Kinesis-Datenstroms. Wenn angegeben, aktiviert dies den erweiterten Fan-Out für dedizierten Durchsatz und Datenverbrauch mit geringerer Latenz.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• WindowSize – Zahl (Ganzzahl).

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• StreamingOptions – Ein KafkaStreamingSourceOptions-Objekt.

  Gibt die Streaming-Optionen an.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• StreamingOptions – Ein KafkaStreamingSourceOptions-Objekt.

  Gibt die Streaming-Optionen an.

• WindowSize – Zahl (Ganzzahl).

  Die Zeitspanne für die Verarbeitung der einzelnen Batches.

• DetectSchema – Boolesch.

  Ob das Schema aus den eingehenden Daten automatisch ermittelt werden soll.

• DataPreviewOptions – Ein StreamingDataPreviewOptions-Objekt.

  Gibt Optionen im Zusammenhang mit der Datenvorversion zum Anzeigen einer Stichprobe Ihrer Daten an.

Felder

• BootstrapServers— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Eine Liste von Bootstrap-Server-URLs, z. B. b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094. Diese Option muss im API-Aufruf angegeben oder in den Tabellenmetadaten im Data Catalog definiert werden.

• SecurityProtocol— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Das Protokoll, das für die Kommunikation mit Brokern verwendet wird. Die möglichen Werte sind "SSL" oder "PLAINTEXT".

• ConnectionName— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Verbindung.

• TopicName— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name des Themas, wie in Apache Kafka angegeben. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• Assign— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die spezifischen zu verbrauchenden TopicPartitions. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• SubscribePattern— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Eine Java-Regex-Zeichenfolge, die die Themenliste identifiziert, die abonniert werden soll. Sie müssen mindestens einen der folgenden Aspekte angeben: "topicName", "assign" oder "subscribePattern".

• Classification— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Eine optionale Klassifizierung.

• Delimiter— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt das Trennzeichen an.

• StartingOffsets— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Ausgangsposition im Kafka-Thema, aus dem Daten gelesen werden sollen. Die möglichen Werte sind "earliest" oder "latest". Der Standardwert ist "latest".

• EndingOffsets— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Endpunkt, wenn eine Batchabfrage beendet wird. Die möglichen Werte sind entweder "latest" oder eine JSON-Zeichenfolge, die einen Offset für das Ende jeder TopicPartition angibt.

• PollTimeoutMs – Zahl (lang).

  Das Timeout in Millisekunden, um Daten von Kafka in Spark-Auftragsausführungen abzufragen. Der Standardwert ist 512.

• NumRetries – Zahl (Ganzzahl).

  Die Anzahl, wie oft erneute Versuche durchgeführt werden sollen, bevor Kafka-Offsets nicht abgerufen werden. Der Standardwert ist 3.

• RetryIntervalMs – Zahl (lang).

  Die Wartezeit in Millisekunden, bevor Sie erneut versuchen, Kafka-Offsets abzurufen. Der Standardwert ist 10.

• MaxOffsetsPerTrigger – Zahl (lang).

  Die Ratengrenze für die maximale Anzahl von Offsets, die pro Triggerintervall verarbeitet werden. Die angegebene Gesamtzahl der Offsets wird proportional auf topicPartitionsvon verschiedenen Volumes aufgeteilt. Der Standardwert ist null, was bedeutet, dass der Verbraucher alle Offsets bis zum bekannten letzten Offset liest.

• MinPartitions – Zahl (Ganzzahl).

  Die gewünschte Mindestanzahl an Partitionen, die von Kafka gelesen werden sollen. Der Standardwert ist null, was bedeutet, dass die Anzahl der Spark-Partitionen gleich der Anzahl der Kafka-Partitionen ist.

• IncludeHeaders – Boolesch.

  Ob die Kafka-Header eingeschlossen werden sollen. Wenn die Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „glue_streaming_kafka_headers“ mit dem Typ Array[Struct(key: String, value: String)]. Der Standardwert ist „false“. Diese Option ist nur in AWS Glue Version 3.0 oder höher verfügbar.

• AddRecordTimestamp— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Wenn diese Option auf „true“ gesetzt ist, enthält die Datenausgabe eine zusätzliche Spalte mit dem Namen „__src_timestamp“, die den Zeitpunkt angibt, zu dem der entsprechende Datensatz beim Thema eingegangen ist. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• EmitConsumerLagMetrics— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Wenn diese Option auf „true“ gesetzt ist, werden für jeden Batch die Messwerte für den Zeitraum zwischen dem ältesten Datensatz, den das Thema erhalten hat, und dem Zeitpunkt ausgegeben, AWS Glue zu dem das Thema eingegangen ist CloudWatch. Der Name der Metrik lautet „glue.driver.streaming.maxConsumerLagInMs“. Der Standardwert von "false". Diese Option wird in AWS Glue Version 4.0 oder höher unterstützt.

• StartingTimestamp— Zeichenfolge. UTF-8

  Der Zeitstempel des Datensatzes im Kafka-Thema, aus dem mit dem Lesen von Daten begonnen werden soll. Die möglichen Werte sind eine Zeitstempelzeichenfolge des Musters im UTC-Format yyyy-mm-ddTHH:MM:SSZ (wobei Z für einen UTC-Zeitzonen-Offset mit einem Wert von +/- steht). Zum Beispiel: „2023-04-04 T08:00:00 + 08:00 „).

  Es muss nur ein StartingTimestamp oder StartingOffsets festgelegt werden.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Amazon-Redshift-Datenspeichers.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die zu lesende Datenbanktabelle.

• RedshiftTmpDir— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• TmpDirIAMRole— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die IAM-Rolle mit Berechtigungen.

Felder

• Name— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Amazon-Redshift-Quelle.

• Data – Ein AmazonRedshiftNodeData-Objekt.

  Gibt die Daten des Amazon-Reshift-Quellknotens an.

Felder

• AccessType— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Der Zugriffstyp für die Redshift-Verbindung. Dies kann eine direkte Verbindung oder eine Katalogverbindung sein.

• SourceType— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Der Quelltyp, der angibt, ob eine bestimmte Tabelle die Quelle oder eine benutzerdefinierte Abfrage ist.

• Connection – Ein Option-Objekt.

  Die AWS Glue Verbindung zum Redshift-Cluster.

• Schema – Ein Option-Objekt.

  Der Name des Redshift-Schemas beim Arbeiten mit einer direkten Verbindung.

• Table – Ein Option-Objekt.

  Der Name der Redshift-Tabelle beim Arbeiten mit einer Direktverbindung.

• CatalogDatabase – Ein Option-Objekt.

  Der Name der AWS Glue Datenkatalog-Datenbank bei der Arbeit mit einem Datenkatalog.

• CatalogTable – Ein Option-Objekt.

  Der Name der AWS Glue Datenkatalogtabelle, wenn Sie mit einem Datenkatalog arbeiten.

• CatalogRedshiftSchema— UTF-8 Zeichenfolge.

  Der Name des Redshift-Schemas bei der Arbeit mit einem Datenkatalog.

• CatalogRedshiftTable— UTF-8 Zeichenfolge.

  Die zu lesende Datenbanktabelle.

• TempDir— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• IamRole – Ein Option-Objekt.

  Optional. Der Rollenname, der bei der Verbindung mit S3 verwendet wird. Wenn das Feld leer gelassen wird, wird standardmäßig die Rolle des Auftrags als IAM-Rolle verwendet.

• AdvancedOptions – Ein Array mit AmazonRedshiftAdvancedOption-Objekten.

  Optionale Werte beim Herstellen einer Verbindung zum Redshift-Cluster.

• SampleQuery— UTF-8 Zeichenfolge.

  Das SQL, das verwendet wird, um die Daten aus einer Redshift-Quelle abzurufen, wenn es sich um eine „Abfrage“ SourceType handelt.

• PreAction UTF-8 — Zeichenfolge.

  Die SQL, die vor der Ausführung eines MERGE- oder APPEND-Vorgangs mit Upsert verwendet wird.

• PostAction— UTF-8 Zeichenfolge.

  Die SQL, die vor der Ausführung eines MERGE- oder APPEND-Vorgangs mit Upsert verwendet wird.

• Action— UTF-8 Zeichenfolge.

  Gibt an, wie in einen Redshift-Cluster geschrieben wird.

• TablePrefix— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Gibt das Präfix für eine Tabelle an.

• Upsert – Boolesch.

  Die auf Redshift verwendete Aktion sinkt, wenn ein APPEND-Vorgang durchgeführt wird.

• MergeAction— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Die Aktion, mit der bestimmt wird, wie ein MERGE-Vorgang in einer Redshift-Senke behandelt wird.

• MergeWhenMatched— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Die Aktion, mit der bestimmt wird, wie ein MERGE-Vorgang in einer Redshift-Senke gehandhabt wird, wenn ein vorhandener Datensatz mit einem neuen Datensatz übereinstimmt.

• MergeWhenNotMatched— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Die Aktion, mit der bestimmt wird, wie ein MERGE-Vorgang in einer Redshift-Senke behandelt wird, wenn ein vorhandener Datensatz nicht mit einem neuen Datensatz übereinstimmt.

• MergeClause— UTF-8 Zeichenfolge.

  Das SQL, das bei einer benutzerdefinierten Zusammenführung zum Umgang mit übereinstimmenden Datensätzen verwendet wird.

• CrawlerConnection— UTF-8 Zeichenfolge.

  Gibt den Namen der Verbindung an, die der verwendeten Katalogtabelle zugeordnet ist.

• TableSchema – Ein Array mit Option-Objekten.

  Das Array der Schemaausgabe für einen bestimmten Knoten.

• StagingTable— UTF-8 Zeichenfolge.

  Der Name der temporären Staging-Tabelle, die beim Ausführen eines MERGE- oder APPEND-Vorgangs mit Upsert verwendet wird.

• SelectedColumns – Ein Array mit Option-Objekten.

  Die Liste der Spaltennamen, die verwendet wird, um einen passenden Datensatz zu ermitteln, wenn ein MERGE- oder APPEND-Vorgang mit Upsert durchgeführt wird.

Felder

• Key— UTF-8 Zeichenfolge.

  Der Schlüssel für die zusätzliche Verbindungsoption.

• Value— UTF-8 Zeichenfolge.

  Der Wert für die zusätzliche Verbindungsoption.

Felder

• Value— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt den Wert der Option an.

• Label— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt die Bezeichnung der Option an.

• Description— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt die Beschreibung der Option an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die zu lesende Datenbanktabelle.

• PartitionPredicate— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf "" – standardmäßig auf leer festgelegt.

• AdditionalOptions – Ein S3SourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

Felder

• BoundedSize – Zahl (lang).

  Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.

• BoundedFiles – Zahl (lang).

  Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType— UTF-8 Zeichenfolge (gültige Werte: gzip="GZIP" |bzip2="BZIP2").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions— Eine Reihe von UTF-8 Zeichenketten.

  Eine Zeichenfolge, die eine JSON-Liste der Unix-style auszuschließenden Glob-Muster enthält. Beispiel: „[\"**.pdf \"]“ schließt alle PDF-Dateien aus.

• GroupSize— UTF-8 Zeichenfolge, die dem Custom string pattern #66 entspricht.

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "inPartition". Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl).

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten MaxBand-Millisekunden liegen, werden speziell bei Verwendung nachverfolgt, um der eventuellen Konsistenz von Amazon JobBookmarks S3 Rechnung zu tragen. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl).

  Diese Option gibt die maximale Anzahl von Dateien an, die aus den letzten maxBand Sekunden gespeichert werden sollen. Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• Separator— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: comma="COMMA" | | | |). ctrla="CTRLA" pipe="PIPE" semicolon="SEMICOLON" tab="TAB"

  Gibt das Trennzeichen an. Der Standardwert ist ein Komma: „,“, es können aber alle anderen Zeichen angegeben werden.

• Escaper— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt das Escape-Zeichen an. Diese Option wird nur beim Lesen von CSV-Dateien verwendet. Der Standardwert ist none. Wenn diese Option aktiviert ist, wird das unmittelbar folgende Zeichen als solches verwendet, außer einer kleinen Menge bekannter Escapes (\n, \r, \t und \0).

• QuoteChar— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: quote="QUOTE" | quillemet="QUILLEMET" | single_quote="SINGLE_QUOTE" |disabled="DISABLED").

  Gibt das Zeichen für Anführungszeichen an. Standardmäßig werden doppelte Anführungszeichen '"' verwendet. Setzen Sie dies auf -1, um Anführungszeichen generell zu deaktivieren.

• Multiline – Boolesch.

  Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist False. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse.

• WithHeader – Boolesch.

  Ein boolescher Wert, der angibt, ob die erste Zeile als Kopfzeile zu behandeln ist. Der Standardwert ist False.

• WriteHeader – Boolesch.

  Ein boolescher Wert, der angibt, ob die Kopfzeile mit ausgegeben wird. Der Standardwert ist True.

• SkipFirst – Boolesch.

  Ein boolescher Wert, der angibt, ob die erste Datenzeile übersprungen wird. Der Standardwert ist False.

• OptimizePerformance – Boolesch.

  Ein boolescher Wert, der angibt, ob der erweiterte SIMD-CSV-Reader zusammen mit Apache Arrow basierten spaltenförmigen Speicherformaten verwendet werden soll. Nur in AWS Glue Version 3.0 verfügbar.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die S3-CSV-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der JDBC-Quellverbindung.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Datenbank der JDBC-Quellverbindung.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Tabelle der JDBC-Quellverbindung.

• ConnectionName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Verbindungsname der JDBC-Quelle.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: sqlserver | mysql | oracle | postgresql |redshift).

  Der Verbindungstyp der JDBC-Quelle.

• RedshiftTmpDir— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Das temporäre Verzeichnis der JDBC-Redshift-Quelle.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die direkte JDBC-Quelle an.

Felder

• BoundedSize – Zahl (lang).

  Legt die Obergrenze für die Zielgröße des Datensatzes, die verarbeitet werden, in Byte fest.

• BoundedFiles – Zahl (lang).

  Legt die Obergrenze für die Zielanzahl von Dateien fest, die verarbeitet werden.

• EnableSamplePath – Boolesch.

  Legt die Option zum Aktivieren eines Beispielpfads fest.

• SamplePath— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Wenn diese Option aktiviert ist, gibt den Beispielpfad an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType— UTF-8 Zeichenfolge (gültige Werte: gzip="GZIP" |bzip2="BZIP2").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions— Eine Reihe von UTF-8 Zeichenketten.

  Eine Zeichenfolge, die eine JSON-Liste der Unix-style auszuschließenden Glob-Muster enthält. Beispiel: „[\"**.pdf \"]“ schließt alle PDF-Dateien aus.

• GroupSize— UTF-8 Zeichenfolge, die dem Custom string pattern #66 entspricht.

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "inPartition". Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl).

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten MaxBand-Millisekunden liegen, werden speziell bei Verwendung nachverfolgt, um der eventuellen Konsistenz von Amazon JobBookmarks S3 Rechnung zu tragen. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl).

  Diese Option gibt die maximale Anzahl von Dateien an, die aus den letzten maxBand Sekunden gespeichert werden sollen. Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• JsonPath— Zeichenfolge, die dem entspricht. UTF-8 Custom string pattern #66

  Eine JsonPath Zeichenfolge, die die JSON-Daten definiert.

• Multiline – Boolesch.

  Ein boolescher Wert, der angibt, ob ein einzelner Datensatz mehrere Zeilen umfassen kann. Dies kommt vor, wenn ein Feld ein Neue-Zeile-Zeichen in Anführungszeichen enthält. Sie müssen diese Option auf "true" setzen, wenn ein Datensatz mehrere Zeilen umfasst. Der Standardwert ist False. Dies ermöglicht eine rigorosere Dateiaufteilung während der Analyse.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die S3-JSON-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• CompressionType— UTF-8 Zeichenfolge (gültige Werte: snappy="SNAPPY" | lzo="LZO" | gzip="GZIP" | brotli="BROTLI" | lz4="LZ4" | uncompressed="UNCOMPRESSED" |none="NONE").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• Exclusions— Eine Reihe von UTF-8 Zeichenketten.

  Eine Zeichenfolge, die eine JSON-Liste der Unix-style auszuschließenden Glob-Muster enthält. Beispiel: „[\"**.pdf \"]“ schließt alle PDF-Dateien aus.

• GroupSize— UTF-8 Zeichenfolge, die dem Custom string pattern #66 entspricht.

  Die Größe der Zielgruppe in Bytes. Der Standardwert wird anhand der Größe der Eingabedaten und der Größe des Clusters berechnet. Wenn es weniger als 50 000 Eingabedateien gibt, muss "groupFiles" auf "inPartition" gesetzt werden, damit dies wirksam wird.

• GroupFiles— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Gruppierung von Dateien ist standardmäßig aktiviert, wenn die Eingabe mehr als 50 000 Dateien enthält. Um die Gruppierung mit weniger als 50.000 Dateien zu aktivieren, setzen Sie diesen Parameter auf "inPartition". Um die Gruppierung zu deaktivieren, wenn mehr als 50 000 Dateien vorhanden sind, setzen Sie diesen Parameter auf "none".

• Recurse – Boolesch.

  Wenn auf true gesetzt, werden Dateien in allen Unterverzeichnissen unter den angegebenen Pfaden rekursiv gelesen.

• MaxBand – Zahl (Ganzzahl).

  Diese Option steuert die Dauer in Millisekunden, nach der die S3-Auflistung wahrscheinlich konsistent ist. Dateien mit Änderungszeitstempeln, die innerhalb der letzten MaxBand-Millisekunden liegen, werden speziell bei Verwendung nachverfolgt, um der eventuellen Konsistenz von Amazon JobBookmarks S3 Rechnung zu tragen. Die meisten Benutzer müssen diese Option nicht festlegen. Der Standardwert ist 900 000 Millisekunden oder 15 Minuten

• MaxFilesInBand – Zahl (Ganzzahl).

  Diese Option gibt die maximale Anzahl von Dateien an, die aus den letzten maxBand Sekunden gespeichert werden sollen. Wird diese Anzahl überschritten, werden zusätzliche Dateien übersprungen und erst bei der nächsten Auftragsausführung verarbeitet.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die S3-Parkett-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Delta-Lake-Quelle.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen an.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Optionen für den Konnektor an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Delta-Lake-Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Delta-Lake-Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalDeltaOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Delta-Lake-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name der Hudi-Quelle.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Eine Liste der Amazon-S3-Pfade, aus denen gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen an.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Gibt zusätzliche Optionen für den Konnektor an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name der Hudi-Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der S3-Excel-Datenquelle.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Die S3-Pfade, unter denen sich die Excel-Dateien befinden.

• CompressionType— UTF-8 Zeichenfolge (gültige Werte: snappy="SNAPPY" | lzo="LZO" | gzip="GZIP" | brotli="BROTLI" | lz4="LZ4" | uncompressed="UNCOMPRESSED" |none="NONE").

  Das für die Excel-Dateien verwendete Komprimierungsformat.

• Exclusions— Eine Reihe von UTF-8 Zeichenketten.

  Muster, um bestimmte Dateien oder Pfade von der Verarbeitung auszuschließen.

• GroupSize— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Definiert die Größe von Dateigruppen für die Stapelverarbeitung.

• GroupFiles— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt an, wie Dateien für die Verarbeitung gruppiert werden sollen.

• Recurse – Boolesch.

  Gibt an, ob Unterverzeichnisse rekursiv verarbeitet werden sollen.

• MaxBand – Zahl (Ganzzahl).

  Die maximale Anzahl der zu verwendenden Verarbeitungsbänder.

• MaxFilesInBand – Zahl (Ganzzahl).

  Die maximale Anzahl der Dateien, die in jedem Band verarbeitet werden sollen.

• AdditionalOptions – Ein S3DirectSourceAdditionalOptions-Objekt.

  Zusätzliche Konfigurationsoptionen für die direkte S3-Quellverarbeitung.

• NumberRows – Zahl (lang).

  Die Anzahl der zu verarbeitenden Zeilen aus jeder Excel-Datei.

• SkipFooter – Zahl (Ganzzahl).

  Die Anzahl der Zeilen, die am Ende jeder Excel-Datei übersprungen werden sollen.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Die AWS Glue Schemas, die auf die verarbeiteten Daten angewendet werden sollen.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name der Hudi-Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalHudiOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Hudi-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entspricht. Custom string pattern #68

  Der Name der Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• PitrEnabled – Boolesch.

  Gibt an, ob Point-in-Time Recovery (PITR) für die DynamoDB-Tabelle aktiviert ist. Wenn diese Option auf true gesetzt ist, ist das Lesen ab einem bestimmten Zeitpunkt möglich. Der Standardwert ist false.

• AdditionalOptions – Ein DDBELTCatalogAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen für die Amazon S3-Datenquelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• ConnectionName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Verbindung, die dem Konnektor zugeordnet ist.

• ConnectionTable— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle im Datenziel.

• ConnectorName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Einen Namen für den Konnektor, der verwendet werden wird.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Art der Verbindung, wie marketplace.jdbc oder custom.jdbc, die eine Verbindung zu einem JDBC-Datenziel bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das JDBC-Ziel an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• ConnectionName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name einer Verbindung für einen Apache-Spark-Konnektor.

• ConnectorName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name eines Apache-Spark-Konnektors.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Art der Verbindung, wie marketplace.spark oder custom.spark, die eine Verbindung zu einem Apache-Spark-Datenspeicher bezeichnet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Zusätzliche Verbindungsoptionen für den Konnektor.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das benutzerdefinierte Spark-Ziel an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name Ihres Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Die Partitionsschlüssel, die verwendet werden, um Daten basierend auf einem bestimmten Schlüssel oder Schlüsselsatz auf mehrere Partitionen oder Shards zu verteilen.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Datenbank, die die Tabelle enthält, die Sie als Ziel verwenden möchten. Diese Datenbank muss bereits im Data Catalog vorhanden sein.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Tabelle, die das Schema Ihrer Ausgabedaten definiert. Diese Tabelle muss bereits im -Data Catalog vorhanden sein.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• RedshiftTmpDir— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Amazon S3-Pfad, in dem temporäre Daten beim Kopieren aus der Datenbank bereitgestellt werden können.

• TmpDirIAMRole— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die IAM-Rolle mit Berechtigungen.

• UpsertRedshiftOptions – Ein UpsertRedshiftTargetOptions-Objekt.

  Die Reihe von Optionen zum Konfigurieren einer Upsert-Operation beim Schreiben in ein Redshift-Ziel.

Felder

• Name— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Amazon-Redshift-Ziels.

• Data – Ein AmazonRedshiftNodeData-Objekt.

  Gibt die Daten des Amazon-Redshift-Zielknotens an.

• Inputs— Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenkette.

  Die Knoten, die Eingaben für das Datenziel sind.

Felder

• TableLocation— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der physische Standort der Redshift-Tabelle.

• ConnectionName— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Verbindung, die zum Schreiben in Redshift verwendet werden soll.

• UpsertKeys— Eine Reihe von UTF-8 Zeichenketten.

  Die Schlüssel, mit denen festgestellt wird, ob eine Aktualisierung oder ein Einfügen durchgeführt werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Katalogziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Ein einziger Amazon S3-Pfad, in den geschrieben wird.

• Compression— UTF-8 Zeichenfolge (gültige Werte: snappy="SNAPPY" | lzo="LZO" | gzip="GZIP" | brotli="BROTLI" | lz4="LZ4" | uncompressed="UNCOMPRESSED" |none="NONE").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• NumberTargetPartitions— UTF-8 Zeichenfolge.

  Definiert die Anzahl der Zielpartitionen für Parquet-Dateien beim Schreiben in Amazon S3 mit AWS Glue.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3 AWS Glue Parquet-Ziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

Felder

• EnableUpdateCatalog – Boolesch.

  Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.

• UpdateBehavior— UTF-8 Zeichenfolge (gültige Werte: UPDATE_IN_DATABASE |LOG).

  Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Ein einziger Amazon S3-Pfad, in den geschrieben wird.

• Compression— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• NumberTargetPartitions— UTF-8 Zeichenfolge.

  Gibt die Anzahl der Zielpartitionen an, wenn Daten direkt in Amazon S3 geschrieben werden.

• Format— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" |xml="XML").

  Gibt das Datenausgabeformat für das Ziel an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Direktziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das S3-Direktziel an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• AdditionalOptions – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Hudi-Katalogziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das S3-Hudi-Katalogziel an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Amazon-S3-Pfad Ihrer Hudi-Datenquelle, in die geschrieben werden soll.

• Compression— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: gzip="GZIP" | lzo="LZO" | uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• NumberTargetPartitions— UTF-8 Zeichenfolge.

  Gibt die Anzahl der Zielpartitionen für die Verteilung von Hudi-Datensatzdateien in Amazon S3 an.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Format— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" |xml="XML").

  Gibt das Datenausgabeformat für das Ziel an.

• AdditionalOptions – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Hudi-Direktziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Delta-Katalogziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das S3-Delta-Katalogziel an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Amazon-S3-Pfad Ihrer Delta-Lake-Datenquelle, in die geschrieben werden soll.

• Compression— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Gibt an, wie die Daten komprimiert werden. Dies ist in der Regel nicht notwendig, wenn die Daten eine Standard-Dateierweiterung haben. Mögliche Werte sind "gzip" und "bzip").

• NumberTargetPartitions— UTF-8 Zeichenfolge.

  Gibt die Anzahl der Zielpartitionen für die Verteilung von Delta-Lake-Datensatzdateien in Amazon S3 an.

• Format— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" |xml="XML").

  Gibt das Datenausgabeformat für das Ziel an.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen für den Konnektor an.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Eine Richtlinie, in der die Aktualisierungsverhaltensweisen für den Crawler festgelegt sind.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Delta-Direktziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der eindeutige Bezeichner für den HyperDirect Zielknoten.

• Inputs— Erforderlich: Ein Array von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Gibt die Eingabequelle für das HyperDirect Ziel an.

• Format— UTF-8 Zeichenfolge (gültige Werte: json="JSON" | csv="CSV" | | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" |xml="XML").

  Gibt das Datenausgabeformat für das HyperDirect Ziel an.

• PartitionKeys— Ein Array von UTF-8 Zeichenketten.

  Definiert die Partitionierungsstrategie für die Ausgabedaten.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der S3-Speicherort, an den die Ausgabedaten geschrieben werden.

• Compression— UTF-8 Zeichenfolge (gültige Werte:uncompressed="UNCOMPRESSED").

  Der Komprimierungstyp, der auf die Ausgabedaten angewendet werden soll.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Definiert, wie Schemaänderungen bei Schreibvorgängen behandelt werden.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Hyper-Direktziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das S3-Hyper-Direktziel an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Gibt den eindeutigen Bezeichner für den Iceberg-Zielknoten in Ihrer Datenpipeline an.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Definiert die einzige Eingabequelle, die Daten für dieses Iceberg-Ziel bereitstellt.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die Spalten an, die zur Partitionierung der Iceberg-Tabellendaten in S3 verwendet werden.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Legt den S3-Speicherort fest, an dem die Iceberg-Tabellendaten gespeichert werden.

• Format— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" |xml="XML").

  Gibt das Dateiformat an, das zum Speichern von Iceberg-Tabellendaten verwendet wird (z. B. Parquet, ORC).

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Stellt zusätzliche Konfigurationsoptionen für die Anpassung des Verhaltens der Iceberg-Tabelle bereit.

• SchemaChangePolicy – Ein DirectSchemaChangePolicy-Objekt.

  Definiert, wie Schemaänderungen beim Schreiben von Daten in die Iceberg-Tabelle behandelt werden.

• Compression— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: gzip="GZIP" | lzo="LZO" | uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Gibt den Komprimierungs-Codec an, der für Iceberg-Tabellendateien in S3 verwendet wird.

• NumberTargetPartitions— UTF-8 Zeichenfolge.

  Legt die Anzahl der Zielpartitionen für die Verteilung von Iceberg-Tabellendateien in S3 fest.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für das S3-Iceberg-Direktziel an.

Felder

• EnableUpdateCatalog – Boolesch.

  Ob das Aktualisierungsverhalten verwendet werden soll, wenn der Crawler ein geändertes Schema findet.

• UpdateBehavior— UTF-8 Zeichenfolge (gültige Werte: UPDATE_IN_DATABASE |LOG).

  Das Aktualisierungsverhalten, wenn der Crawler ein geändertes Schema findet.

• Table— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt die Tabelle in der Datenbank an, für die die Schemaänderungsrichtlinie gilt.

• Database— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt die Datenbank an, für die die Schemaänderungsrichtlinie gilt.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Mapping – Erforderlich: Ein Array mit Mapping-Objekten.

  Gibt die Zuordnung der Dateneigenschaftsschlüssel in der Datenquelle den Dateneigenschaftsschlüsseln im Datenziel an.

Felder

• ToKey— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Was der Name der Spalte nach dem Apply-Mapping sein soll. Kann gleich sein wie FromPath.

• FromPath— Eine Reihe von UTF-8 Zeichenketten.

  Die Tabelle oder Spalte, die geändert werden soll.

• FromType— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Typ der zu ändernden Daten.

• ToType— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Datentyp, zu dem die Daten geändert werden sollen.

• Dropped – Boolesch.

  Wenn „true“, wird die Spalte entfernt.

• Children – Ein Array mit Mapping-Objekten.

  Gilt nur für verschachtelte Datenstrukturen. Wenn Sie die übergeordnete Struktur, aber auch eines ihrer untergeordneten Elemente ändern möchten, können Sie diese Datenstruktur ausfüllen. Es ist ebenfalls Mapping, aber sein FromPath wird der übergeordnete FromPath mit dem FromPath aus dieser Struktur an.

  Nehmen wir für den untergeordneten Teil an, Sie haben die Struktur:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

  Sie können ein Mapping angeben, das wie folgt aussieht:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• SourcePath— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für die Quelldaten.

• TargetPath— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für die Zieldaten.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Ein Pfad in Amazon S3, in dem die Transformation eine Teilmenge von Akten aus dem Datensatz in eine JSON-Datei in einem Amazon-S3-Bucket schreibt.

• Topk – Zahl (Ganzzahl), nicht mehr als 100.

  Gibt eine Reihe von Datensätzen an, die ab dem Anfang des Datensatzes geschrieben werden sollen.

• Prob – Zahl (Double), nicht mehr als 1.

  Die Wahrscheinlichkeit (ein Dezimalwert mit einem Höchstwert von 1), einen bestimmten Datensatz auszuwählen. Der Wert 1 gibt an, dass jede aus dem Datensatz gelesene Zeile in die Beispielausgabe aufgenommen werden sollte.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• JoinType— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: equijoin="EQUIJOIN" | left="LEFT" | right="RIGHT" | outer="OUTER" | leftsemi="LEFT_SEMI" |leftanti="LEFT_ANTI").

  Gibt den Typ des Join an, der für die Datensätze ausgeführt werden soll.

• Columns – Erforderlich: Ein Array mit JoinColumn-Objekten, nicht weniger als 2 und nicht mehr als 2 Strukturen.

  Eine Liste der beiden zu verbindenden Spalten.

Felder

• From— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Spalte, die verbunden werden soll.

• Keys— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Der Schlüssel der zu verbindenden Spalte.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Paths— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Index – Erforderlich: Zahl (Ganzzahl).

  Der Index für den DynamicFrame , der ausgewählt werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• ImputedPath— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für den Datensatz, der unterstellt wird.

• FilledPath— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Ein JSON-Pfad zu einer Variablen in der Datenstruktur für den Datensatz, der ausgefüllt wird.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• LogicalOperator— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: AND |OR).

  Der Operator, der verwendet wurde, um Zeilen zu filtern, indem er den Schlüsselwert mit einem bestimmten Wert vergleicht.

• Filters – Erforderlich: Ein Array mit FilterExpression-Objekten.

  Gibt einen Filterausdruck an.

Felder

• Operation— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: EQ | LT | GT | LTE | GTE | REGEX |ISNULL).

  Der Typ des Vorgangs, der im Ausdruck ausgeführt werden soll.

• Negated – Boolesch.

  Ob der Ausdruck negiert werden soll.

• Values – Erforderlich: Ein Array mit FilterValue-Objekten.

  Eine Liste von Filterwerten.

Felder

• Type— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: COLUMNEXTRACTED |CONSTANT).

  Der Typ des Filterwerts.

• Value— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Der Wert, der zugeordnet werden soll.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF-8 Zeichenketten, mindestens eine Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Code— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #59.

  Der benutzerdefinierte Code, der zur Durchführung der Datentransformation verwendet wird.

• ClassName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name, der für die benutzerdefinierte Code-Knotenklasse definiert wurde.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die benutzerdefinierte Codetransformation an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Ein Array von UTF-8 Zeichenketten, mindestens eine Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben. Sie können jedem Eingabeknoten einen Tabellennamen zuordnen, der in der SQL-Abfrage verwendet werden soll. Der von Ihnen gewählte Name muss den Benennungsbeschränkungen von Spark SQL entsprechen.

• SqlQuery— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #67.

  Eine SQL-Abfrage, die die Spark SQL-Syntax verwenden und einen einzelnen Datensatz zurückgeben muss.

• SqlAliases – Erforderlich: Ein Array mit SqlAlias-Objekten.

  Eine Liste von Aliasen. Mit einem Alias können Sie angeben, welcher Namen in der SQL für eine bestimmte Eingabe verwendet werden soll. Sie haben beispielsweise eine Datenquelle mit dem Namen "“MyDataSource. Wenn Sie als und From Alias als MyDataSource angeben SqlName, können Sie in Ihrem SQL Folgendes tun:

  select * from SqlName

  und das bekommt Daten von MyDataSource.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die sparkSQL-Transformation an.

Felder

• From— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Eine Tabelle oder eine Spalte in einer Tabelle.

• Alias— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Ein temporärer Name, der einer Tabelle oder einer Spalte in einer Tabelle gegeben wird.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entspricht. Custom string pattern #68

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• NullCheckBoxList – Ein NullCheckBoxList-Objekt.

  Eine Struktur, die angibt, ob bestimmte Werte als zu entfernende Nullwerte erkannt werden.

• NullTextList – Ein Array mit NullValueField-Objekten, nicht mehr als 50 Strukturen.

  Eine Struktur, die eine Liste von NullValueField Strukturen angibt, die einen benutzerdefinierten Nullwert wie Null oder einen anderen Wert darstellen, der als Null-Platzhalter verwendet wird, der nur für den Datensatz gilt.

  Die DropNullFields-Transformation entfernt benutzerdefinierte Nullwerte nur, wenn sowohl der Wert des Nullplatzhalters als auch der Datentyp mit den Daten übereinstimmen.

Felder

• IsEmpty – Boolesch.

  Gibt an, dass eine leere Zeichenfolge als Nullwert angesehen wird.

• IsNullString – Boolesch.

  Gibt an, dass ein Wert, der das Wort 'null' ausgibt, als Nullwert betrachtet wird.

• IsNegOne – Boolesch.

  Gibt an, dass ein Ganzzahlwert von -1 als Nullwert angesehen wird.

Felder

• Value— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Wert des Null-Platzhalters.

• Datatype – Erforderlich: Ein Datatype-Objekt.

  Der Datentyp des Wertes.

Felder

• Id— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Der Datentyp des Wertes.

• Label— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Ein Label, das dem Datentyp zugewiesen ist.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Source— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Der DynamicFrame der Quelle, der mit einem Staging-DynamicFrame zusammengeführt werden wird.

• PrimaryKeys— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Die Liste der Primärschlüsselfelder, die Datensätze aus den Quell- und dynamischen Staging-Frames abgleichen.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 2 oder mehr als 2 Zeichenketten.

  Die Knoten-ID gibt die Transformation ein.

• UnionType— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: ALL |DISTINCT).

  Gibt den Typ der Union-Transformation an.

  Geben Sie ALL an, dass alle Zeilen aus Datenquellen mit dem Ergebnis verknüpft werden sollen DynamicFrame. Die resultierende Verbindung entfernt keine doppelten Zeilen.

  Geben Sie DISTINCT an, dass doppelte Zeilen im Ergebnis entfernt werden sollen DynamicFrame.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten-ID gibt die Transformation ein.

• PiiType— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: RowAudit | RowHashing | RowMasking | RowPartialMasking | ColumnAudit | ColumnHashing |ColumnMasking).

  Gibt den Typ der PIIDetektion-Transformation an.

• EntityTypesToDetect— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Gibt die Typen von Entitäten an, die die PIIDetection-Transformation als PII-Daten identifiziert.

  Zu den Elementen des PII-Typs gehören: PERSON_NAME, DATE, USA_SNN, EMAIL, USA_ITIN, USA_PASSPORT_NUMBER, PHONE_NUMBER, BANK_ACCOUNT, IP_ADDRESS, MAC_ADDRESS, USA_CPT_CODE, USA_HCPCS_CODE, USA_NATIONAL_DRUG_CODE, USA_MEDICARE_BENEFICIARY_IDENTIFIER, USA_HEALTH_INSURANCE_CLAIM_NUMBER,CREDIT_CARD,USA_NATIONAL_PROVIDER_IDENTIFIER,USA_DEA_NUMBER,USA_DRIVING_LICENSE

• OutputColumnName— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt den Namen der Ausgabespalte an, der jeden in dieser Zeile erkannten Entitätstyp enthält.

• SampleFraction – Zahl (Double), nicht mehr als 1.

  Gibt den Bruchteil der Daten an, die beim Scannen nach PII-Entitäten erfasst werden sollen.

• ThresholdFraction – Zahl (Double), nicht mehr als 1.

  Gibt den Bruchteil der Daten an, der erfüllt sein muss, damit eine Spalte als PII-Daten identifiziert werden kann.

• MaskValue— UTF-8 Zeichenfolge, nicht länger als 256 Byte, die dem entsprichtCustom string pattern #63.

  Gibt den Wert an, der die erkannte Entität ersetzt.

• RedactText— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt an, ob der erkannte PII-Text geschwärzt werden soll. Wenn diese Option auf true gesetzt ist, werden PII durch Zensurzeichen ersetzt.

• RedactChar— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Das Zeichen, das verwendet wird, um erkannten PII-Inhalt zu ersetzen, wenn Schwärzung aktiviert ist. Das standmäßige Zensurzeichen ist *.

• MatchPattern— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Ein Muster mit regulären Ausdrücken, das verwendet wird, um zusätzliche PII-Inhalte zu identifizieren, die über die Standarderkennungsalgorithmen hinausgehen.

• NumLeftCharsToExclude – Zahl (Ganzzahl).

  Die Anzahl der Zeichen, die auf der linken Seite des erkannten PII-Inhalts von der Schwärzung ausgeschlossen werden sollen. Auf diese Weise kann der Kontext rund um die sensiblen Daten beibehalten werden.

• NumRightCharsToExclude – Zahl (Ganzzahl).

  Die Anzahl der Zeichen, die auf der rechten Seite des erkannten PII-Inhalts von der Schwärzung ausgeschlossen werden sollen. Auf diese Weise kann der Kontext rund um die sensiblen Daten beibehalten werden.

• DetectionParameters— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Zusätzliche Parameter für die Konfiguration des Verhaltens und der Empfindlichkeitseinstellungen bei der Erkennung von PII.

• DetectionSensitivity— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Empfindlichkeitsstufe für die PII-Erkennung. Höhere Empfindlichkeitsstufen erkennen mehr potenzielle PII, können jedoch zu mehr falsch positiven Ergebnissen führen.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Gibt die Felder und Zeilen an, die als Eingaben für die Aggregat-Transformation verwendet werden sollen.

• Groups— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Gibt die Felder an, nach denen gruppiert werden sollen.

• Aggs – Erforderlich: Ein Array mit AggregateOperation-Objekten, nicht weniger als 1 und nicht mehr als 30 Strukturen.

  Gibt die Aggregatfunktionen an, die für bestimmte Felder ausgeführt werden sollen.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Transform-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die durch ihre Knotennamen identifizierten Dateneingaben.

• Columns— Eine Reihe von UTF-8 Zeichenketten.

  Der Name der Spalten, die bei Wiederholung zusammengeführt oder entfernt werden sollen.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datenziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Gibt die native Partitionierung mit einer Schlüsselfolge an.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, in die geschrieben werden soll.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Eine Richtlinie, die das Aktualisierungsverhalten für den verwalteten Katalog festlegt.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Datastores.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die zu lesende Datenbanktabelle.

• PartitionPredicate— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Partitionen, die diese Bedingung erfüllen, werden gelöscht. Dateien innerhalb des Aufbewahrungszeitraums in diesen Partitionen werden nicht gelöscht. Festgelegt auf "" – standardmäßig auf leer festgelegt.

• AdditionalOptions – Ein S3SourceAdditionalOptions-Objekt.

  Gibt zusätzliche Verbindungsoptionen an.

Felder

• Column— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Gibt die Spalte im Datensatz an, auf die die Aggregationsfunktion angewendet wird.

• AggFunc— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: avg | countDistinct | count | first | | last | kurtosis | max | min | skewness | stddev_samp | stddev_pop | sum | | sumDistinct | var_samp |var_pop).

  Gibt die Aggregationsfunktion an, die angewendet werden soll.

  Zu den möglichen Aggregationsfunktionen gehören: avg countDistinct, count, first, last, kurtosis, max, min, skewness, stddev_samp, stddev_pop, sum, sumDistinct, var_samp, var_pop

Felder

• Columns – Ein Array mit GlueStudioSchemaColumn-Objekten.

  Gibt die Spaltendefinitionen an, aus denen ein AWS Glue Schema besteht.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, nicht länger als 1024 Byte, die dem entsprichtSingle-line string pattern.

  Der Name der Spalte im AWS Glue Studio-Schema.

• Type— UTF-8 Zeichenfolge, nicht länger als 131072 Byte, die dem entspricht. Single-line string pattern

  Der Hive-Typ für diese Spalte im Studio-Schema. AWS Glue

• GlueStudioType— UTF-8 Zeichenfolge, nicht länger als 131072 Byte, die dem entspricht. Single-line string pattern

  Der Datentyp der Spalte, wie er in AWS Glue Studio definiert ist.

Felder

• Key— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Schlüssel der Spalte in AWS Glue Studio.

• FullPath— Erforderlich: Ein Array von UTF-8 Zeichenketten.

  Die vollständige URL der Spalte in AWS Glue Studio.

• Type— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: array="ARRAY" bigint="BIGINT" | bigint array="BIGINT_ARRAY" | binary="BINARY" | binary array="BINARY_ARRAY" | boolean="BOOLEAN" | boolean array="BOOLEAN_ARRAY" | byte="BYTE" | byte array="BYTE_ARRAY" | char="CHAR" | char array="CHAR_ARRAY" | choice="CHOICE" | choice array="CHOICE_ARRAY" | date="DATE" | date array="DATE_ARRAY" | decimal="DECIMAL" | decimal array="DECIMAL_ARRAY" | double="DOUBLE" | double array="DOUBLE_ARRAY" | enum="ENUM" | enum array="ENUM_ARRAY" | float="FLOAT" | float array="FLOAT_ARRAY" | int="INT" | int array="INT_ARRAY" | interval="INTERVAL" | interval array="INTERVAL_ARRAY" | long="LONG" | long array="LONG_ARRAY" | object="OBJECT" | short="SHORT" | short array="SHORT_ARRAY" | smallint="SMALLINT"| smallint array="SMALLINT_ARRAY" | string="STRING" | string array="STRING_ARRAY" | timestamp="TIMESTAMP" | timestamp array="TIMESTAMP_ARRAY" | tinyint="TINYINT" | | tinyint array="TINYINT_ARRAY" | varchar="VARCHAR" | varchar array="VARCHAR_ARRAY" | null="NULL" | unknown="UNKNOWN" |unknown array="UNKNOWN_ARRAY").

  Der Typ der Spalte in AWS Glue Studio.

• Children – Eine Reihe von Strukturen.

  Die untergeordneten Elemente der übergeordneten Spalte in AWS Glue Studio.

• GlueStudioType— UTF-8 Zeichenfolge (gültige Werte: array="ARRAY" | bigint="BIGINT" | bigint array="BIGINT_ARRAY" | binary="BINARY" | binary array="BINARY_ARRAY" | boolean="BOOLEAN" | boolean array="BOOLEAN_ARRAY" | byte="BYTE" | byte array="BYTE_ARRAY" | char="CHAR" | char array="CHAR_ARRAY" | choice="CHOICE" | choice array="CHOICE_ARRAY" | date="DATE" date array="DATE_ARRAY" | decimal="DECIMAL" | decimal array="DECIMAL_ARRAY" | double="DOUBLE" | double array="DOUBLE_ARRAY" | enum="ENUM" | enum array="ENUM_ARRAY" | float="FLOAT" | float array="FLOAT_ARRAY" | int="INT" | int array="INT_ARRAY" | interval="INTERVAL" | interval array="INTERVAL_ARRAY" | long="LONG" | long array="LONG_ARRAY" | object="OBJECT" | short="SHORT" | short array="SHORT_ARRAY" | smallint="SMALLINT" | smallint array="SMALLINT_ARRAY" | string="STRING"| string array="STRING_ARRAY" | timestamp="TIMESTAMP" | | timestamp array="TIMESTAMP_ARRAY" | tinyint="TINYINT" | tinyint array="TINYINT_ARRAY" | varchar="VARCHAR" | varchar array="VARCHAR_ARRAY" | null="NULL" | | unknown="UNKNOWN" |unknown array="UNKNOWN_ARRAY").

  Der Datentyp der Spalte, wie er in AWS Glue Studio definiert ist.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt den Namen der dynamischen Transformation an.

• TransformName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt den Namen der dynamischen Transformation an, wie er im visuellen Editor von AWS Glue Studio angezeigt wird.

• Inputs— Erforderlich: Ein Array von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Gibt die erforderlichen Eingaben für die dynamische Transformation an.

• Parameters – Ein Array mit TransformConfigParameter-Objekten.

  Gibt die Parameter der dynamischen Transformation an.

• FunctionName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt den Namen der Funktion der dynamischen Transformation an.

• Path— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt den Pfad der Quell- und Konfigurationsdateien der dynamischen Transformation an.

• Version— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Dieses Feld wird nicht verwendet und wird in zukünftigen Versionen veraltet sein.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die dynamische Transformation an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt den Namen des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• Type— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: str="STR" | int="INT" | float="FLOAT" | complex="COMPLEX" | bool="BOOL" | list="LIST" |null="NULL").

  Gibt den Parametertyp in der Konfigurationsdatei der dynamischen Transformation an.

• ValidationRule— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt die Validierungsregel in der Konfigurationsdatei der dynamischen Transformation an.

• ValidationMessage— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt die Validierungsnachricht in der Konfigurationsdatei der dynamischen Transformation an.

• Value— Eine Reihe von UTF-8 Zeichenketten.

  Gibt den Wert des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• ListType— UTF-8 Zeichenfolge (gültige Werte: str="STR" | int="INT" | float="FLOAT" | complex="COMPLEX" | bool="BOOL" | list="LIST" |null="NULL").

  Gibt den Listentyp des Parameters in der Konfigurationsdatei der dynamischen Transformation an.

• IsOptional – Boolesch.

  Gibt an, ob der Parameter in der Konfigurationsdatei der dynamischen Transformation optional ist oder nicht.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenqualitätsbewertung.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Eingaben Ihrer Datenqualitätsbewertung.

• Ruleset— Erforderlich: UTF-8 Zeichenfolge, nicht weniger als 1 oder mehr als 65536 Byte lang, die dem entspricht. Custom string pattern #64

  Der Regelsatz für Ihre Bewertung der Datenqualität.

• Output— UTF-8 Zeichenfolge (gültige Werte: PrimaryInput |EvaluationResults).

  Das Ergebnis Ihrer Datenqualitätsbewertung.

• PublishingOptions – Ein DQResultsPublishingOptions-Objekt.

  Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.

• StopJobOnFailureOptions – Ein DQStopJobOnFailureOptions-Objekt.

  Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

Felder

• EvaluationContext— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Der Kontext der Bewertung.

• ResultsS3Prefix— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Das Amazon-S3-Präfix wurde den Ergebnissen vorangestellt.

• CloudWatchMetricsEnabled – Boolesch.

  Aktivieren Sie Metriken für Ihre Datenqualitätsergebnisse.

• ResultsPublishingEnabled – Boolesch.

  Aktivieren Sie die Veröffentlichung Ihrer Datenqualitätsergebnisse.

Felder

• StopJobOnFailureTiming— UTF-8 Zeichenfolge (gültige Werte: Immediate |AfterDataLoad).

  Wann Sie den Auftrag anhalten sollten, wenn Ihre Datenqualitätsbewertung fehlschlägt. Die Optionen sind Sofort oder AfterDataLoad.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Datenqualitätsbewertung.

• Inputs— Erforderlich: Ein Array von UTF-8 Zeichenketten, mindestens eine Zeichenfolge.

  Die Eingaben Ihrer Datenqualitätsbewertung. Die erste Eingabe in dieser Liste ist die primäre Datenquelle.

• AdditionalDataSources – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die Aliase aller Datenquellen mit Ausnahme der primären.

• Ruleset— Erforderlich: UTF-8 Zeichenfolge, die nicht weniger als 1 oder mehr als 65536 Byte lang ist und dem entspricht. Custom string pattern #64

  Der Regelsatz für Ihre Bewertung der Datenqualität.

• PublishingOptions – Ein DQResultsPublishingOptions-Objekt.

  Optionen zum Konfigurieren der Veröffentlichung Ihrer Ergebnisse.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge (gültige Werte: performanceTuning.caching="CacheOption" | observations.scope="ObservationsOption" |compositeRuleEvaluation.method="CompositeOption").

  Jeder Wert ist eine UTF-8 Zeichenfolge.

  Optionen zum Konfigurieren des Laufzeitverhaltens der Transformation.

• StopJobOnFailureOptions – Ein DQStopJobOnFailureOptions-Objekt.

  Optionen zum Konfigurieren, wie Ihr Auftrag angehalten wird, wenn Ihre Datenqualitätsuswertung fehlschlägt.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des AWS Glue Studio-Knotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für den Rezeptknoten sind, identifiziert durch die ID.

• RecipeReference – Ein RecipeReference-Objekt.

  Ein Verweis auf das vom Knoten verwendete DataBrew Rezept.

• RecipeSteps – Ein Array mit RecipeStep-Objekten.

  Transformationsschritte, die im Rezeptknoten verwendet werden.

Felder

• RecipeArn— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die ARN des DataBrew Rezepts.

• RecipeVersion— Erforderlich: UTF-8 Zeichenfolge, nicht weniger als 1 oder mehr als 16 Byte lang.

  Der RecipeVersion des DataBrew Rezepts.

Felder

• SourceType— UTF-8 Zeichenfolge, die dem entspricht. Custom string pattern #65

  Gibt an, wie abgerufene Daten angegeben werden. Zulässige Werte: "table", "query".

• Connection – Ein Option-Objekt.

  Gibt eine AWS Glue Datenkatalogverbindung zu einem Snowflake-Endpunkt an.

• Schema— Zeichenfolge UTF-8 .

  Gibt ein Snowflake-Datenbankschema an, das Ihr Knoten verwenden soll.

• Table— UTF-8 Zeichenfolge.

  Gibt eine Snowflake-Tabelle an, die Ihr Knoten verwenden soll.

• Database— UTF-8 Zeichenfolge.

  Gibt eine Snowflake-Datenbank an, die Ihr Knoten verwenden soll.

• TempDir— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Derzeit nicht verwendet.

• IamRole – Ein Option-Objekt.

  Derzeit nicht verwendet.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Optionen an, die an den Snowflake-Konnektor übergeben werden. Wenn an anderer Stelle in diesem Knoten Optionen angegeben werden, hat dies Vorrang.

• SampleQuery— UTF-8 Zeichenfolge.

  Eine SQL-Zeichenfolge, die zum Abrufen von Daten mit dem query-Quelltyp verwendet wird.

• PreAction— UTF-8 Zeichenfolge.

  Eine SQL-Zeichenfolge, die ausgeführt wird, bevor der Snowflake-Konnektor seine Standardaktionen ausführt.

• PostAction— UTF-8 Zeichenfolge.

  Eine SQL-Zeichenfolge, die ausgeführt wird, nachdem der Snowflake-Konnektor seine Standardaktionen ausgeführt hat.

• Action— UTF-8 Zeichenfolge.

  Gibt an, welche Aktion beim Schreiben in eine Tabelle mit bereits vorhandenen Daten ausgeführt werden soll. Zulässige Werte: append, merge, truncate, drop.

• Upsert – Boolesch.

  Wird verwendet, wenn die Aktion append ist. Gibt das Auflösungsverhalten an, wenn bereits eine Zeile vorhanden ist. Wenn der Wert wahr ist, werden bereits vorhandene Zeilen aktualisiert. Wenn der Wert falsch ist, werden diese Zeilen eingefügt.

• MergeAction— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Gibt eine Zusammenführungsaktion an. Zulässige Werte: simple, custom. Wenn das Zusammenführungsverhalten einfach ist, wird es durch MergeWhenMatched und MergeWhenNotMatched definiert. Falls benutzerdefiniert, durch MergeClause definiert.

• MergeWhenMatched— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Gibt an, wie Datensätze, die mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen aufgelöst werden. Zulässige Werte: update, delete.

• MergeWhenNotMatched— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Gibt an, wie Datensätze, die nicht mit bereits vorhandenen Daten übereinstimmen, beim Zusammenführen verarbeitet werden. Zulässige Werte: insert, none.

• MergeClause— UTF-8 Zeichenfolge.

  Eine SQL-Anweisung, die ein benutzerdefiniertes Zusammenführungsverhalten angibt.

• StagingTable— UTF-8 Zeichenfolge.

  Der Name einer Staging-Tabelle, die beim Ausführen von merge- oder Upsert-append-Aktionen verwendet wird. Daten werden in diese Tabelle geschrieben und dann durch eine generierte Folgeaktion nach table verschoben.

• SelectedColumns – Ein Array mit Option-Objekten.

  Gibt die kombinierten Spalten an, um einen Datensatz zu identifizieren, wenn Übereinstimmungen für Zusammenführungen und Upserts ermittelt werden. Eine Liste von Strukturen mit value-, label- und description-Schlüsseln. Jede Struktur beschreibt eine Spalte.

• AutoPushdown – Boolesch.

  Gibt an, ob der automatische Abfrage-Pushdown aktiviert ist. Wenn Pushdown aktiviert ist, wird bei der Ausführung einer Abfrage auf Spark ein Teil der Abfrage auf den Snowflake-Server „heruntergeschoben“, wenn dies möglich ist. Dies verbessert die Leistung einiger Abfragen.

• TableSchema – Ein Array mit Option-Objekten.

  Definiert das Zielschema für den Knoten manuell. Eine Liste von Strukturen mit value-, label- und description-Schlüsseln. Jede Struktur definiert eine Spalte.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der Snowflake-Datenquelle.

• Data – Erforderlich: Ein SnowflakeNodeData-Objekt.

  Konfiguration für die Snowflake-Datenquelle.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt benutzerdefinierte Schemas für Ihre Ausgabedaten an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Snowflake-Ziels.

• Data – Erforderlich: Ein SnowflakeNodeData-Objekt.

  Gibt die Daten des Snowflake-Zielknotens an.

• Inputs— Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Knoten, die Eingaben für das Datenziel sind.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name dieses Quell-Knotens.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  DieconnectionType, wie sie der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wurde. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge.

  Jeder Wert ist eine UTF-8 Zeichenfolge.

  Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der AWS Glue Dokumentation.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für diese Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name dieses Ziel-Knotens.

• ConnectionType— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  DieconnectionType, wie sie der zugrunde liegenden AWS Glue Bibliothek zur Verfügung gestellt wurde. Dieser Knotentyp unterstützt die folgenden Verbindungstypen:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data – Erforderlich: Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge.

  Jeder Wert ist eine UTF-8 Zeichenfolge.

  Eine Zuordnung, die Verbindungsoptionen für den Knoten angibt. Standardverbindungsoptionen für den entsprechenden Verbindungstyp finden Sie im Abschnitt Verbindungsparameter der AWS Glue Dokumentation.

• Inputs— Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenkette.

  Die Knoten, die Eingaben für das Datenziel sind.

Felder

• Action – Erforderlich: Ein RecipeAction-Objekt.

  Die Transformationsaktion des Rezeptschritts.

• ConditionExpressions – Ein Array mit ConditionExpression-Objekten.

  Die Bedingungsausdrücke für den Rezeptschritt.

Felder

• Operation— Erforderlich: UTF-8 Zeichenfolge mit einer Länge von mindestens 1 oder mehr als 128 Byte, die dem entsprichtCustom string pattern #61.

  Der Vorgang der Rezeptaktion.

• Parameters – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die mindestens 1 oder mehr als 128 Byte lang ist und dem entsprichtCustom string pattern #62.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die nicht weniger als 1 oder mehr als 32768 Byte lang ist.

  Die Parameter der Rezeptaktion.

Felder

• Condition— Erforderlich: UTF-8 Zeichenfolge mit einer Länge von mindestens 1 oder mehr als 128 Byte, die dem entsprichtCustom string pattern #61.

  Die Bedingung des Bedingungsausdrucks.

• Value— UTF-8 Zeichenfolge, nicht länger als 1024 Byte.

  Der Wert des Bedingungsausdrucks.

• TargetColumn— Erforderlich: UTF-8 Zeichenfolge, nicht weniger als 1 oder mehr als 1024 Byte lang.

  Die Zielspalte der Bedingungsausdrücke.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name der Iceberg-Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalIcebergOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen für die Iceberg-Datenquelle an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Iceberg-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name der Iceberg-Datenquelle.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, aus der gelesen werden soll.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle in der Datenbank, aus der gelesen werden soll.

• AdditionalIcebergOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen für die Iceberg-Datenquelle an.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die Iceberg-Quelle an.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem Custom string pattern #68 entspricht.

  Der Name des Iceberg-Katalogziels.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Eingabeverbindung für das Iceberg-Katalogziel.

• PartitionKeys— Eine Reihe von UTF-8 Zeichenketten.

  Eine Liste von Partitionschlüsseln für die Iceberg-Tabelle.

• Table— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Tabelle im Katalog, in die geschrieben werden soll.

• Database— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name der Datenbank, in die geschrieben wird.

• AdditionalOptions – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Jeder Wert ist eine UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt zusätzliche Verbindungsoptionen für das Iceberg-Katalogziel an.

• SchemaChangePolicy – Ein CatalogSchemaChangePolicy-Objekt.

  Die Richtlinie für den Umgang mit Schemaänderungen im Katalogziel.

• AutoDataQuality – Ein AutoDataQuality-Objekt.

  Gibt an, ob die Datenqualitätsbewertung für das S3-Iceberg-Katalogziel automatisch aktiviert werden soll. Wenn diese Option auf true festgelegt, werden automatisch Datenqualitätsprüfungen während des Schreibvorgangs durchgeführt.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name der DynamoDB-ELT-Connectorquelle.

• ConnectionOptions – Ein DDBELTConnectionOptions-Objekt.

  Die Verbindungsoptionen für die DynamoDB-ELT-Connectorquelle.

• OutputSchemas – Ein Array mit GlueSchema-Objekten.

  Gibt das Datenschema für die DynamoDB-ELT-Connectorquelle an.

Felder

• DynamodbExport— UTF-8 Zeichenfolge (gültige Werte: ddb |s3).

  Gibt den Exporttyp für die DynamoDB-Datenextraktion an. Dieser Parameter bestimmt, wie Daten während des ELT-Prozesses aus der DynamoDB-Tabelle exportiert werden.

• DynamodbUnnestDDBJson – Boolesch.

  Ein boolescher Wert, der angibt, ob das DynamoDB-JSON-Format während der Datenextraktion entschachtelt werden soll. Bei der Einstellung true glättet der Connector geschachtelte JSON-Strukturen aus DynamoDB-Elementen. Bei der Einstellung false wird die ursprüngliche DynamoDB-JSON-Struktur beibehalten.

• DynamodbTableArn— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Amazon-Ressourcenname (ARN) der DynamoDB-Tabelle, aus der Daten extrahiert werden sollen. Dieser Parameter gibt die Quelltabelle für den ELT-Vorgang an.

• DynamodbS3Bucket— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Name des Amazon-S3-Buckets, der für die Zwischenspeicherung während des DynamoDB-ELT-Prozesses verwendet wird. Dieser Bucket wird verwendet, um exportierte DynamoDB-Daten vorübergehend zu speichern, bevor sie vom ELT-Auftrag verarbeitet werden.

• DynamodbS3Prefix— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Das S3-Objektschlüsselpräfix für Dateien, die während des DynamoDB-ELT-Prozesses im S3-Zwischen-Bucket gespeichert wurden. Dieses Präfix hilft bei der Organisation und Identifizierung der temporären Dateien, die bei der Datenextraktion erstellt wurden.

• DynamodbS3BucketOwner— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Die AWS Konto-ID des Besitzers des S3-Buckets, der unter angegeben istDynamodbS3Bucket. Dieser Parameter ist erforderlich, wenn der S3-Bucket einem anderen AWS Konto gehört als dem, das den ELT-Job ausführt, wodurch der kontoübergreifende Zugriff auf den Zwischenspeicher-Bucket ermöglicht wird.

• DynamodbStsRoleArn— UTF-8 Zeichenfolge, die dem Custom string pattern #66 entspricht.

  Der Amazon-Ressourcenname (ARN) der AWS Security Token Service (STS) -Rolle, die für den Zugriff auf DynamoDB- und S3-Ressourcen während des ELT-Vorgangs übernommen werden soll. Diese Rolle muss über die erforderlichen Berechtigungen verfügen, um aus der DynamoDB-Tabelle zu lesen und in den S3-Zwischen-Bucket zu schreiben.

Felder

• DynamodbExport— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Gibt die DynamoDB-Exportkonfiguration für den ELT-Vorgang an.

• DynamodbUnnestDDBJson – Boolesch.

  Gibt an, ob das DynamoDB-JSON-Format entschachtelt werden soll. Bei der Einstellung true werden geschachtelte JSON-Strukturen in DynamoDB-Elementen geglättet.

Felder

• Name— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #68.

  Der Name des Routenknotens.

• Inputs— Erforderlich: Eine Reihe von UTF-8 Zeichenketten, nicht weniger als 1 oder mehr als 1 Zeichenfolge.

  Die Eingabeverbindung für den Routenknoten.

• GroupFiltersList – Erforderlich: Ein Array mit GroupFilters-Objekten.

  Eine Liste von Gruppenfiltern, die die Routingbedingungen und Kriterien für die Weiterleitung von Daten an verschiedene Ausgabepfade definieren.

Felder

• GroupName— Erforderlich: UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #65.

  Der Name der Filtergruppe.

• Filters – Erforderlich: Ein Array mit FilterExpression-Objekten.

  Eine Liste von Filterausdrücken, die die Bedingungen für diese Gruppe definieren.

• LogicalOperator— Erforderlich: UTF-8 Zeichenfolge (gültige Werte: AND |OR).

  Der logische Operator, der verwendet wird, um die Filter in dieser Gruppe zu kombinieren. Bestimmt, ob alle Filter übereinstimmen müssen (AND) oder ob ein beliebiger Filter übereinstimmen kann (OR).

Felder

• IsEnabled – Boolesch.

  Gibt an, ob die automatische Datenqualitätsbewertung aktiviert ist. Bei der Einstellung true werden automatisch Datenqualitätsprüfungen durchgeführt.

• EvaluationContext— UTF-8 Zeichenfolge, die dem entsprichtCustom string pattern #66.

  Der Bewertungskontext für die automatischen Datenqualitätsprüfungen. Dies definiert den Umfang und die Parameter für die Datenqualitätsbewertung.