Trabalho visual API

• CodeGenConfigurationNode estrutura

• JDBCConnectorOptionsestrutura

• StreamingDataPreviewOptions estrutura

• AthenaConnectorSource estrutura

• JDBCConnectorSourceestrutura

• SparkConnectorSource estrutura

• CatalogSource estrutura

• M Estrutura da ySQLCatalog fonte

• P Estrutura da ostgreSQLCatalog fonte

• O Estrutura da racleSQLCatalog fonte

• icrosoftSQLServerCatalogSource Estrutura M

• CatalogKinesisSource estrutura

• DirectKinesisSource estrutura

• KinesisStreamingSourceOptions estrutura

• CatalogKafkaSource estrutura

• DirectKafkaSource estrutura

• KafkaStreamingSourceOptions estrutura

• RedshiftSource estrutura

• AmazonRedshiftSource estrutura

• AmazonRedshiftNodeData estrutura

• AmazonRedshiftAdvancedOption estrutura

• Estrutura Option

• Estrutura S3 CatalogSource

• Estrutura S3 SourceAdditionalOptions

• Estrutura S3 CsvSource

• irectJDBCSource Estrutura D

• Estrutura S3 DirectSourceAdditionalOptions

• Estrutura S3 JsonSource

• Estrutura S3 ParquetSource

• Estrutura S3 DeltaSource

• Estrutura S3 CatalogDeltaSource

• CatalogDeltaSource estrutura

• Estrutura S3 HudiSource

• Estrutura S3 CatalogHudiSource

• CatalogHudiSource estrutura

• D Estrutura da ynamoDBCatalog fonte

• RelationalCatalogSource estrutura

• JDBCConnectorTargetestrutura

• SparkConnectorTarget estrutura

• BasicCatalogTarget estrutura

• M Estrutura ySQLCatalog alvo

• P Estrutura ostgreSQLCatalog alvo

• O Estrutura racleSQLCatalog alvo

• icrosoftSQLServerCatalogTarget Estrutura M

• RedshiftTarget estrutura

• AmazonRedshiftTarget estrutura

• UpsertRedshiftTargetOptions estrutura

• Estrutura S3 CatalogTarget

• Estrutura S3 GlueParquetTarget

• CatalogSchemaChangePolicy estrutura

• Estrutura S3 DirectTarget

• Estrutura S3 HudiCatalogTarget

• Estrutura S3 HudiDirectTarget

• Estrutura S3 DeltaCatalogTarget

• Estrutura S3 DeltaDirectTarget

• DirectSchemaChangePolicy estrutura

• ApplyMapping estrutura

• Estrutura Mapping

• SelectFields estrutura

• DropFields estrutura

• RenameField estrutura

• Estrutura Spigot

• Estrutura Join

• JoinColumn estrutura

• SplitFields estrutura

• SelectFromCollection estrutura

• FillMissingValues estrutura

• Estrutura Filter

• FilterExpression estrutura

• FilterValue estrutura

• CustomCode estrutura

• Estrutura Spark SQL

• SqlAlias estrutura

• DropNullFields estrutura

• NullCheckBoxList estrutura

• NullValueField estrutura

• Estrutura Datatype

• Estrutura Merge

• Estrutura Union

• PIIDetectionestrutura

• Estrutura Aggregate

• DropDuplicates estrutura

• GovernedCatalogTarget estrutura

• GovernedCatalogSource estrutura

• AggregateOperation estrutura

• GlueSchema estrutura

• GlueStudioSchemaColumn estrutura

• GlueStudioColumn estrutura

• DynamicTransform estrutura

• TransformConfigParameter estrutura

• EvaluateDataQuality estrutura

• DQResultsPublishingOptionsestrutura

• DQStopJobOnFailureOptionsestrutura

• EvaluateDataQualityMultiFrame estrutura

• Estrutura da fórmula

• RecipeReference estrutura

• SnowflakeNodeData estrutura

• SnowflakeSource estrutura

• SnowflakeTarget estrutura

• ConnectorDataSource estrutura

• ConnectorDataTarget estrutura

• RecipeStep estrutura

• RecipeAction estrutura

• ConditionExpression estrutura

Campos

• AthenaConnectorSource – Um objeto AthenaConnectorSource.

  Especifica um conector para uma fonte de dados do Amazon Athena.

• JDBCConnectorSource – Um objeto JDBCConnectorSource.

  Especifica um conector para uma fonte JDBC de dados.

• SparkConnectorSource – Um objeto SparkConnectorSource.

  Especifica um conector para uma fonte de dados do Apache Spark.

• CatalogSource – Um objeto CatalogSource.

  Especifica um armazenamento de dados no Catálogo AWS Glue de Dados.

• RedshiftSource – Um objeto RedshiftSource.

  Especifica um datastore do Amazon Redshift.

• S3CatalogSource – Um objeto S3 CatalogSource.

  Especifica um armazenamento de dados do Amazon S3 no AWS Glue catálogo de dados.

• S3CsvSource – Um objeto S3 CsvSource.

  Especifica um armazenamento de dados de valor separado por comando (CSV) armazenado no Amazon S3.

• S3JsonSource – Um objeto S3 JsonSource.

  Especifica um armazenamento JSON de dados armazenado no Amazon S3.

• S3ParquetSource – Um objeto S3 ParquetSource.

  Especifica um datastore do Apache Parquet armazenado no Amazon S3.

• RelationalCatalogSource – Um objeto RelationalCatalogSource.

  Especifica um armazenamento de dados de catálogo relacional no Catálogo de AWS Glue Dados.

• DynamoDBCatalogSource – Um objeto ynamoDBCatalogFonte D.

  Especifica um armazenamento de dados do Dynamo DBC Catalog no Catálogo de AWS Glue Dados.

• JDBCConnectorTarget – Um objeto JDBCConnectorTarget.

  Especifica um destino de dados que grava no Amazon S3 no armazenamento colunar do Apache Parquet.

• SparkConnectorTarget – Um objeto SparkConnectorTarget.

  Especifica um destino que usa um conector Apache Spark.

• CatalogTarget – Um objeto BasicCatalogTarget.

  Especifica um destino que usa uma tabela do Catálogo AWS Glue de Dados.

• RedshiftTarget – Um objeto RedshiftTarget.

  Especifica um destino que usa o Amazon Redshift.

• S3CatalogTarget – Um objeto S3 CatalogTarget.

  Especifica um destino de dados que grava no Amazon S3 usando AWS Glue o catálogo de dados.

• S3GlueParquetTarget – Um objeto S3 GlueParquetTarget.

  Especifica um destino de dados que grava no Amazon S3 no armazenamento colunar do Apache Parquet.

• S3DirectTarget – Um objeto S3 DirectTarget.

  Especifica um destino de dados que grava no Amazon S3.

• ApplyMapping – Um objeto ApplyMapping.

  Especifica uma transformação que mapeia chaves de propriedade de dados na fonte dos dados para chaves de propriedade de dados no destino dos dados. Você pode renomear chaves, modificar os tipos de dados para chaves e escolher quais chaves remover do conjunto de dados.

• SelectFields – Um objeto SelectFields.

  Especifica uma transformação que escolhe as chaves de propriedade de dados que você deseja manter.

• DropFields – Um objeto DropFields.

  Especifica uma transformação que escolhe as chaves de propriedade de dados que você deseja descartar.

• RenameField – Um objeto RenameField.

  Especifica uma transformação que renomeia uma única chave de propriedade de dados.

• Spigot – Um objeto Spigot.

  Especifica uma transformação que grava amostras dos dados em um bucket do Amazon S3.

• Join – Um objeto Ingressar.

  Especifica uma transformação que une dois conjuntos de dados em um só, usando uma frase de comparação nas chaves de propriedade de dados especificadas. Você pode usar junção inner (interna), outer (externa), left (à esquerda), right (à direita), left semi (semi à esquerda) e left anti (anti à esquerda).

• SplitFields – Um objeto SplitFields.

  Especifica uma transformação que divide chaves de propriedade de dados em dois DynamicFrames. A saída é uma coleção de DynamicFrames: um com chaves de propriedade de dados selecionadas e outro com as chaves de propriedade de dados restantes.

• SelectFromCollection – Um objeto SelectFromCollection.

  Especifica uma transformação que escolhe um DynamicFrame de uma coleção de DynamicFrames. A saída é o DynamicFrame selecionado.

• FillMissingValues – Um objeto FillMissingValues.

  Especifica uma transformação que localiza registros no conjunto de dados que tenham valores ausentes e adiciona um novo campo com um valor determinado por imputação. O conjunto de dados de entrada é usado para treinar o modelo de machine learning que determina qual deve ser o valor ausente.

• Filter – Um objeto Filtro.

  Especifica uma transformação que divide um conjunto de dados em dois, com base em uma condição de filtro.

• CustomCode – Um objeto CustomCode.

  Especifica uma transformação que usa código personalizado que você fornece para executar a transformação de dados. A saída é uma coleção de DynamicFrames.

• SparkSQL – Um objeto Faísca SQL.

  Especifica uma transformação na qual você insere uma SQL consulta usando a SQL sintaxe do Spark para transformar os dados. A saída é um único DynamicFrame.

• DirectKinesisSource – Um objeto DirectKinesisSource.

  Especifica uma fonte de dados direta do Amazon Kinesis.

• DirectKafkaSource – Um objeto DirectKafkaSource.

  Especifica um datastore do Apache Kafka.

• CatalogKinesisSource – Um objeto CatalogKinesisSource.

  Especifica uma fonte de dados do Kinesis no AWS Glue catálogo de dados.

• CatalogKafkaSource – Um objeto CatalogKafkaSource.

  Especifica um datastore do Apache Kafka no catálogo de dados.

• DropNullFields – Um objeto DropNullFields.

  Especifica uma transformação que remove colunas do conjunto de dados se todos os valores na coluna forem 'null'. Por padrão, o AWS Glue Studio reconhecerá objetos nulos, mas alguns valores, como cadeias de caracteres vazias, cadeias de caracteres “nulas”, números inteiros -1 ou outros espaços reservados, como zeros, não são automaticamente reconhecidos como nulos.

• Merge – Um objeto Mesclar.

  Especifica uma transformação que mescla um DynamicFrame com um DynamicFrame de preparação, de acordo com as chaves primárias especificadas para identificar registros. Registros duplicados (com as mesmas chaves primárias) não são eliminados.

• Union – Um objeto Union.

  Especifica uma transformação que combina as linhas de dois ou mais conjuntos de dados em um único resultado.

• PIIDetection – Um objeto PIIDetection.

  Especifica uma transformação que identifica, remove ou mascara PII dados.

• Aggregate – Um objeto Agregar.

  Especifica uma transformação que agrupa linhas por campos escolhidos e calcula o valor agregado por função especificada.

• DropDuplicates – Um objeto DropDuplicates.

  Especifica uma transformação que remove linhas de dados repetidos de um conjunto de dados.

• GovernedCatalogTarget – Um objeto GovernedCatalogTarget.

  Especifica um destino de dados que grava em um catálogo governado.

• GovernedCatalogSource – Um objeto GovernedCatalogSource.

  Especifica uma fonte de dados em um catálogo de dados governado.

• MicrosoftSQLServerCatalogSource – Um objeto M icrosoftSQLServer CatalogSource.

  Especifica uma fonte de dados SQL do servidor Microsoft no Catálogo AWS Glue de Dados.

• MySQLCatalogSource – Um objeto ySQLCatalogFonte M.

  Especifica uma fonte de SQL dados Minha no Catálogo AWS Glue de Dados.

• OracleSQLCatalogSource – Um objeto racleSQLCatalogFonte O.

  Especifica uma fonte de dados Oracle no Catálogo AWS Glue de Dados.

• PostgreSQLCatalogSource – Um objeto ostgreSQLCatalogFonte P.

  Especifica uma fonte de dados Postgres no Catálogo de SQL Dados. AWS Glue

• MicrosoftSQLServerCatalogTarget – Um objeto M icrosoftSQLServer CatalogTarget.

  Especifica um destino que usa o MicrosoftSQL.

• MySQLCatalogTarget – Um objeto ySQLCatalogAlvo M.

  Especifica um destino que usa MySQL.

• OracleSQLCatalogTarget – Um objeto Sobre racleSQLCatalog Target.

  Especifica um alvo que usa OracleSQL.

• PostgreSQLCatalogTarget – Um objeto ostgreSQLCatalogAlvo P.

  Especifica um destino que usa o Postgres. SQL

• DynamicTransform – Um objeto DynamicTransform.

  Especifica uma transformação visual personalizada criada por um usuário.

• EvaluateDataQuality – Um objeto EvaluateDataQuality.

  Especifica os critérios da avaliação de qualidade dos dados.

• S3CatalogHudiSource – Um objeto S3 CatalogHudiSource.

  Especifica uma fonte de dados Hudi que está registrada no Catálogo de AWS Glue Dados. A fonte de dados deve ser armazenada em Amazon S3.

• CatalogHudiSource – Um objeto CatalogHudiSource.

  Especifica uma fonte de dados Hudi que está registrada no Catálogo de AWS Glue Dados.

• S3HudiSource – Um objeto S3 HudiSource.

  Especifica uma fonte de dados Hudi armazenada em. Amazon S3

• S3HudiCatalogTarget – Um objeto S3 HudiCatalogTarget.

  Especifica um destino que grava em uma fonte de dados Hudi no Catálogo de AWS Glue Dados.

• S3HudiDirectTarget – Um objeto S3 HudiDirectTarget.

  Especifica um destino que grava em uma fonte de dados Hudi em. Amazon S3

• S3CatalogDeltaSource – Um objeto S3 CatalogDeltaSource.

  Especifica uma fonte de dados do Delta Lake que está registrada no Catálogo AWS Glue de Dados. A fonte de dados deve ser armazenada em Amazon S3.

• CatalogDeltaSource – Um objeto CatalogDeltaSource.

  Especifica uma fonte de dados do Delta Lake que está registrada no Catálogo AWS Glue de Dados.

• S3DeltaSource – Um objeto S3 DeltaSource.

  Especifica uma fonte de dados do Delta Lake armazenada em Amazon S3.

• S3DeltaCatalogTarget – Um objeto S3 DeltaCatalogTarget.

  Especifica um destino que grava em uma fonte de dados do Delta Lake no Catálogo AWS Glue de Dados.

• S3DeltaDirectTarget – Um objeto S3 DeltaDirectTarget.

  Especifica um destino que grava em uma fonte de dados do Delta Lake em Amazon S3.

• AmazonRedshiftSource – Um objeto AmazonRedshiftSource.

  Especifica um destino que grava em uma fonte de dados no Amazon Redshift.

• AmazonRedshiftTarget – Um objeto AmazonRedshiftTarget.

  Especifica um destino que grava em um destino de dados no Amazon Redshift.

• EvaluateDataQualityMultiFrame – Um objeto EvaluateDataQualityMultiFrame.

  Especifica os critérios da avaliação de qualidade dos dados. Permite vários dados de entrada e retorna um conjunto de quadros dinâmicos.

• Recipe – Um objeto Fórmula.

  Especifica um nó de AWS Glue DataBrew receita.

• SnowflakeSource – Um objeto SnowflakeSource.

  Especifica uma fonte de dados do Snowflake.

• SnowflakeTarget – Um objeto SnowflakeTarget.

  Especifica um destino que grava em uma fonte de dados do Snowflake.

• ConnectorDataSource – Um objeto ConnectorDataSource.

  Especifica uma fonte gerada com opções de conexão padrão.

• ConnectorDataTarget – Um objeto ConnectorDataTarget.

  Especifica um destino gerado com opções de conexão padrão.

Campos

• FilterPredicate— UTF -8 string, correspondendo a. Custom string pattern #43

  Cláusula de condição extra para filtrar dados da fonte. Por exemplo:

  BillingCity='Mountain View'

  Ao usar uma consulta em vez de um nome de tabela, você deve validar que a consulta funciona com o filterPredicate especificado.

• PartitionColumn— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de uma coluna de inteiros usada para o particionamento. Essa opção só funciona quando está incluída em lowerBound, upperBound e numPartitions. Essa opção funciona da mesma forma que no SQL JDBC leitor Spark.

• LowerBound: número (inteiro longo), no máximo None (Nenhum).

  O valor mínimo de partitionColumn que é usado para decidir o passo de partição.

• UpperBound: número (inteiro longo), no máximo None (Nenhum).

  O valor máximo de partitionColumn que é usado para decidir o passo de partição.

• NumPartitions: número (inteiro longo), no máximo None (Nenhum).

  O número de partições. Esse valor, juntamente com lowerBound (inclusive) e upperBound (exclusive), forma os passos de partição para as expressões de cláusula WHERE geradas que são usadas para dividir a partitionColumn.

• JobBookmarkKeys— Uma matriz de UTF -8 cordas.

  O nome das chaves de marcador de trabalho pelas quais classificar.

• JobBookmarkKeysSortOrder— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica ordem de classificação ascendente ou descendente.

• DataTypeMapping – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF -8 (valores válidos: ARRAY | | | BIGINT | BINARY | BIT | BLOB | | BOOLEAN | CHAR | CLOB | DATALINK | | DATE | DECIMAL | DISTINCT | DOUBLE | FLOAT | | INTEGER | JAVA_OBJECT | LONGNVARCHAR | LONGVARBINARY | | LONGVARCHAR | NCHAR | NCLOB | NULL | NUMERIC | | NVARCHAR | OTHER | REAL | REF | | REF_CURSOR | ROWID | SMALLINT | SQLXML | STRUCT | | TIME | TIME_WITH_TIMEZONE | TIMESTAMP TIMESTAMP_WITH_TIMEZONE| TINYINT | VARBINARY |VARCHAR).

  Cada valor é uma string UTF -8 (valores válidos: DATE | STRING | TIMESTAMP | INT | FLOAT | | LONG | BIGDECIMAL | BYTE SHORT |DOUBLE).

  Mapeamento de tipo de dados personalizado que cria um mapeamento de um tipo de JDBC dados para um tipo de AWS Glue dados. Por exemplo, a opção "dataTypeMapping":{"FLOAT":"STRING"} mapeia campos de dados do JDBC tipo FLOAT para o String tipo Java chamando o ResultSet.getString() método do driver e o usa para criar o AWS Glue registro. O objeto ResultSet é implantado por cada driver, portanto, o comportamento é específico para o driver que você usa. Consulte a documentação do seu JDBC driver para entender como o driver realiza as conversões.

Campos

• PollingTime: número (longo), pelo menos 10.

  O tempo de sondagem, em milissegundos.

• RecordPollingLimit: número (longo), pelo menos 1.

  O limite para o número de registros sondados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• ConnectionName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da conexão associada ao conector.

• ConnectorName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de um conector que ajuda a acessar o armazenamento de dados no AWS Glue Studio.

• ConnectionType— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O tipo de conexão, como marketplace.athena ou custom.athena, designando uma conexão com um datastore do Amazon Athena.

• ConnectionTable— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela na fonte de dados.

• SchemaName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do grupo de logs do CloudWatch a ser lido. Por exemplo, /aws-glue/jobs/output.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte do Athena personalizada.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• ConnectionName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da conexão associada ao conector.

• ConnectorName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de um conector que ajuda a acessar o armazenamento de dados no AWS Glue Studio.

• ConnectionType— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O tipo de conexão, como marketplace.jdbc ou custom.jdbc, que designa uma conexão com um armazenamento de dados. JDBC

• AdditionalOptions – Um objeto JDBCConnectorOptions.

  Opções de conexão adicionais para o conector.

• ConnectionTable— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela na fonte de dados.

• Query— UTF -8 string, correspondendo a. Custom string pattern #44

  A tabela ou SQL consulta da qual obter os dados. Você pode especificar ConnectionTable ou query, mas não os dois.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte personalizadaJDBC.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• ConnectionName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da conexão associada ao conector.

• ConnectorName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de um conector que ajuda a acessar o armazenamento de dados no AWS Glue Studio.

• ConnectionType— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O tipo de conexão, como marketplace.spark ou custom.spark, designando uma conexão com um datastore do Apache Spark.

• AdditionalOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Opções de conexão adicionais para o conector.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte do Spark personalizada.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• WindowSize – Número (inteiro), não mais do que None (Nenhum).

  A quantidade de tempo gasto no processamento de cada micro lote.

• DetectSchema – Booleano.

  Se o esquema deve ser determinado automaticamente a partir dos dados recebidos.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• StreamingOptions – Um objeto KinesisStreamingSourceOptions.

  Opções adicionais para a fonte de dados de transmissão do Kinesis.

• DataPreviewOptions – Um objeto StreamingDataPreviewOptions.

  Opções adicionais para previsualização de dados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• WindowSize – Número (inteiro), não mais do que None (Nenhum).

  A quantidade de tempo gasto no processamento de cada micro lote.

• DetectSchema – Booleano.

  Se o esquema deve ser determinado automaticamente a partir dos dados recebidos.

• StreamingOptions – Um objeto KinesisStreamingSourceOptions.

  Opções adicionais para a fonte de dados de transmissão do Kinesis.

• DataPreviewOptions – Um objeto StreamingDataPreviewOptions.

  Opções adicionais para previsualização de dados.

Campos

• EndpointUrl— UTF -8 string, correspondendo a. Custom string pattern #43

  O URL endpoint do Kinesis.

• StreamName— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do fluxo de dados do Kinesis.

• Classification— UTF -8 string, correspondendo a. Custom string pattern #43

  Uma classificação opcional.

• Delimiter— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o caractere delimitador.

• StartingPosition— UTF -8 string (valores válidos: latest="LATEST" | | trim_horizon="TRIM_HORIZON" earliest="EARLIEST" |timestamp="TIMESTAMP").

  A posição inicial no fluxo de dados do Kinesis de onde ler os dados. Os valores possíveis são"latest", "trim_horizon""earliest", ou uma string de carimbo de data/hora no UTC formato padrão yyyy-mm-ddTHH:MM:SSZ (onde Z representa um deslocamento de UTC fuso horário com +/-). Por exemplo: “2023-04-04T 08:00:00-04:00 “). O valor padrão é "latest".

  Observação: o uso de um valor que seja uma string de carimbo de data/hora no UTC formato "startingPosition" é suportado somente para a AWS Glue versão 4.0 ou posterior.

• MaxFetchTimeInMs: número (inteiro longo), no máximo None (Nenhum).

  O tempo máximo para o executor do trabalho ler registros referentes ao lote atual do fluxo de dados do Kinesis especificado em milissegundos (ms). Várias GetRecords API chamadas podem ser feitas dentro desse período. O valor padrão é 1000.

• MaxFetchRecordsPerShard: número (inteiro longo), no máximo None (Nenhum).

  O número máximo de registros a serem obtidos por fragmento no fluxo de dados do Kinesis por microlote. Observação: o cliente poderá exceder esse limite se o trabalho de streaming já tiver lido registros extras do Kinesis (na mesma chamada get-records). Se MaxFetchRecordsPerShard precisa ser rigoroso, então precisa ser um múltiplo de MaxRecordPerRead. O valor padrão é 100000.

• MaxRecordPerRead: número (inteiro longo), no máximo None (Nenhum).

  O número máximo de registros a serem obtidos do stream de dados do Kinesis em getRecords cada operação. O valor padrão é 10000.

• AddIdleTimeBetweenReads – Booleano.

  Adiciona um intervalo de tempo entre duas getRecords operações consecutivas. O valor padrão é "False". Essa opção só pode ser configurada para o Glue versão 2.0 e posterior.

• IdleTimeBetweenReadsInMs: número (inteiro longo), no máximo None (Nenhum).

  O atraso mínimo entre duas getRecords operações consecutivas, especificado em ms. O valor padrão é 1000. Essa opção só pode ser configurada para o Glue versão 2.0 e posterior.

• DescribeShardInterval: número (inteiro longo), no máximo None (Nenhum).

  O intervalo mínimo de tempo entre duas ListShards API chamadas para que seu script considere a refragmentação. O valor padrão é 1s.

• NumRetries – Número (inteiro), não mais do que None (Nenhum).

  O número máximo de novas tentativas para solicitações do Kinesis Data Streams. API O valor padrão é 3.

• RetryIntervalMs: número (inteiro longo), no máximo None (Nenhum).

  O período de resfriamento (especificado em ms) antes de tentar novamente a chamada do Kinesis Data Streams. API O valor padrão é 1000.

• MaxRetryIntervalMs: número (inteiro longo), no máximo None (Nenhum).

  O período máximo de resfriamento (especificado em ms) entre duas novas tentativas de uma chamada do Kinesis Data Streams. API O valor padrão é 10000.

• AvoidEmptyBatches – Booleano.

  Evita a criação de um trabalho de microlote vazio verificando se há dados não lidos no fluxo de dados do Kinesis antes do lote ser iniciado. O valor padrão é "False".

• StreamArn— UTF -8 string, correspondendo a. Custom string pattern #43

  O Amazon Resource Name (ARN) do stream de dados do Kinesis.

• RoleArn— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de recurso da Amazon (ARN) da função a ser assumida usando o AWS Security Token Service (AWSSTS). Essa função deve ter permissões para descrever ou ler operações de registro para o fluxo de dados do Kinesis. Você deve usar esse parâmetro ao acessar um fluxo de dados em uma conta diferente. Usado em conjunto com "awsSTSSessionName".

• RoleSessionName— UTF -8 string, correspondendo a. Custom string pattern #43

  Um identificador para a sessão que está assumindo a função usando AWSSTS. Você deve usar esse parâmetro ao acessar um fluxo de dados em uma conta diferente. Usado em conjunto com "awsSTSRoleARN".

• AddRecordTimestamp— UTF -8 string, correspondendo a. Custom string pattern #43

  Quando essa opção for definida como "true", a saída de dados conterá uma coluna adicional denominada "__src_timestamp" que indica a hora que o registro correspondente é recebido pelo fluxo. O valor padrão é "false". Essa opção é compatível com a AWS Glue versão 4.0 ou posterior.

• EmitConsumerLagMetrics— UTF -8 string, correspondendo a. Custom string pattern #43

  Quando essa opção é definida como “verdadeira”, para cada lote, ela emitirá as métricas da duração entre o registro mais antigo recebido pelo stream e o horário em AWS Glue que ele chega. CloudWatch O nome da métrica é “glue.driver.streaming”. maxConsumerLagInMs”. O valor padrão é "false". Essa opção é compatível com o AWS Glue versão 4.0 ou posterior.

• StartingTimestamp— UTF -8 cordas.

  O timestamp do registro no fluxo de dados do Kinesis para começar a ler os dados. Os valores possíveis são uma string de timestamp no UTC formato do padrão yyyy-mm-ddTHH:MM:SSZ (onde Z representa um deslocamento de UTC fuso horário com +/-). Por exemplo: “2023-04-04T 08:00:00 + 08:00 “).

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• WindowSize – Número (inteiro), não mais do que None (Nenhum).

  A quantidade de tempo gasto no processamento de cada micro lote.

• DetectSchema – Booleano.

  Se o esquema deve ser determinado automaticamente a partir dos dados recebidos.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• StreamingOptions – Um objeto KafkaStreamingSourceOptions.

  Especifica as opções de transmissão.

• DataPreviewOptions – Um objeto StreamingDataPreviewOptions.

  Especifica opções relacionadas à previsualização de dados para exibir uma amostra de seus dados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• StreamingOptions – Um objeto KafkaStreamingSourceOptions.

  Especifica as opções de transmissão.

• WindowSize – Número (inteiro), não mais do que None (Nenhum).

  A quantidade de tempo gasto no processamento de cada micro lote.

• DetectSchema – Booleano.

  Se o esquema deve ser determinado automaticamente a partir dos dados recebidos.

• DataPreviewOptions – Um objeto StreamingDataPreviewOptions.

  Especifica opções relacionadas à previsualização de dados para exibir uma amostra de seus dados.

Campos

• BootstrapServers— UTF -8 string, correspondendo a. Custom string pattern #43

  Uma lista de servidores de bootstrapURLs, por exemplo, comob-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094. Essa opção deve ser especificada na API chamada ou definida nos metadados da tabela no Catálogo de Dados.

• SecurityProtocol— UTF -8 string, correspondendo a. Custom string pattern #43

  O protocolo usado para se comunicar com os agentes. Os valores possíveis são "SSL" ou "PLAINTEXT".

• ConnectionName— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da conexão.

• TopicName— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do tópico conforme especificado no Apache Kafka. É necessário especificar pelo menos um "topicName", "assign" ou "subscribePattern".

• Assign— UTF -8 string, correspondendo a. Custom string pattern #43

  As TopicPartitions específicas a consumir. É necessário especificar pelo menos um "topicName", "assign" ou "subscribePattern".

• SubscribePattern— UTF -8 string, correspondendo a. Custom string pattern #43

  Uma string regex Java que identifica a lista de tópicos para assinar. É necessário especificar pelo menos um "topicName", "assign" ou "subscribePattern".

• Classification— UTF -8 string, correspondendo a. Custom string pattern #43

  Uma classificação opcional.

• Delimiter— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o caractere delimitador.

• StartingOffsets— UTF -8 string, correspondendo a. Custom string pattern #43

  A posição inicial no tópico do Kafka de onde ler os dados. Os valores possíveis são "earliest" ou "latest". O valor padrão é "latest".

• EndingOffsets— UTF -8 string, correspondendo a. Custom string pattern #43

  O ponto final quando uma consulta em lote é encerrada. Os valores possíveis são um "latest" ou uma JSON string que especifica um deslocamento final para cada um. TopicPartition

• PollTimeoutMs: número (inteiro longo), no máximo None (Nenhum).

  O tempo limite em milissegundos para sondar dados do Kafka em executores de trabalho do Spark. O valor padrão é 512.

• NumRetries – Número (inteiro), não mais do que None (Nenhum).

  O número de novas tentativas antes de falhar em obter os deslocamentos do Kafka. O valor padrão é 3.

• RetryIntervalMs: número (inteiro longo), no máximo None (Nenhum).

  O tempo em milissegundos a se esperar antes de tentar novamente buscar os deslocamentos do Kafka. O valor padrão é 10.

• MaxOffsetsPerTrigger: número (inteiro longo), no máximo None (Nenhum).

  O limite de taxa no número máximo de deslocamentos que são processados por intervalo do acionador. O número total especificado de deslocamentos é dividido proporcionalmente entre topicPartitions de diferentes volumes. O valor padrão é nulo, o que significa que o consumidor lê todos os deslocamentos até o deslocamento mais recente conhecido.

• MinPartitions – Número (inteiro), não mais do que None (Nenhum).

  O número mínimo desejado de partições a serem lidas do Kafka. O valor padrão é nulo, o que significa que o número de partições do Spark é igual ao número de partições do Kafka.

• IncludeHeaders – Booleano.

  Se cabeçalhos do Kafka devem ser incluídos. Quando a opção estiver definida como "true", a saída de dados conterá uma coluna adicional chamada "glue_streaming_kafka_headers" com o tipo Array[Struct(key: String, value: String)]. O valor padrão é “false”. Essa opção está disponível somente na AWS Glue versão 3.0 ou posterior.

• AddRecordTimestamp— UTF -8 string, correspondendo a. Custom string pattern #43

  Quando essa opção for definida como “true“, a saída de dados conterá uma coluna adicional denominada "__src_timestamp" que indica a hora que o registro correspondente é recebido pelo tópico. O valor padrão é "false". Essa opção é compatível com a AWS Glue versão 4.0 ou posterior.

• EmitConsumerLagMetrics— UTF -8 string, correspondendo a. Custom string pattern #43

  Quando essa opção é definida como “verdadeira”, para cada lote, ela emitirá as métricas da duração entre o registro mais antigo recebido pelo tópico e a hora em AWS Glue que ele chega. CloudWatch O nome da métrica é “glue.driver.streaming”. maxConsumerLagInMs”. O valor padrão é "false". Essa opção é compatível com o AWS Glue versão 4.0 ou posterior.

• StartingTimestamp— UTF -8 cordas.

  O timestamp do registro no tópico do Kafka para começar a ler os dados. Os valores possíveis são uma string de timestamp no UTC formato do padrão yyyy-mm-ddTHH:MM:SSZ (onde Z representa um deslocamento de UTC fuso horário com +/-). Por exemplo: “2023-04-04T 08:00:00 + 08:00 “).

  Somente um de StartingTimestamp ou StartingOffsets deve ser definido.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore do Amazon Redshift.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  A tabela do banco de dados da qual a leitura será feita.

• RedshiftTmpDir— UTF -8 string, correspondendo a. Custom string pattern #43

  O caminho do Amazon S3 onde dados temporários podem ser preparados ao serem copiados do banco de dados.

• TmpDirIAMRole— UTF -8 string, correspondendo a. Custom string pattern #43

  A IAM função com permissões.

Campos

• Name— UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte do Amazon Redshift.

• Data – Um objeto AmazonRedshiftNodeData.

  Especifica os dados do nó da fonte do Amazon Reshift.

Campos

• AccessType— UTF -8 string, correspondendo a. Custom string pattern #42

  O tipo de acesso para a conexão do Redshift. Pode ser uma conexão direta ou conexões de catálogo.

• SourceType— UTF -8 string, correspondendo a. Custom string pattern #42

  O tipo de origem para especificar se uma determinada tabela é a fonte ou uma consulta personalizada.

• Connection – Um objeto Opção.

  A AWS Glue conexão com o cluster do Redshift.

• Schema – Um objeto Opção.

  O nome do esquema do Redshift ao trabalhar com uma conexão direta.

• Table – Um objeto Opção.

  O nome da tabela do Redshift ao trabalhar com uma conexão direta.

• CatalogDatabase – Um objeto Opção.

  O nome do banco de AWS Glue dados do Catálogo de Dados ao trabalhar com um catálogo de dados.

• CatalogTable – Um objeto Opção.

  O nome da tabela do Catálogo de AWS Glue Dados ao trabalhar com um catálogo de dados.

• CatalogRedshiftSchema— UTF -8 cordas.

  O nome do esquema do Redshift ao trabalhar com um catálogo de dados.

• CatalogRedshiftTable— UTF -8 cordas.

  A tabela do banco de dados da qual a leitura será feita.

• TempDir— UTF -8 string, correspondendo a. Custom string pattern #43

  O caminho do Amazon S3 onde dados temporários podem ser preparados ao serem copiados do banco de dados.

• IamRole – Um objeto Opção.

  Opcional. O nome do perfil usado ao conectar com o S3. A IAM função assumirá como padrão a função no trabalho quando deixada em branco.

• AdvancedOptions – Uma matriz de objetos AmazonRedshiftAdvancedOption.

  Valores opcionais ao se conectar ao cluster do Redshift.

• SampleQuery— UTF -8 cordas.

  É SQL usado para buscar os dados de uma fonte do Redshift quando SourceType é “consulta”.

• PreAction— UTF -8 cordas.

  O SQL usado antes da execução de um MERGE ou APPEND com upsert.

• PostAction— UTF -8 cordas.

  O SQL usado antes da execução de um MERGE ou APPEND com upsert.

• Action— UTF -8 cordas.

  Especifica como a gravação em um cluster do Redshift ocorrerá.

• TablePrefix— UTF -8 string, correspondendo a. Custom string pattern #42

  Especifica o prefixo de uma tabela.

• Upsert – Booleano.

  A ação usada no Redshift diminui ao fazer um. APPEND

• MergeAction— UTF -8 string, correspondendo a. Custom string pattern #42

  A ação usada para determinar como a MERGE em um coletor do Redshift será tratada.

• MergeWhenMatched— UTF -8 string, correspondendo a. Custom string pattern #42

  A ação usada para determinar como a MERGE em um coletor do Redshift será tratada quando um registro existente corresponder a um novo registro.

• MergeWhenNotMatched— UTF -8 string, correspondendo a. Custom string pattern #42

  A ação usada para determinar como um MERGE coletor do Redshift será tratado quando um registro existente não corresponder a um novo registro.

• MergeClause— UTF -8 cordas.

  O SQL usado em uma mesclagem personalizada para lidar com registros correspondentes.

• CrawlerConnection— UTF -8 cordas.

  Especifica o nome da conexão associada à tabela do catálogo usada.

• TableSchema – Uma matriz de objetos Opção.

  A matriz de saída do esquema para um determinado nó.

• StagingTable— UTF -8 cordas.

  O nome da tabela de preparação temporária que é usada ao fazer um MERGE ou APPEND com upsert.

• SelectedColumns – Uma matriz de objetos Opção.

  A lista de nomes de colunas usada para determinar um registro correspondente ao fazer um MERGE ou APPEND com upsert.

Campos

• Key— UTF -8 cordas.

  A chave para a opção de conexão adicional.

• Value— UTF -8 cordas.

  O valor para a opção de conexão adicional.

Campos

• Value— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o valor da opção.

• Label— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o rótulo da opção.

• Description— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica a descrição dae opção.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  A tabela do banco de dados da qual a leitura será feita.

• PartitionPredicate— UTF -8 string, correspondendo a. Custom string pattern #43

  As partições que satisfazem a esse predicado são excluídas. Os arquivos dentro do período de retenção nessas partições não são excluídos. Definido como "", vazio por padrão.

• AdditionalOptions – Um objeto S3 SourceAdditionalOptions.

  Especifica opções de conexão adicionais.

Campos

• BoundedSize – Número (extenso).

  Define o limite superior para o tamanho de destino do conjunto de dados em bytes que serão processados.

• BoundedFiles – Número (extenso).

  Define o limite superior para o número alvo de arquivos que serão processados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Uma lista de caminhos do Amazon S3 dos quais fazer a leitura.

• CompressionType— UTF -8 string (valores válidos: gzip="GZIP" |bzip2="BZIP2").

  Especifica como os dados são compactados. Isso geralmente não é necessário se os dados tem uma extensão de arquivo padrão. Os possíveis valores são "gzip" e "bzip").

• Exclusions— Uma matriz de UTF -8 cordas.

  Uma string contendo uma JSON lista de padrões globais no estilo Unix a serem excluídos. Por exemplo, “[\" **.pdf\ "]” exclui todos os arquivos. PDF

• GroupSize— UTF -8 string, correspondendo a. Custom string pattern #43

  O tamanho do grupo de destino em bytes. O padrão é calculado com base no tamanho de dados de entrada e o tamanho de seu cluster. Quando há menos de 50.000 arquivos de entrada, "groupFiles" deve ser definido como "inPartition" para poder entrar em vigor.

• GroupFiles— UTF -8 string, correspondendo a. Custom string pattern #43

  O agrupamento de arquivos é ativado por padrão quando a entrada contiver mais de 50.000 arquivos. Para ativar o agrupamento com menos de 50.000 arquivos, defina esse parâmetro como "”inPartition. Para desabilitar o agrupamento quando houver mais de 50.000 arquivos, defina esse parâmetro como "none".

• Recurse – Booleano.

  Se definido como verdadeiro, recursivamente lê arquivos em todos os subdiretórios de acordo com os caminhos especificados.

• MaxBand – Número (inteiro), não mais do que None (Nenhum).

  Esta opção controla a duração, em milissegundos, após a qual a listagem do s3 provavelmente será consistente. Arquivos com registros de data e hora de modificação nos últimos maxBand milissegundos são rastreados especialmente quando usados JobBookmarks para contabilizar a consistência eventual do Amazon S3. A maioria dos usuários não precisa definir essa opção. O valor padrão é 900.000 milissegundos, ou 15 minutos.

• MaxFilesInBand – Número (inteiro), não mais do que None (Nenhum).

  Essa opção especifica o número máximo de arquivos a serem salvos nos últimos maxBand segundos. Se esse número for excedido, os arquivos extras são ignorados e apenas processados na próxima execução do trabalho.

• AdditionalOptions – Um objeto S3 DirectSourceAdditionalOptions.

  Especifica opções de conexão adicionais.

• Separator— Obrigatório: UTF -8 string (valores válidos: comma="COMMA" | ctrla="CTRLA" | pipe="PIPE" | semicolon="SEMICOLON" |tab="TAB").

  Especifica o caractere delimitador. O padrão é uma vírgula: ",", mas qualquer outro caractere pode ser especificado.

• Escaper— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica um caractere a ser usado para escape. Essa opção é usada somente ao ler CSV arquivos. O valor padrão é none. Se ativado, o caractere que imediatamente segue é usado no estado em que se encontram, exceto para um pequeno conjunto de escapes conhecidos (\n, \r, \t e \0).

• QuoteChar— Obrigatório: UTF -8 string (valores válidos: quote="QUOTE" | quillemet="QUILLEMET" | single_quote="SINGLE_QUOTE" |disabled="DISABLED").

  Especifica o caractere a ser usado para aspas. O padrão é aspas duplas: '"'. Defina como -1 para desativar as aspas por completo.

• Multiline – Booleano.

  Um valor booleano que especifica se um único registro pode abranger várias linhas. Isso pode ocorrer quando um campo contém um caractere de nova linha entre aspas. Você deve definir essa opção como True (Verdadeira) se qualquer registro ocupar várias linhas. O valor padrão é False, que permite uma divisão de arquivos mais radical durante a análise.

• WithHeader – Booleano.

  Um valor booleano que especifica se é necessário tratar a primeira linha como um cabeçalho. O valor padrão é False.

• WriteHeader – Booleano.

  Um valor booleano que especifica se é necessário escrever o cabeçalho na saída. O valor padrão é True.

• SkipFirst – Booleano.

  Um valor booleano que especifica se é necessário ignorar a primeira linha de dados. O valor padrão é False.

• OptimizePerformance – Booleano.

  Um valor booleano que especifica se o SIMD CSV leitor avançado deve ser usado junto com formatos de memória colunar baseados no Apache Arrow. Disponível somente na AWS Glue versão 3.0.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte do CSV S3.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da conexão JDBC de origem.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O banco de dados da conexão JDBC de origem.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  A tabela da conexão JDBC de origem.

• ConnectionName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da conexão da JDBC fonte.

• ConnectionType— Obrigatório: UTF -8 string (valores válidos: sqlserver | mysql | oracle | postgresql |redshift).

  O tipo de conexão da JDBC fonte.

• RedshiftTmpDir— UTF -8 string, correspondendo a. Custom string pattern #43

  O diretório temporário da fonte do JDBC Redshift.

Campos

• BoundedSize – Número (extenso).

  Define o limite superior para o tamanho de destino do conjunto de dados em bytes que serão processados.

• BoundedFiles – Número (extenso).

  Define o limite superior para o número alvo de arquivos que serão processados.

• EnableSamplePath – Booleano.

  Define a opção para ativar um caminho de exemplo.

• SamplePath— UTF -8 string, correspondendo a. Custom string pattern #43

  Se ativado, especifica o caminho de exemplo.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Uma lista de caminhos do Amazon S3 dos quais fazer a leitura.

• CompressionType— UTF -8 string (valores válidos: gzip="GZIP" |bzip2="BZIP2").

  Especifica como os dados são compactados. Isso geralmente não é necessário se os dados tem uma extensão de arquivo padrão. Os possíveis valores são "gzip" e "bzip").

• Exclusions— Uma matriz de UTF -8 cordas.

  Uma string contendo uma JSON lista de padrões globais no estilo Unix a serem excluídos. Por exemplo, “[\" **.pdf\ "]” exclui todos os arquivos. PDF

• GroupSize— UTF -8 string, correspondendo a. Custom string pattern #43

  O tamanho do grupo de destino em bytes. O padrão é calculado com base no tamanho de dados de entrada e o tamanho de seu cluster. Quando há menos de 50.000 arquivos de entrada, "groupFiles" deve ser definido como "inPartition" para poder entrar em vigor.

• GroupFiles— UTF -8 string, correspondendo a. Custom string pattern #43

  O agrupamento de arquivos é ativado por padrão quando a entrada contiver mais de 50.000 arquivos. Para ativar o agrupamento com menos de 50.000 arquivos, defina esse parâmetro como "”inPartition. Para desabilitar o agrupamento quando houver mais de 50.000 arquivos, defina esse parâmetro como "none".

• Recurse – Booleano.

  Se definido como verdadeiro, recursivamente lê arquivos em todos os subdiretórios de acordo com os caminhos especificados.

• MaxBand – Número (inteiro), não mais do que None (Nenhum).

  Esta opção controla a duração, em milissegundos, após a qual a listagem do s3 provavelmente será consistente. Arquivos com registros de data e hora de modificação nos últimos maxBand milissegundos são rastreados especialmente quando usados JobBookmarks para contabilizar a consistência eventual do Amazon S3. A maioria dos usuários não precisa definir essa opção. O valor padrão é 900.000 milissegundos, ou 15 minutos.

• MaxFilesInBand – Número (inteiro), não mais do que None (Nenhum).

  Essa opção especifica o número máximo de arquivos a serem salvos nos últimos maxBand segundos. Se esse número for excedido, os arquivos extras são ignorados e apenas processados na próxima execução do trabalho.

• AdditionalOptions – Um objeto S3 DirectSourceAdditionalOptions.

  Especifica opções de conexão adicionais.

• JsonPath— UTF -8 string, correspondendo a. Custom string pattern #43

  Uma JsonPath string definindo os JSON dados.

• Multiline – Booleano.

  Um valor booleano que especifica se um único registro pode abranger várias linhas. Isso pode ocorrer quando um campo contém um caractere de nova linha entre aspas. Você deve definir essa opção como True (Verdadeira) se qualquer registro ocupar várias linhas. O valor padrão é False, que permite uma divisão de arquivos mais radical durante a análise.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte do JSON S3.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Uma lista de caminhos do Amazon S3 dos quais fazer a leitura.

• CompressionType— UTF -8 string (valores válidos: snappy="SNAPPY" | lzo="LZO" | | gzip="GZIP" uncompressed="UNCOMPRESSED" |none="NONE").

  Especifica como os dados são compactados. Isso geralmente não é necessário se os dados tem uma extensão de arquivo padrão. Os possíveis valores são "gzip" e "bzip").

• Exclusions— Uma matriz de UTF -8 cordas.

  Uma string contendo uma JSON lista de padrões globais no estilo Unix a serem excluídos. Por exemplo, “[\" **.pdf\ "]” exclui todos os arquivos. PDF

• GroupSize— UTF -8 string, correspondendo a. Custom string pattern #43

  O tamanho do grupo de destino em bytes. O padrão é calculado com base no tamanho de dados de entrada e o tamanho de seu cluster. Quando há menos de 50.000 arquivos de entrada, "groupFiles" deve ser definido como "inPartition" para poder entrar em vigor.

• GroupFiles— UTF -8 string, correspondendo a. Custom string pattern #43

  O agrupamento de arquivos é ativado por padrão quando a entrada contiver mais de 50.000 arquivos. Para ativar o agrupamento com menos de 50.000 arquivos, defina esse parâmetro como "”inPartition. Para desabilitar o agrupamento quando houver mais de 50.000 arquivos, defina esse parâmetro como "none".

• Recurse – Booleano.

  Se definido como verdadeiro, recursivamente lê arquivos em todos os subdiretórios de acordo com os caminhos especificados.

• MaxBand – Número (inteiro), não mais do que None (Nenhum).

  Esta opção controla a duração, em milissegundos, após a qual a listagem do s3 provavelmente será consistente. Arquivos com registros de data e hora de modificação nos últimos maxBand milissegundos são rastreados especialmente quando usados JobBookmarks para contabilizar a consistência eventual do Amazon S3. A maioria dos usuários não precisa definir essa opção. O valor padrão é 900.000 milissegundos, ou 15 minutos.

• MaxFilesInBand – Número (inteiro), não mais do que None (Nenhum).

  Essa opção especifica o número máximo de arquivos a serem salvos nos últimos maxBand segundos. Se esse número for excedido, os arquivos extras são ignorados e apenas processados na próxima execução do trabalho.

• AdditionalOptions – Um objeto S3 DirectSourceAdditionalOptions.

  Especifica opções de conexão adicionais.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte Parquet do S3.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte do Delta Lake.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Uma lista de caminhos do Amazon S3 dos quais fazer a leitura.

• AdditionalDeltaOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica opções de conexão adicionais.

• AdditionalOptions – Um objeto S3 DirectSourceAdditionalOptions.

  Especifica opções adicionais para o conector.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte do Delta Lake.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados do Delta Lake.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

• AdditionalDeltaOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica opções de conexão adicionais.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte do Delta Lake.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados do Delta Lake.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

• AdditionalDeltaOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica opções de conexão adicionais.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte do Delta Lake.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte Hudi.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Uma lista de caminhos do Amazon S3 dos quais fazer a leitura.

• AdditionalHudiOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica opções de conexão adicionais.

• AdditionalOptions – Um objeto S3 DirectSourceAdditionalOptions.

  Especifica opções adicionais para o conector.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte Hudi.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados Hudi.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

• AdditionalHudiOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica opções de conexão adicionais.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte Hudi.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados Hudi.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

• AdditionalHudiOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica opções de conexão adicionais.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a fonte Hudi.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados da qual a leitura será feita.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• ConnectionName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da conexão associada ao conector.

• ConnectionTable— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no destino dos dados.

• ConnectorName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de um conector que será usado.

• ConnectionType— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O tipo de conexão, como marketplace.jdbc ou custom.jdbc, que designa uma conexão com um destino de dados. JDBC

• AdditionalOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Opções de conexão adicionais para o conector.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para o JDBC destino.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• ConnectionName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de uma conexão para um conector do Apache Spark.

• ConnectorName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome de um conector do Apache Spark.

• ConnectionType— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O tipo de conexão, como marketplace.spark ou custom.spark, designando uma conexão com um datastore do Apache Spark.

• AdditionalOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Opções de conexão adicionais para o conector.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para o destino do Spark personalizado.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do seu destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  As chaves de partição usadas para distribuir dados em várias partições ou fragmentos com base em uma chave específica ou conjunto de chaves.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O banco de dados que contém a tabela que você deseja usar como destino. Esse banco de dados já deve existir no Data Catalog.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  A tabela que define o esquema dos dados de saída. Essa tabela já deve existir no Data Catalog.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

• RedshiftTmpDir— UTF -8 string, correspondendo a. Custom string pattern #43

  O caminho do Amazon S3 onde dados temporários podem ser preparados ao serem copiados do banco de dados.

• TmpDirIAMRole— UTF -8 string, correspondendo a. Custom string pattern #43

  A IAM função com permissões.

• UpsertRedshiftOptions – Um objeto UpsertRedshiftTargetOptions.

  O conjunto de opções para configurar uma operação upsert ao gravar em um destino do Redshift.

Campos

• Name— UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino do Amazon Redshift.

• Data – Um objeto AmazonRedshiftNodeData.

  Especifica os dados do nó de destino do Amazon Redshift.

• Inputs— Uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

Campos

• TableLocation— UTF -8 string, correspondendo a. Custom string pattern #43

  A localização física da tabela do Redshift.

• ConnectionName— UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da conexão a ser usada para gravar no Redshift.

• UpsertKeys— Uma matriz de UTF -8 cordas.

  As chaves usadas para determinar se uma atualização ou uma inserção será executada.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• SchemaChangePolicy – Um objeto CatalogSchemaChangePolicy.

  Uma política que especifica o comportamentos de atualização do crawler.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Path— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Um único caminho do Amazon S3 no qual gravar.

• Compression— UTF -8 string (valores válidos: snappy="SNAPPY" | lzo="LZO" | | gzip="GZIP" uncompressed="UNCOMPRESSED" |none="NONE").

  Especifica como os dados são compactados. Isso geralmente não é necessário se os dados tem uma extensão de arquivo padrão. Os possíveis valores são "gzip" e "bzip").

• SchemaChangePolicy – Um objeto DirectSchemaChangePolicy.

  Uma política que especifica o comportamentos de atualização do crawler.

Campos

• EnableUpdateCatalog – Booleano.

  Se comportamento de atualização especificado deve ser usado quando o crawler encontra um esquema alterado.

• UpdateBehavior— UTF -8 string (valores válidos: UPDATE_IN_DATABASE |LOG).

  O comportamento de atualização quando o crawler encontra um esquema alterado.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Path— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Um único caminho do Amazon S3 no qual gravar.

• Compression— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica como os dados são compactados. Isso geralmente não é necessário se os dados tem uma extensão de arquivo padrão. Os possíveis valores são "gzip" e "bzip").

• Format— Obrigatório: UTF -8 string (valores válidos: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" |delta="DELTA").

  Especifica o formato de saída de dados para o destino.

• SchemaChangePolicy – Um objeto DirectSchemaChangePolicy.

  Uma política que especifica o comportamentos de atualização do crawler.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• AdditionalOptions: obrigatório: uma matriz de mapa dos pares de chave-valor.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica as opções de conexão adicionais para o conector.

• SchemaChangePolicy – Um objeto CatalogSchemaChangePolicy.

  Uma política que especifica o comportamentos de atualização do crawler.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• Path— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O caminho do Amazon S3 da fonte de dados Hudi na qual gravar.

• Compression— Obrigatório: UTF -8 string (valores válidos: gzip="GZIP" | lzo="LZO" | uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Especifica como os dados são compactados. Isso geralmente não é necessário se os dados tem uma extensão de arquivo padrão. Os possíveis valores são "gzip" e "bzip").

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Format— Obrigatório: UTF -8 string (valores válidos: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" |delta="DELTA").

  Especifica o formato de saída de dados para o destino.

• AdditionalOptions: obrigatório: uma matriz de mapa dos pares de chave-valor.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica as opções de conexão adicionais para o conector.

• SchemaChangePolicy – Um objeto DirectSchemaChangePolicy.

  Uma política que especifica o comportamentos de atualização do crawler.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• AdditionalOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica as opções de conexão adicionais para o conector.

• SchemaChangePolicy – Um objeto CatalogSchemaChangePolicy.

  Uma política que especifica o comportamentos de atualização do crawler.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Path— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O caminho do Amazon S3 da fonte de dados do Delta Lake na qual gravar.

• Compression— Obrigatório: UTF -8 string (valores válidos: uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Especifica como os dados são compactados. Isso geralmente não é necessário se os dados tem uma extensão de arquivo padrão. Os possíveis valores são "gzip" e "bzip").

• Format— Obrigatório: UTF -8 string (valores válidos: json="JSON" | csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" |delta="DELTA").

  Especifica o formato de saída de dados para o destino.

• AdditionalOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica as opções de conexão adicionais para o conector.

• SchemaChangePolicy – Um objeto DirectSchemaChangePolicy.

  Uma política que especifica o comportamentos de atualização do crawler.

Campos

• EnableUpdateCatalog – Booleano.

  Se comportamento de atualização especificado deve ser usado quando o crawler encontra um esquema alterado.

• UpdateBehavior— UTF -8 string (valores válidos: UPDATE_IN_DATABASE |LOG).

  O comportamento de atualização quando o crawler encontra um esquema alterado.

• Table— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica a tabela no banco de dados à qual a política de alteração de esquema se aplica.

• Database— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o banco de dados no qual a política de alteração de esquema se aplica.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Mapping – Obrigatório: uma matriz de objetos Mapeamento.

  Especifica o mapeamento das chaves de propriedade de dados na fonte dos dados para chaves de propriedade de dados no destino dos dados.

Campos

• ToKey— UTF -8 string, correspondendo a. Custom string pattern #43

  Após o mapeamento de aplicação, qual deve ser o nome da coluna. Pode ser igual a FromPath.

• FromPath— Uma matriz de UTF -8 cordas.

  A tabela ou coluna a ser modificada.

• FromType— UTF -8 string, correspondendo a. Custom string pattern #43

  O tipo dos dados a serem modificados.

• ToType— UTF -8 string, correspondendo a. Custom string pattern #43

  O tipo de dados para o qual os dados devem ser modificados.

• Dropped – Booleano.

  Se verdadeiro, a coluna será removida.

• Children – Uma matriz de objetos Mapeamento.

  Aplicável somente a estruturas de dados aninhadas. Se você quiser alterar a estrutura pai, mas também um de seus filhos, você pode preencher esta estrutura de dados. É também Mapping, mas seu FromPath será o FromPath dos pais mais o FromPath dessa estrutura.

  Para a parte dos filhos, suponha que você tenha a estrutura:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

  É possível especificar um Mapping parecido com:

  { "FromPath": "OuterStructure", "ToKey": "OuterStructure", "ToType": "Struct", "Dropped": false, "Chidlren": [{ "FromPath": "inner", "ToKey": "inner", "ToType": "Double", "Dropped": false, }] }

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Um JSON caminho para uma variável na estrutura de dados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Um JSON caminho para uma variável na estrutura de dados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• SourcePath— Obrigatório: uma matriz de UTF -8 strings.

  Um JSON caminho para uma variável na estrutura de dados dos dados de origem.

• TargetPath— Obrigatório: uma matriz de UTF -8 strings.

  Um JSON caminho para uma variável na estrutura de dados para os dados de destino.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Path— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Um caminho no Amazon S3 em que a transformação gravará um subconjunto de registros do conjunto de dados em um JSON arquivo em um bucket do Amazon S3.

• Topk: número (inteiro), não mais do que 100.

  Especifica vários registros a serem gravados a partir do início do conjunto de dados.

• Prob: número (double), no máximo 1.

  A probabilidade (um valor decimal com um valor máximo de 1) de escolher qualquer registro. Um valor de 1 indica que cada linha lida do conjunto de dados deve ser incluída na saída de amostra.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 2 ou mais que 2 strings.

  As entradas de dados identificadas por seus nomes de nós.

• JoinType— Obrigatório: UTF -8 string (valores válidos: equijoin="EQUIJOIN" | left="LEFT" | right="RIGHT" | outer="OUTER" | leftsemi="LEFT_SEMI" |leftanti="LEFT_ANTI").

  Especifica o tipo de junção a ser executada nos conjuntos de dados.

• Columns: obrigatório: uma matriz de objetos JoinColumn, não menos de 2 ou mais de 2 estruturas.

  Uma lista das duas colunas a serem unidas.

Campos

• From— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  A coluna a ser unida.

• Keys— Obrigatório: uma matriz de UTF -8 strings.

  A chave da coluna a ser unida.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Paths— Obrigatório: uma matriz de UTF -8 strings.

  Um JSON caminho para uma variável na estrutura de dados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Index – Obrigatório: número (inteiro), não mais do que Nenhum.

  O índice do DynamicFrame a ser selecionado.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• ImputedPath— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Um JSON caminho para uma variável na estrutura de dados do conjunto de dados que é imputado.

• FilledPath— UTF -8 string, correspondendo a. Custom string pattern #43

  Um JSON caminho para uma variável na estrutura de dados do conjunto de dados que está preenchido.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• LogicalOperator— Obrigatório: UTF -8 string (valores válidos: AND |OR).

  O operador costumava filtrar linhas comparando o valor da chave com um valor especificado.

• Filters – Obrigatório: uma matriz de objetos FilterExpression.

  Especifica uma expressão de filtro.

Campos

• Operation— Obrigatório: UTF -8 string (valores válidos: EQ | LT | GT | LTE | GTE | REGEX |ISNULL).

  O tipo de operação a ser executada na expressão.

• Negated – Booleano.

  Se a expressão deve ser negada.

• Values – Obrigatório: uma matriz de objetos FilterValue.

  Uma lista de valores de filtro.

Campos

• Type— Obrigatório: UTF -8 string (valores válidos: COLUMNEXTRACTED |CONSTANT).

  O tipo de valor do filtro.

• Value— Obrigatório: uma matriz de UTF -8 strings.

  O valor a ser associado.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, pelo menos 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Code— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #36

  O código personalizado usado para executar a transformação de dados.

• ClassName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome definido para a classe de nó de código personalizado.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a transformação de código personalizada.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, pelo menos 1 string.

  As entradas de dados identificadas por seus nomes de nós. Você pode associar um nome de tabela a cada nó de entrada para usar na SQL consulta. O nome que você escolher deve atender às restrições de SQL nomenclatura do Spark.

• SqlQuery— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #44

  Uma SQL consulta que precisa usar a SQL sintaxe do Spark e retornar um único conjunto de dados.

• SqlAliases – Obrigatório: uma matriz de objetos SqlAlias.

  Uma lista de aliases. Um alias permite que você especifique qual nome usar em uma determinada entrada. SQL Por exemplo, você tem uma fonte de dados chamada "”MyDataSource. Se você especificar From como MyDataSource e Alias como SqlName, então no seu SQL você pode fazer:

  select * from SqlName

  e isso obtém dados de MyDataSource.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a transformação do SQL Spark.

Campos

• From— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #42

  Uma tabela ou uma coluna em uma tabela.

• Alias— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Um nome temporário dado a uma tabela ou a uma coluna em uma tabela.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• NullCheckBoxList – Um objeto NullCheckBoxList.

  Uma estrutura que representa se determinados valores são reconhecidos como valores nulos para remoção.

• NullTextList – Uma matriz de NullValueField objetos, não mais de 50 estruturas.

  Uma estrutura que especifica uma lista de NullValueField estruturas que representam um valor nulo personalizado, como zero ou outro valor usado como um espaço reservado nulo exclusivo para o conjunto de dados.

  A transformação DropNullFields remove valores nulos personalizados somente se o valor do espaço reservado nulo e o tipo de dados corresponderem aos dados.

Campos

• IsEmpty – Booleano.

  Especifica que uma string vazia é considerada como um valor nulo.

• IsNullString – Booleano.

  Especifica que um valor com a palavra "null" é considerado como um valor nulo.

• IsNegOne – Booleano.

  Especifica que um valor inteiro de -1 é considerado como um valor nulo.

Campos

• Value— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O valor do espaço reservado para nulo.

• Datatype – Obrigatório: um objeto DataType.

  O tipo de dados do valor.

Campos

• Id— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #42

  O tipo de dados do valor.

• Label— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #42

  Um rótulo atribuído ao tipo de dados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 2 ou mais que 2 strings.

  As entradas de dados identificadas por seus nomes de nós.

• Source— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #42

  O DynamicFrame da fonte que será mesclado com um DynamicFrame de preparação.

• PrimaryKeys— Obrigatório: uma matriz de UTF -8 strings.

  A lista de campos de chave primária para corresponder aos registros da fonte e quadros dinâmicos de preparação.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 2 ou mais que 2 strings.

  A entrada do ID do nó na transformação.

• UnionType— Obrigatório: UTF -8 string (valores válidos: ALL |DISTINCT).

  Indica o tipo de transformação Union.

  Especifique ALL para unir todas as linhas das fontes de dados às resultantes DynamicFrame. A união resultante não remove linhas duplicadas.

  Especifique DISTINCT para remover linhas duplicadas no resultado DynamicFrame.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  A entrada do ID do nó na transformação.

• PiiType— Obrigatório: UTF -8 string (valores válidos: RowAudit | RowMasking | ColumnAudit |ColumnMasking).

  Indica o tipo de PIIDetection transformação.

• EntityTypesToDetect— Obrigatório: uma matriz de UTF -8 strings.

  Indica os tipos de entidades que a PIIDetection transformação identificará como PII dados.

  PIIas entidades de tipo incluem: PERSON USA _ NAMEDATE,SNN, USA _EMAIL, _ITIN, USA PASSPORT _ _NUMBER, PHONE _NUMBER, BANK _ACCOUNT, IP_ADDRESS, MAC _ADDRESS, USA CPT _CODE, USA _ HCPCS _CODE, USA _ _ NATIONAL DRUG _CODE, USA _ _ MEDICARE BENEFICIARY _IDENTIFIER, USA _ _ HEALTH _ INSURANCE CLAIM _NUMBER, CREDIT _CARD, USA _ NATIONAL_ PROVIDER _IDENTIFIER, USA _ DEA _NUMBER, USA _ DRIVING _ LICENSE

• OutputColumnName— UTF -8 string, correspondendo a. Custom string pattern #43

  Indica o nome da coluna de saída que conterá qualquer tipo de entidade detectado nessa linha.

• SampleFraction: número (double), no máximo 1.

  Indica a fração dos dados a serem amostrados ao escanear PII entidades.

• ThresholdFraction: número (double), no máximo 1.

  Indica a fração dos dados que devem ser atendidos para que uma coluna seja identificada como PII dados.

• MaskValue— UTF -8 string, com no máximo 256 bytes de comprimento, correspondendo a. Custom string pattern #40

  Indica o valor que substituirá a entidade detectada.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Especifica os campos e linhas a serem usados como entradas para a transformação agregada.

• Groups— Obrigatório: uma matriz de UTF -8 strings.

  Especifica os campos a serem agrupados.

• Aggs: obrigatório: uma matriz de objetos AggregateOperation, com, no mínimo, 1 e, no máximo, 30 estruturas.

  Especifica as funções agregadas a serem executadas em campos especificados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó de transformação.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas de dados identificadas por seus nomes de nós.

• Columns— Uma matriz de UTF -8 cordas.

  O nome das colunas a serem mescladas ou removidas caso sejam repetidas.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino de dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

• PartitionKeys— Uma matriz de UTF -8 cordas.

  Especifica o particionamento nativo usando uma sequência de chaves.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome da tabela no banco de dados na qual gravar.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O nome do banco de dados no qual gravar.

• SchemaChangePolicy – Um objeto CatalogSchemaChangePolicy.

  Uma política que especifica o comportamento do catálogo governado.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do datastore.

• Database— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O banco de dados do qual a leitura será feita.

• Table— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  A tabela do banco de dados da qual a leitura será feita.

• PartitionPredicate— UTF -8 string, correspondendo a. Custom string pattern #43

  As partições que satisfazem a esse predicado são excluídas. Os arquivos dentro do período de retenção nessas partições não são excluídos. Definido como "", vazio por padrão.

• AdditionalOptions – Um objeto S3 SourceAdditionalOptions.

  Especifica opções de conexão adicionais.

Campos

• Column— Obrigatório: uma matriz de UTF -8 strings.

  Especifica a coluna no conjunto de dados em que a função de agregação será aplicada.

• AggFunc— Obrigatório: UTF -8 string (valores válidos: avg countDistinct | | count | first | last | kurtosis | max | | min | skewness | stddev_samp | stddev_pop | sum | | sumDistinct var_samp |var_pop).

  Especifica a função de agregação a ser aplicada.

  As possíveis funções de agregação incluem: avgcountDistinct, count, first, last, kurtosis, max, min, skewness, stddev_samp, stddev_pop, sum, var_samp, var_pop sumDistinct

Campos

• Columns – Uma matriz de objetos GlueStudioSchemaColumn.

  Especifica as definições de coluna que compõem um AWS Glue esquema.

Campos

• Name— Obrigatório: UTF -8 string, com no máximo 1024 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da coluna no esquema do AWS Glue Studio.

• Type— UTF -8 string, com no máximo 131072 bytes de comprimento, correspondendo a. Single-line string pattern

  O tipo de seção dessa coluna no esquema do AWS Glue Studio.

Campos

• Key— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  A chave da coluna no AWS Glue Studio.

• FullPath— Obrigatório: uma matriz de UTF -8 strings.

  TThecheio URL da coluna no AWS Glue Studio.

• Type— Obrigatório: UTF -8 string (valores válidos: array="ARRAY" | bigint="BIGINT" | | bigint array="BIGINT_ARRAY" | binary="BINARY" | binary array="BINARY_ARRAY" | | boolean="BOOLEAN" | boolean array="BOOLEAN_ARRAY" | byte="BYTE" | byte array="BYTE_ARRAY" | | char="CHAR" | char array="CHAR_ARRAY" | choice="CHOICE" | | choice array="CHOICE_ARRAY" | date="DATE" | date array="DATE_ARRAY" | decimal="DECIMAL" | | decimal array="DECIMAL_ARRAY" | double="DOUBLE" | double array="DOUBLE_ARRAY" | | enum="ENUM" | enum array="ENUM_ARRAY" | float="FLOAT" | | float array="FLOAT_ARRAY" | int="INT" | int array="INT_ARRAY" | interval="INTERVAL" | | interval array="INTERVAL_ARRAY" | long="LONG" | long array="LONG_ARRAY" | | object="OBJECT" | short="SHORT" | short array="SHORT_ARRAY" smallint="SMALLINT"| smallint array="SMALLINT_ARRAY" | string="STRING" | string array="STRING_ARRAY" | timestamp="TIMESTAMP" | timestamp array="TIMESTAMP_ARRAY" | tinyint="TINYINT" | | tinyint array="TINYINT_ARRAY" | varchar="VARCHAR" | varchar array="VARCHAR_ARRAY" | null="NULL" | unknown="UNKNOWN" |unknown array="UNKNOWN_ARRAY").

  TThetipo da coluna no AWS Glue Studio.

• Children: uma matriz de estruturas.

  TThefilhos da coluna principal no AWS Glue Studio.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o nome da transformação dinâmica.

• TransformName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o nome da transformação dinâmica conforme ela aparece no editor visual do AWS Glue Studio.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Especifica as entradas necessárias para a transformação dinâmica.

• Parameters – Uma matriz de objetos TransformConfigParameter.

  Especifica os parâmetros da transformação dinâmica.

• FunctionName— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o nome da função da transformação dinâmica.

• Path— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o caminho da origem da transformação dinâmica e dos arquivos de configuração.

• Version— UTF -8 string, correspondendo a. Custom string pattern #43

  Esse campo não é usado e será removido em uma versão futura.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para a transformação dinâmica.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica o nome do parâmetro no arquivo de configuração da transformação dinâmica.

• Type— Obrigatório: UTF -8 string (valores válidos: str="STR" | int="INT" | float="FLOAT" | complex="COMPLEX" | bool="BOOL" | list="LIST" |null="NULL").

  Especifica o tipo de parâmetro no arquivo de configuração da transformação dinâmica.

• ValidationRule— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica a regra de validação no arquivo de configuração da transformação dinâmica.

• ValidationMessage— UTF -8 string, correspondendo a. Custom string pattern #43

  Especifica a mensagem de validação no arquivo de configuração da transformação dinâmica.

• Value— Uma matriz de UTF -8 cordas.

  Especifica o valor do parâmetro no arquivo de configuração da transformação dinâmica.

• ListType— UTF -8 string (valores válidos: str="STR" | int="INT" | float="FLOAT" | | complex="COMPLEX" | bool="BOOL" list="LIST" |null="NULL").

  Especifica o tipo de lista do parâmetro no arquivo de configuração da transformação dinâmica.

• IsOptional – Booleano.

  Especifica se o parâmetro é opcional ou não no arquivo de configuração da transformação dinâmica.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da avaliação de qualidade dos dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  As entradas da avaliação de qualidade dos dados.

• Ruleset— Obrigatório: UTF -8 string, não menos que 1 ou mais que 65536 bytes de comprimento, correspondendo a. Custom string pattern #41

  O conjunto de regras para a avaliação de qualidade dos dados.

• Output— UTF -8 string (valores válidos: PrimaryInput |EvaluationResults).

  As resultado da avaliação de qualidade dos dados.

• PublishingOptions – Um objeto DQResultsPublishingOptions.

  Opções para configurar como os resultados são publicados.

• StopJobOnFailureOptions – Um objeto DQStopJobOnFailureOptions.

  Opções para configurar como o trabalho será interrompido se a avaliação de qualidade dos dados falhar.

Campos

• EvaluationContext— UTF -8 string, correspondendo a. Custom string pattern #42

  O contexto da avaliação.

• ResultsS3Prefix— UTF -8 string, correspondendo a. Custom string pattern #43

  O prefixo do Amazon S3 adicionado aos resultados.

• CloudWatchMetricsEnabled – Booleano.

  Habilitar métricas para os resultados de qualidade dos dados.

• ResultsPublishingEnabled – Booleano.

  Habilitar a publicação dos resultados de qualidade dos dados.

Campos

• StopJobOnFailureTiming— UTF -8 string (valores válidos: Immediate |AfterDataLoad).

  Quando interromper o trabalho se a avaliação de qualidade dos dados falhar. As opções são imediatas ou AfterDataLoad.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da avaliação de qualidade dos dados.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, pelo menos 1 string.

  As entradas da avaliação de qualidade dos dados. A primeira entrada nessa lista é a fonte de dados primária.

• AdditionalDataSources – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #45

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Os aliases de todas as fontes de dados, exceto a primária.

• Ruleset— Obrigatório: UTF -8 string, não menos que 1 ou mais que 65536 bytes de comprimento, correspondendo a. Custom string pattern #41

  O conjunto de regras para a avaliação de qualidade dos dados.

• PublishingOptions – Um objeto DQResultsPublishingOptions.

  Opções para configurar como os resultados são publicados.

• AdditionalOptions – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF -8 (valores válidos: performanceTuning.caching="CacheOption" |observations.scope="ObservationsOption").

  Cada valor é uma string UTF -8.

  Opções para configurar o comportamento do runtime da transformação.

• StopJobOnFailureOptions – Um objeto DQStopJobOnFailureOptions.

  Opções para configurar como o trabalho será interrompido se a avaliação de qualidade dos dados falhar.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do nó do AWS Glue Studio.

• Inputs— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são inseridos no nó da fórmula, identificados por ID.

• RecipeReference – Um objeto RecipeReference.

  Uma referência à DataBrew receita usada pelo nó.

• RecipeSteps – Uma matriz de objetos RecipeStep.

  Etapas de transformação usadas no nó da fórmula.

Campos

• RecipeArn— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  O ARN da DataBrew receita.

• RecipeVersion— Obrigatório: UTF -8 string, não menos que 1 ou mais de 16 bytes.

  O RecipeVersion da DataBrew receita.

Campos

• SourceType— UTF -8 string, correspondendo a. Custom string pattern #42

  Especifica como os dados recuperados são especificados. Valores válidos: "table", "query".

• Connection – Um objeto Opção.

  Especifica uma conexão do catálogo AWS Glue de dados com um endpoint do Snowflake.

• Schema— UTF -8 cordas.

  Especifica um esquema de banco de dados do Snowflake para seu nó usar.

• Table— UTF -8 cordas.

  Especifica uma tabela do Snowflake para seu nó usar.

• Database— UTF -8 cordas.

  Especifica um banco de dados do Snowflake para seu nó usar.

• TempDir— UTF -8 string, correspondendo a. Custom string pattern #43

  Não utilizado no momento.

• IamRole – Um objeto Opção.

  Não utilizado no momento.

• AdditionalOptions – Um array de mapa dos pares de valor-chave.

  Cada tecla é uma string UTF -8, correspondendo a. Custom string pattern #43

  Cada valor é uma string UTF -8, correspondendo a. Custom string pattern #43

  Especifica opções adicionais passadas ao conector do Snowflake. Se as opções forem especificadas em outro lugar neste nó, isso terá precedência.

• SampleQuery— UTF -8 cordas.

  Uma SQL string usada para recuperar dados com o tipo de query origem.

• PreAction— UTF -8 cordas.

  Uma SQL string executada antes que o conector Snowflake execute suas ações padrão.

• PostAction— UTF -8 cordas.

  Uma SQL string executada depois que o conector Snowflake executa suas ações padrão.

• Action— UTF -8 cordas.

  Especifica a ação a ser realizada ao gravar em uma tabela com dados preexistentes. Valores válidos: append, merge, truncate, drop.

• Upsert – Booleano.

  Usado quando a ação é append. Especifica o comportamento da resolução quando uma linha já existe. Se verdadeiro, as linhas preexistentes serão atualizadas. Se falso, essas linhas serão inseridas.

• MergeAction— UTF -8 string, correspondendo a. Custom string pattern #42

  Especifica uma ação de mesclagem. Valores válidos: simple, custom. Se for simples, o comportamento de mesclagem será definido por MergeWhenMatched e MergeWhenNotMatched. Se for personalizado, será definido por MergeClause.

• MergeWhenMatched— UTF -8 string, correspondendo a. Custom string pattern #42

  Especifica como resolver registros que correspondam a dados preexistentes durante a mesclagem. Valores válidos: update, delete.

• MergeWhenNotMatched— UTF -8 string, correspondendo a. Custom string pattern #42

  Especifica como processar registros que não correspondem a dados preexistentes durante a mesclagem. Valores válidos: insert, none.

• MergeClause— UTF -8 cordas.

  Uma SQL declaração que especifica um comportamento de mesclagem personalizado.

• StagingTable— UTF -8 cordas.

  O nome de uma tabela de preparação usada ao executar merge ou fazer o upsert das ações append. Os dados são gravados nessa tabela e, em seguida, movidos para a table por uma pós-ação gerada.

• SelectedColumns – Uma matriz de objetos Opção.

  Especifica as colunas combinadas para identificar um registro ao detectar correspondências para mesclagens e upserts. Uma lista de estruturas com as chaves value, label e description. Cada estrutura descreve uma coluna.

• AutoPushdown – Booleano.

  Especifica se o pushdown de consultas está habilitado. Se o pushdown estiver habilitado, quando uma consulta for executada no Spark, se for possível fazer pushdown de parte da consulta para o servidor do Snowflake, isso ocorrerá. Isso melhora a performance de algumas consultas.

• TableSchema – Uma matriz de objetos Opção.

  Define manualmente o esquema de destino para o nó. Uma lista de estruturas com as chaves value, label e description. Cada estrutura define uma coluna.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome da fonte de dados do Snowflake.

• Data – Obrigatório: um objeto SnowflakeNodeData.

  Configuração da fonte de dados do Snowflake.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica esquemas definidos pelo usuário para seus dados de saída.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome do destino do Snowflake.

• Data – Obrigatório: um objeto SnowflakeNodeData.

  Especifica os dados do nó de destino do Snowflake.

• Inputs— Uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome desse nó de origem.

• ConnectionType— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  OconnectionType, conforme fornecido à AWS Glue biblioteca subjacente. Esse tipo de nó é compatível com os seguintes tipos de conexão:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data: obrigatório: uma matriz de mapa dos pares de chave-valor.

  Cada tecla é uma string UTF -8.

  Cada valor é uma string UTF -8.

  Um mapa que especifica as opções de conexão para o nó. Você pode encontrar opções de conexão padrão para o tipo de conexão correspondente na seção Parâmetros de conexão da AWS Glue documentação.

• OutputSchemas – Uma matriz de objetos GlueSchema.

  Especifica o esquema de dados para esta fonte.

Campos

• Name— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #45

  O nome desse nó de destino.

• ConnectionType— Obrigatório: UTF -8 string, correspondendo a. Custom string pattern #43

  OconnectionType, conforme fornecido à AWS Glue biblioteca subjacente. Esse tipo de nó é compatível com os seguintes tipos de conexão:

  • opensearch

  • azuresql

  • azurecosmos

  • bigquery

  • saphana

  • teradata

  • vertica

• Data: obrigatório: uma matriz de mapa dos pares de chave-valor.

  Cada tecla é uma string UTF -8.

  Cada valor é uma string UTF -8.

  Um mapa que especifica as opções de conexão para o nó. Você pode encontrar opções de conexão padrão para o tipo de conexão correspondente na seção Parâmetros de conexão da AWS Glue documentação.

• Inputs— Uma matriz de UTF -8 strings, não menos que 1 ou mais que 1 string.

  Os nós que são entradas para o destino de dados.

Campos

• Action – Obrigatório: um objeto RecipeAction.

  A ação de transformação da etapa de fórmula.

• ConditionExpressions – Uma matriz de objetos ConditionExpression.

  Expressões de condição para a etapa de fórmula.

Campos

• Operation— Obrigatório: UTF -8 string, não menos que 1 ou mais de 128 bytes de comprimento, correspondendo a. Custom string pattern #38

  A operação da ação da fórmula.

• Parameters – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF -8, com pelo menos 1 ou mais de 128 bytes de comprimento, correspondendo a. Custom string pattern #39

  Cada valor é uma string UTF -8, com pelo menos 1 ou mais de 32768 bytes.

  Os parâmetros da ação da fórmula.

Campos

• Condition— Obrigatório: UTF -8 string, não menos que 1 ou mais de 128 bytes de comprimento, correspondendo a. Custom string pattern #38

  A condição da expressão de condição.

• Value— seqüência de caracteres UTF -8, não mais que 1024 bytes.

  O valor da expressão de condição.

• TargetColumn— Obrigatório: UTF -8 string, não menos que 1 ou mais de 1024 bytes.

  A coluna de destino das expressões de condição.