Trabalhos de transmissão de ETL no AWS Glue

• Notas e restrições para fontes de transmissão Avro

• Aplicar padrões grok a fontes de transmissão

Para definir propriedades de ETL de transmissão para o Amazon Kinesis Data Streams (API do AWS Glue ou AWS CLI)

• Para configurar as propriedades de ETL de transmissão para uma fonte do Kinesis na mesma conta, especifique os parâmetros streamName e endpointUrl na estrutura StorageDescriptor da operação da API CreateTable ou do comando da CLI create_table.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  Ou especifique o streamARN.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• Para configurar as propriedades de ETL de transmissão para uma fonte do Kinesis na mesma conta, especifique os parâmetros streamARN, awsSTSRoleARN e awsSTSSessionName (opcional) na estrutura StorageDescriptor da operação da API CreateTable ou do comando da CLI create_table.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• Quando a detecção de esquema está ativada, o esquema Avro deve ser incluído na carga útil. Quando desligado, a carga útil deve conter apenas dados.

• Alguns tipos de dados Avro não são suportados em quadros dinâmicos. Você não pode especificar esses tipos de dados ao definir o esquema com a página Define a schema (Definir um esquema) no assistente de criação de tabela no console do AWS Glue. Durante a detecção de esquema, os tipos não suportados no esquema Avro são convertidos para tipos suportados da seguinte forma:

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• Se você definir o esquema de tabela usando a página Define a schema (Definir um esquema) no console, o tipo de elemento raiz implícito para o esquema será record. Se você quiser um tipo de elemento raiz diferente de record, por exemplo, array ou map, não deve especificar o esquema usando a página Define a schema (Definir um esquema). Em vez disso, você deve ignorar essa página e especificar o esquema como uma propriedade de tabela ou dentro do script de ETL.

  • Para especificar o esquema nas propriedades da tabela, conclua o assistente de criação de tabela, edite os detalhes da tabela e adicione um novo par de chave-valor em Table properties (Propriedades da tabela). Use a chave avroSchema e insira um objeto JSON de esquema para o valor, conforme mostrado na captura de tela a seguir.

    

  • Para especificar o esquema no script de ETL, modifique a instrução de atribuição datasource0 e adicione a chave avroSchema ao argumento additional_options, conforme mostrado nos exemplos de Python e Scala a seguir.

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

• A descompactação automática para trabalhos de ETL de fluxo do AWS Glue só está disponível para os tipos de compactação compatíveis. Observe o seguinte:

  • Snappy com enquadramento refere-se ao formato de enquadramento oficial para o Snappy.

  • Deflate é compatível com o Glue versão 3.0, mas não com o Glue versão 2.0.

• Ao usar a detecção de esquema, você não pode realizar junções de dados de transmissão.

• Os trabalhos de ETL de transmissão do AWS Glue não são compatíveis com o tipo de dados Union para registro de esquema do AWS Glue com o formato Avro.

• Seu script de ETL pode usar as transformações nativas do AWS Glue e as transformações nativas do Apache Spark Structured Streaming. Para obter mais informações, consulte Operations on streaming DataFrames/Datasets (Operações em transmissão de dataframes/conjuntos de dados) no website do Apache Spark ou Referência de transformações PySpark do AWS Glue.

• Os trabalhos de ETL de transmissão do AWS Glue usam pontos de verificação para acompanhar os dados que foram lidos. Portanto, um trabalho interrompido e reiniciado é retomado de onde parou no streaming. Se desejar reprocessar dados, você poderá excluir a pasta de ponto de verificação indicada no script.

• Marcadores de trabalho não são compatíveis.

• Para usar o atributo de distribuição avançada de fluxo de dados do Kinesis no trabalho, consulte Usar distribuição avançada nas tarefas de streaming do Kinesis.

• Se você usar uma tabela de catálogo de dados criada a partir do registro de esquemas do AWS Glue, quando uma nova versão do esquema se tornar disponível, para refletir o novo esquema, você precisará fazer o seguinte:

  1. Pare os trabalhos associados à tabela.

  2. Atualize o esquema para a tabela do catálogo de dados.

  3. Reinicie os trabalhos associados à tabela.