As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solução de problemas da Amazon DataZone

Se você encontrar problemas de acesso negado ou dificuldades semelhantes ao trabalhar com a Amazon, DataZone consulte os tópicos desta seção.

Solução de problemas de permissões do AWS Lake Formation para a Amazon DataZone

Esta seção contém instruções de solução de problemas que você pode encontrar aoConfigurar as permissões do Lake Formation para a Amazon DataZone.

Solução de problemas de vinculação de ativos DataZone de linhagem da Amazon com conjuntos de dados upstream

Esta seção contém instruções de solução de problemas que você pode encontrar com a DataZone linhagem da Amazon. Em alguns dos AWS Glue eventos de execução de linhagem aberta relacionados ao Amazon Redshift, você pode ver que a linhagem de ativos não está vinculada a um conjunto de dados upstream. Este tópico explica os cenários e algumas abordagens para mitigar problemas. Para obter mais informações sobre linhagem, consulteLinhagem de dados na Amazon DataZone (versão prévia) .

SourceIdentifier no nó de linhagem

O sourceIdentifier atributo em um nó de linhagem representa os eventos que acontecem em um conjunto de dados. Para obter mais informações, consulte Atributos principais em nós de linhagem.

O nó de linhagem representa todos os eventos que acontecem no conjunto de dados ou no trabalho correspondente. O nó de linhagem contém um atributo "sourceIdentifier" que contém o identificador do conjunto de dados/tarefa correspondente. Como oferecemos suporte a eventos de linhagem aberta, o sourceIdentifier valor é preenchido por padrão como a combinação de “namespace” e “nome” para um conjunto de dados, trabalho e execução de trabalhos.

Para AWS recursos como o Amazon Redshift, sourceIdentifier seriam a tabela AWS Glue e a AWS Glue tabela do Redshift a partir das ARNs quais a Amazon DataZone construirá o evento de execução ARN e outros detalhes da seguinte forma:

SourceIdentifier sobre os ativos dentro DataZone

AssetCommonDetailFormtem um atributo chamado "sourceIdentifier" que representa o identificador do conjunto de dados que o ativo representa. Para que os nós de linhagem de ativos sejam vinculados a um conjunto de dados upstream, o atributo precisa ser preenchido com o valor correspondente ao do nó do conjunto de dados. sourceIdentifier Se os ativos forem importados por fonte de dados, o fluxo de trabalho será preenchido ARN automaticamente sourceIdentifier como tabela AWS Glue /tabela ARN Redshift, enquanto outros ativos (incluindo ativos personalizados) criados por meio do CreateAsset API devem ter esse valor preenchido pelo chamador.

Como a Amazon DataZone constrói o evento sourceIdentifier a partir do OpenLineage evento?

Para ativos do Redshift AWS Glue e do Redshift, o sourceIdentifier é construído a partir do Glue e do Redshift. ARNs Veja como a Amazon o DataZone constrói:

AWS Glue ARN

O objetivo é construir um OpenLineage evento em que o nó da linhagem de saída sourceIdentifier seja:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Para determinar se uma execução está usando dados de AWS Glue, procure a presença de determinadas palavras-chave na environment-properties faceta. Especificamente, se algum desses campos designados estiver presente, o sistema presume que a RunEvent origem é de. AWS Glue

"run": {
   "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
   "facets":{
      "environment-properties":{
         "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
         "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
         "environment-properties":{
            "GLUE_VERSION":"3.0",
            "GLUE_COMMAND_CRITERIA":"glueetl",
            "GLUE_PYTHON_VERSION":"3"
         }
      }
   }

Para uma AWS Glue execução, você pode usar o nome da symlinks faceta para obter o nome do banco de dados e da tabela, que podem ser usados para construir o. ARN

Preciso ter certeza de que o nome édatabaseName.tableName:

"symlinks": {
   "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
   "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
   "identifiers":[
      {
         "namespace":"s3://object-path",
         "name":"testlfdb.testlftb-1",
         "type":"TABLE"
      }
   ]
}

Exemplo de COMPLETE evento:

{
   "eventTime":"2024-07-01T12:00:00.000000Z",
   "producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
   "schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunEvent",
   "eventType":"COMPLETE",
   "run": {
      "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
      "facets":{
         "environment-properties":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
            "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
            "environment-properties":{
               "GLUE_VERSION":"3.0",
               "GLUE_COMMAND_CRITERIA":"glueetl",
               "GLUE_PYTHON_VERSION":"3"
            }
         }
      }
   },
   "job":{
      "namespace":"namespace",
      "name":"job_name",
      "facets":{
         "jobType":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
            "_schemaURL":"https://openlineage.io/spec/facets/2-0-2/JobTypeJobFacet.json#/$defs/JobTypeJobFacet",
            "processingType":"BATCH",
            "integration":"glue",
            "jobType":"JOB"
         }
      }
   },
   "inputs":[
      {
         "namespace":"namespace",
         "name":"input_name"
      }
   ],
   "outputs":[
      {
         "namespace":"namespace.output",
         "name":"output_name",
         "facets":{
            "symlinks":{
               "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
               "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
               "identifiers":[
                  {
                     "namespace":"s3://object-path",
                     "name":"testlfdb.testlftb-1",
                     "type":"TABLE"
                  }
               ]
            }
         }
      }
   ]
}

Com base no OpenLineage evento enviado, o nó sourceIdentifier da linhagem de saída será:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

O nó de linhagem de saída será conectado ao nó de linhagem de um ativo, onde o do ativo ésourceIdentifier:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Amazon Redshift ARN

O objetivo é construir um OpenLineage evento em que o nó da linhagem de saída sourceIdentifier seja:

arn:aws:redshift:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

O sistema determina se uma entrada ou saída é armazenada no Redshift com base no namespace. Especificamente, se o namespace começar com redshift://ou contiver as cadeias de caracteres ou se for um redshift-serverless.amazonaws.com recurso redshift.amazonaws.com do Redshift.

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Observe que o namespace precisa estar no seguinte formato:

provider://{cluster_identifier}.{region_name}:{port}

Para redshift-serverless:

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift-serverless.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Resultados no seguinte sourceIdentifier

arn:aws:redshift-serverless:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Com base no OpenLineage evento enviado, o nó de linhagem sourceIdentifier a ser mapeado para um nó de linhagem a jusante (ou seja, uma saída do evento) é:

arn:aws:redshift-serverless:us-e:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Esse é o mapeamento que ajuda você a visualizar a linhagem de um ativo no catálogo.

Abordagem alternativa

Quando nenhuma das condições acima for atendida, o sistema usa o namespace/name para construir: sourceIdentifier

"inputs": [
  {
     "namespace":"arn:aws:redshift:us-east-1:123456789012:table",
     "name":"workgroup-20240715/tpcds_data/public/dws_tpcds_7"
  }
],
"outputs": [
  {
     "namespace":"arn:aws:glue:us-east-1:123456789012:table",
     "name":"testlfdb/testlftb-1"
  }
]

Solucionando a falta de upstream para o nó de linhagem de ativos

Se você não vê o upstream do nó da linhagem do ativo, faça o seguinte para solucionar o motivo pelo qual ele não está vinculado ao conjunto de dados:

Cenários e mitigações incompatíveis

A seguir estão os cenários comumente conhecidos em que eles não coincidem e as possíveis mitigações:

Causa raiz: as tabelas estão presentes em uma conta diferente da conta de DataZone domínio da Amazon.

Atenuação: você pode invocar a PostLineageEvent operação a partir de uma conta associada. Como accountId a criação do ARN é selecionada a partir das credenciais do chamador, você pode assumir a função na conta que contém as tabelas ao executar o script de introdução ou invocar. PostLineageEvent Isso ajudará na construção ARNs correta e na vinculação com os nós do ativo.

Causa raiz: o ARN for Redshift table/views contains Redshift/Redshift -serverless com base no namespace e nos atributos de nome das informações do conjunto de dados correspondente no evento de execução. OpenLineage

Atenuação: Como não há uma forma determinística de saber se o nome fornecido pertence ao cluster ou ao grupo de trabalho, usamos a seguinte heurística:

Causa raiz: os conjuntos de dados upstream não estão vinculados corretamente para ativos personalizados.

Atenuação<name>: certifique-se de preencher o sourceIdentifier ativo invocandoCreateAsset/CreateAssetRevisionque corresponda ao do nó do conjunto sourceIdentifier de dados (que seria<namespace>/para nós personalizados).