Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes liés à Amazon DataZone

Si vous rencontrez des problèmes de refus d'accès ou des difficultés similaires lorsque vous travaillez avec Amazon, DataZone consultez les rubriques de cette section.

Résolution des problèmes liés aux autorisations de AWS Lake Formation pour Amazon DataZone

Cette section contient des instructions de résolution des problèmes que vous pourriez rencontrer lorsque vousConfigurer les autorisations de Lake Formation pour Amazon DataZone.

Résolution des problèmes liés à la liaison des actifs Amazon DataZone Lineage avec des ensembles de données en amont

Cette section contient des instructions de résolution des problèmes que vous pourriez rencontrer avec Amazon DataZone Lineage. Pour certains événements d'exécution de AWS Glue lignage ouvert liés à Amazon Redshift, vous constaterez peut-être que le lignage des actifs n'est pas lié à un ensemble de données en amont. Cette rubrique explique les scénarios et quelques approches pour atténuer les problèmes. Pour plus d'informations sur le lignage, voirLignage des données dans Amazon DataZone (version préliminaire) .

SourceIdentifier sur un nœud de lignée

L'sourceIdentifierattribut d'un nœud de lignée représente les événements qui se produisent sur un ensemble de données. Pour plus d'informations, consultez la section Attributs clés dans les nœuds de lignage.

Le nœud de lignage représente tous les événements qui se produisent sur le jeu de données ou le travail correspondant. Le nœud de lignage contient un attribut « sourceIdentifier » qui contient l'identifiant du jeu de données/tâches correspondant. Comme nous prenons en charge les événements de lignage ouvert, la sourceIdentifier valeur est renseignée par défaut sous la forme de la combinaison de « namespace » et de « nom » pour un ensemble de données, une tâche et des exécutions de tâches.

Pour les AWS ressources telles qu' AWS Glue Amazon Redshift, il s'sourceIdentifieragirait de la AWS Glue table ARN et de la table Redshift à partir ARNs desquelles Amazon DataZone créera l'événement d'exécution et les autres détails suivants :

SourceIdentifier sur les actifs contenus dans DataZone

AssetCommonDetailFormpossède un attribut appelé « sourceIdentifier » qui représente l'identifiant de l'ensemble de données représenté par la ressource. Pour que les nœuds de lignage d'actifs soient liés à un ensemble de données en amont, l'attribut doit être renseigné avec la valeur correspondant à celle du nœud du jeu de sourceIdentifier données. Si les actifs sont importés par source de données, le flux de travail est ARN automatiquement renseigné sourceIdentifier sous forme de AWS Glue ARN table/table Redshift, tandis que les autres actifs (y compris les actifs personnalisés) créés via le CreateAsset API devraient avoir cette valeur renseignée par l'appelant.

Comment Amazon crée-t-il DataZone les informations sourceIdentifier issues de l' OpenLineage événement ?

Pour les actifs Redshift AWS Glue et Redshift, ils sourceIdentifier sont conçus à partir de Glue et Redshift. ARNs Voici comment Amazon le DataZone construit :

AWS Glue ARN

L'objectif est de créer un OpenLineage événement dont le nœud de lignée en sortie sourceIdentifier est :

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Pour déterminer si une course utilise des données provenant de AWS Glue, recherchez la présence de certains mots clés dans la environment-properties facette. Plus précisément, si l'un de ces champs désignés est présent, le système suppose qu'il RunEvent provient de AWS Glue.

"run": {
   "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
   "facets":{
      "environment-properties":{
         "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
         "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
         "environment-properties":{
            "GLUE_VERSION":"3.0",
            "GLUE_COMMAND_CRITERIA":"glueetl",
            "GLUE_PYTHON_VERSION":"3"
         }
      }
   }

Pour une AWS Glue exécution, vous pouvez utiliser le nom de la symlinks facette pour obtenir le nom de la base de données et de la table, qui peuvent être utilisés pour construire leARN.

Vous devez vous assurer que le nom est databaseName.tableName :

"symlinks": {
   "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
   "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
   "identifiers":[
      {
         "namespace":"s3://object-path",
         "name":"testlfdb.testlftb-1",
         "type":"TABLE"
      }
   ]
}

Exemple d'COMPLETEévénement :

{
   "eventTime":"2024-07-01T12:00:00.000000Z",
   "producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
   "schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunEvent",
   "eventType":"COMPLETE",
   "run": {
      "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
      "facets":{
         "environment-properties":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
            "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
            "environment-properties":{
               "GLUE_VERSION":"3.0",
               "GLUE_COMMAND_CRITERIA":"glueetl",
               "GLUE_PYTHON_VERSION":"3"
            }
         }
      }
   },
   "job":{
      "namespace":"namespace",
      "name":"job_name",
      "facets":{
         "jobType":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
            "_schemaURL":"https://openlineage.io/spec/facets/2-0-2/JobTypeJobFacet.json#/$defs/JobTypeJobFacet",
            "processingType":"BATCH",
            "integration":"glue",
            "jobType":"JOB"
         }
      }
   },
   "inputs":[
      {
         "namespace":"namespace",
         "name":"input_name"
      }
   ],
   "outputs":[
      {
         "namespace":"namespace.output",
         "name":"output_name",
         "facets":{
            "symlinks":{
               "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
               "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
               "identifiers":[
                  {
                     "namespace":"s3://object-path",
                     "name":"testlfdb.testlftb-1",
                     "type":"TABLE"
                  }
               ]
            }
         }
      }
   ]
}

Sur la base de l'OpenLineageévénement soumis, le nœud sourceIdentifier de lignée de sortie sera :

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Le nœud de lignage en sortie sera connecté au nœud de lignage d'un actif où l'actif est sourceIdentifier :

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Amazon Redshift ARN

L'objectif est de créer un OpenLineage événement dont le nœud de lignée en sortie sourceIdentifier est :

arn:aws:redshift:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Le système détermine si une entrée ou une sortie est stockée dans Redshift en fonction de l'espace de noms. Plus précisément, si l'espace de noms commence par redshift ://ou contient les chaînes redshift-serverless.amazonaws.com ou redshift.amazonaws.com s'il s'agit d'une ressource Redshift.

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Notez que l'espace de noms doit être au format suivant :

provider://{cluster_identifier}.{region_name}:{port}

Dans redshift-serverless :

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift-serverless.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Les résultats sont les suivants sourceIdentifier

arn:aws:redshift-serverless:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Sur la base de l' OpenLineage événement soumis, le nœud de lignage sourceIdentifier à mapper vers un nœud de lignage en aval (c'est-à-dire une sortie de l'événement) est le suivant :

arn:aws:redshift-serverless:us-e:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Il s'agit du mappage qui vous permet de visualiser le lignage d'un actif dans le catalogue.

Approche alternative

Lorsqu'aucune des conditions ci-dessus n'est remplie, le système utilise l'espace de noms/name pour construire : sourceIdentifier

"inputs": [
  {
     "namespace":"arn:aws:redshift:us-east-1:123456789012:table",
     "name":"workgroup-20240715/tpcds_data/public/dws_tpcds_7"
  }
],
"outputs": [
  {
     "namespace":"arn:aws:glue:us-east-1:123456789012:table",
     "name":"testlfdb/testlftb-1"
  }
]

Résolution d'un manque d'amont pour le nœud de traçabilité des actifs

Si vous ne voyez pas l'amont du nœud de lignage des actifs, vous pouvez effectuer les opérations suivantes pour déterminer pourquoi il n'est pas lié au jeu de données :

Scénarios et mesures d'atténuation non correspondants

Voici les scénarios les plus courants dans lesquels ils ne correspondent pas, ainsi que les mesures d'atténuation possibles :

Cause première : les tables sont présentes dans un compte différent de celui du compte de DataZone domaine Amazon.

Atténuation : vous pouvez invoquer l'PostLineageEventopération depuis un compte associé. Comme le accountId to build ARN est sélectionné à partir des informations d'identification de l'appelant, vous pouvez assumer le rôle depuis le compte contenant les tables lorsque vous exécutez le script de démarrage ou que vous l'PostLineageEventinvoquez. Cela aidera à construire ARNs correctement les nœuds d'actifs et à établir des liens avec eux.

Cause première : la fonction « ARN for Redshift table/views contains Redshift/Redshift -serverless » basée sur l'espace de noms et les attributs de nom des informations de jeu de données correspondantes lors de l'événement d'exécution. OpenLineage

Atténuation : comme il n'existe aucun moyen déterministe de savoir si le nom donné appartient à un cluster ou à un groupe de travail, nous utilisons l'heuristique suivante :

Cause première : les ensembles de données en amont ne sont pas correctement liés pour les actifs personnalisés.

Atténuation : assurez-vous de renseigner le sourceIdentifier champ sur la ressource en invoquantCreateAsset/CreateAssetRevisionqui correspond au nœud sourceIdentifier du jeu de données (qui serait<namespace>/<name>pour les nœuds personnalisés).