Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas de Amazon DataZone

Si te encuentras con problemas de acceso denegado o dificultades similares al trabajar con Amazon, DataZone consulta los temas de esta sección.

Solución de problemas de permisos de AWS Lake Formation para Amazon DataZone

Esta sección contiene instrucciones de solución de problemas que puedan surgir cuandoConfigurar los permisos de Lake Formation para Amazon DataZone:

Solución de problemas de vinculación de activos DataZone de Amazon Linage con conjuntos de datos ascendentes

Esta sección contiene instrucciones de solución de problemas que puedan surgir con el DataZone linaje de Amazon. En algunos de los eventos de ejecución de linaje abierto AWS Glue y relacionados con Amazon Redshift, es posible que vea que el linaje de activos no está vinculado a un conjunto de datos ascendente. En este tema se explican los escenarios y algunos enfoques para mitigar los problemas. Para obtener más información sobre el linaje, consulteLinaje de datos en Amazon DataZone (versión preliminar) .

SourceIdentifier en el nodo de linaje

El sourceIdentifier atributo de un nodo de linaje representa los eventos que ocurren en un conjunto de datos. Para obtener más información, consulte Atributos clave en los nodos de linaje.

El nodo de linaje representa todos los eventos que ocurren en el conjunto de datos o trabajo correspondiente. El nodo de linaje contiene un atributo «sourceIdentifier» que contiene el identificador del conjunto de datos/trabajo correspondiente. Como admitimos los eventos de linaje abierto, el sourceIdentifier valor se rellena de forma predeterminada como la combinación de «espacio de nombres» y «nombre» para un conjunto de datos, una tarea y una ejecución de tareas.

En el caso de AWS recursos como AWS Glue Amazon Redshift, estas sourceIdentifier serían la AWS Glue tabla ARN y la tabla Redshift a partir de las ARNs cuales Amazon DataZone construirá el evento de ejecución y otros detalles, como se indica a continuación:

SourceIdentifier sobre los activos que contiene DataZone

AssetCommonDetailFormtiene un atributo llamado sourceIdentifier "» que representa el identificador del conjunto de datos que representa el activo. Para que los nodos del linaje de activos se vinculen a un conjunto de datos ascendente, el atributo debe rellenarse con el valor que coincida con el del nodo del conjunto de datos. sourceIdentifier Si los activos se importan por fuente de datos, el flujo de trabajo se rellena ARN automáticamente sourceIdentifier como tabla o AWS Glue tabla ARN Redshift, mientras que otros activos (incluidos los activos personalizados) creados mediante ella CreateAsset API deberían tener ese valor rellenado por la persona que llama.

¿Cómo DataZone construye Amazon a sourceIdentifier partir del OpenLineage evento?

Para AWS Glue los activos de Redshift, sourceIdentifier se construye a partir de Glue y Redshift. ARNs Así es como lo DataZone construye Amazon:

AWS Glue ARN

El objetivo es construir un OpenLineage evento en el que el nodo de linaje de sourceIdentifier salida sea:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Para determinar si una ejecución utiliza datos de AWS Glue, busca la presencia de determinadas palabras clave en la environment-properties faceta. En concreto, si alguno de estos campos designados está presente, el sistema asume que RunEvent se origina en. AWS Glue

"run": {
   "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
   "facets":{
      "environment-properties":{
         "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
         "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
         "environment-properties":{
            "GLUE_VERSION":"3.0",
            "GLUE_COMMAND_CRITERIA":"glueetl",
            "GLUE_PYTHON_VERSION":"3"
         }
      }
   }

Para una AWS Glue ejecución, puede usar el nombre de la symlinks faceta para obtener el nombre de la base de datos y la tabla, que se pueden usar para construir la. ARN

Debes asegurarte de que el nombre seadatabaseName.tableName:

"symlinks": {
   "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
   "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
   "identifiers":[
      {
         "namespace":"s3://object-path",
         "name":"testlfdb.testlftb-1",
         "type":"TABLE"
      }
   ]
}

Ejemplo de COMPLETE evento:

{
   "eventTime":"2024-07-01T12:00:00.000000Z",
   "producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
   "schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunEvent",
   "eventType":"COMPLETE",
   "run": {
      "runId":"4e3da9e8-6228-4679-b0a2-fa916119fthr",
      "facets":{
         "environment-properties":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
            "_schemaURL":"https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunFacet",
            "environment-properties":{
               "GLUE_VERSION":"3.0",
               "GLUE_COMMAND_CRITERIA":"glueetl",
               "GLUE_PYTHON_VERSION":"3"
            }
         }
      }
   },
   "job":{
      "namespace":"namespace",
      "name":"job_name",
      "facets":{
         "jobType":{
            "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/glue",
            "_schemaURL":"https://openlineage.io/spec/facets/2-0-2/JobTypeJobFacet.json#/$defs/JobTypeJobFacet",
            "processingType":"BATCH",
            "integration":"glue",
            "jobType":"JOB"
         }
      }
   },
   "inputs":[
      {
         "namespace":"namespace",
         "name":"input_name"
      }
   ],
   "outputs":[
      {
         "namespace":"namespace.output",
         "name":"output_name",
         "facets":{
            "symlinks":{
               "_producer":"https://github.com/OpenLineage/OpenLineage/tree/1.9.1/integration/spark",
               "_schemaURL":"https://openlineage.io/spec/facets/1-0-0/SymlinksDatasetFacet.json#/$defs/SymlinksDatasetFacet",
               "identifiers":[
                  {
                     "namespace":"s3://object-path",
                     "name":"testlfdb.testlftb-1",
                     "type":"TABLE"
                  }
               ]
            }
         }
      }
   ]
}

Según el OpenLineage evento enviado, el nodo sourceIdentifier del linaje de salida será:

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

El nodo de linaje de salida se conectará al nodo de linaje de un activo en el que el activo esté: sourceIdentifier

arn:aws:glue:us-east-1:123456789012:table/testlfdb/testlftb-1

Amazon Redshift ARN

El objetivo es construir un OpenLineage evento en el que el nodo de linaje de sourceIdentifier salida sea:

arn:aws:redshift:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

El sistema determina si una entrada o una salida se almacena en Redshift en función del espacio de nombres. En concreto, si el espacio de nombres comienza por redshift://o contiene las cadenas redshift-serverless.amazonaws.com o es un redshift.amazonaws.com recurso de Redshift.

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

Tenga en cuenta que el espacio de nombres debe tener el siguiente formato:

provider://{cluster_identifier}.{region_name}:{port}

En:redshift-serverless

"outputs": [
    {
        "namespace":"redshift://workgroup-20240715.123456789012.us-east-1.redshift-serverless.amazonaws.com:5439",
        "name":"tpcds_data.public.dws_tpcds_7"
    }
]

El resultado es el siguiente sourceIdentifier

arn:aws:redshift-serverless:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Según el OpenLineage evento enviado, el sourceIdentifier nodo de linaje que se va a mapear a un nodo de linaje descendente (es decir, una salida del evento) es:

arn:aws:redshift-serverless:us-e:us-east-1:123456789012:table/workgroup-20240715/tpcds_data/public/dws_tpcds_7

Este es el mapeo que le ayuda a visualizar el linaje de un activo del catálogo.

Enfoque alternativo

Cuando no se cumple ninguna de las condiciones anteriores, el sistema utiliza el espacio de nombres/name para construir: sourceIdentifier

"inputs": [
  {
     "namespace":"arn:aws:redshift:us-east-1:123456789012:table",
     "name":"workgroup-20240715/tpcds_data/public/dws_tpcds_7"
  }
],
"outputs": [
  {
     "namespace":"arn:aws:glue:us-east-1:123456789012:table",
     "name":"testlfdb/testlftb-1"
  }
]

Solución de problemas por la falta de flujo inicial para el nodo de linaje de activos

Si no ves el flujo ascendente del nodo de linaje del activo, puedes hacer lo siguiente para solucionar el problema por el que no está vinculado al conjunto de datos:

Escenarios y mitigaciones que no coinciden

Los siguientes son los escenarios más conocidos en los que no coincidirán y las posibles mitigaciones:

Causa raíz: las tablas están presentes en una cuenta diferente a la de la cuenta de DataZone dominio de Amazon.

Mitigación: puedes invocar la PostLineageEvent operación desde una cuenta asociada. Como la construcción ARN se selecciona accountId a partir de las credenciales de la persona que llama, puede asumir el rol desde la cuenta que contiene las tablas al ejecutar el script de introducción o al invocar. PostLineageEvent Hacerlo ayudará a construir ARNs correctamente los nodos de activos y a vincularlos con ellos.

Causa raíz: la ARN de Redshift table/views contains Redshift/Redshift -serverless se basa en el espacio de nombres y los atributos de nombre de la información del conjunto de datos correspondiente en el evento de ejecución. OpenLineage

Mitigación: Como no existe una forma determinista de saber si el nombre de pila pertenece a un clúster o grupo de trabajo, utilizamos la siguiente heurística:

Causa principal: los conjuntos de datos ascendentes no están enlazados correctamente para los activos personalizados.

Mitigación<name>: asegúrate de rellenar el campo correspondiente sourceIdentifier al activo invocandoCreateAsset/CreateAssetRevisionque coincida con el nodo del conjunto sourceIdentifier de datos (que sería<namespace>/en el caso de los nodos personalizados).