Amazon 中的数据谱系 DataZone

了解数据的来源：了解数据源自何处可让您清楚地了解数据的源、依赖关系和转换，从而增强对数据的信任。此透明度有助于自信地做出数据驱动型决策。

了解数据管道更改产生的影响：在对数据管道进行更改时，可以使用世系功能来标识所有将受影响的下游使用者。这有助于确保在不中断关键数据流的情况下进行更改。

确定数据质量问题的根本原因：如果在下游报告中检测到数据质量问题，则可以使用世系（尤其是列级世系）来追溯数据（在列级别），以将问题追溯到其源。这可帮助数据工程师识别和修复问题。

改善数据治理和合规性：可使用列级世系来演示对数据治理和隐私法规的遵从性。例如，可使用列级世系来显示敏感数据（例如 PII）的存储位置以及下游活动中处理敏感数据的方式。

数据集节点 – 此节点类型包括有关特定数据资产的数据世系信息。

作业（运行）节点 – 此节点类型显示作业的详细信息，包括特定作业的最新运行和运行详细信息。此节点还捕获作业的多次运行，并且可在节点详细信息的历史记录选项卡中查看。您可以通过选择节点图标来查看节点详细信息。

对于具有相应数据集类型的数据集节点：

对于作业：

对于作业运行：

列级世系：如果列级世系在数据集节点中可用，则扩展列级世系。如果源列信息可用，这将自动显示与上游或下游数据集节点的关系。

列搜索：当列数的默认显示为 10 时。如果超过 10 个列，则将激活分页以导航到其余列。要快速查看特定列，可以在仅列出已搜索列的数据集节点上进行搜索。

仅查看数据集节点：如果要切换为仅查看数据集世系节点并筛选出作业节点，您可以选择图表查看器左上角的“打开视图控件”图标，然后切换仅显示数据集节点选项。这将从图表中删除所有作业节点，并让您仅浏览数据集节点。请注意，在启用“仅查看数据集节点”时，图表无法向上游或下游展开。

详细信息窗格：每个世系节点都具有捕获到的详细信息，并且会在选中时显示。

版本选项卡：Amazon DataZone 数据谱系中的所有世系节点都有版本控制。对于每个数据集节点或作业节点，版本都将作为历史记录捕获，这使您能够在各个版本之间导航以确定随时间推移发生的变化。每个版本都会在世系页面中打开一个新的选项卡以帮助进行比较。

GetLineageNode

ListLineageNodeHistory

PostLineageEvent

蓝图配置-设置蓝图的管理员可以将蓝图配置为自动捕获世系。这使管理员能够定义哪些数据源对谱系捕获很重要，而不必依赖数据生产者对数据进行编目。有关更多信息，请参阅 在管理控制台中启用数据沿袭。

数据源配置-数据生成者在为 AWS Glue 数据库配置数据源运行时，会看到一个视图以及数据质量，用于告知该数据源的自动数据沿袭。

AWS Glue (v5.0) 配置——在 AWS Glue Studio 中运行 AWS Glue 作业时，可以为任务配置数据沿袭，将世系事件直接发送到亚马逊网域。 DataZone

AWS Glue (V5.0) 笔记本配置——在笔记本中，你可以通过添加 %%configure 魔法来自动收集 Spark 执行任务。此配置会将事件发送到 Amazon DataZone 域。

%%configure
{
“—conf”:“spark.extraListeners=io.openlineage.spark.agent.OpenLineageSparkListener 
—conf spark.openlineage.transport.type=amazon_datazone_api 
—conf spark.openlineage.transport.domainId=<datazone domainID> 
—conf spark.openlineage.facets.custom_environment_variables [AWS_DEFAULT_REGION;GLUE_VERSION;GLUE_COMMAND_CRITERIA;GLUE_PYTHON_VERSION;] 
—conf spark.glue.JobName=<SessionId> 
—conf spark.glue.JobRunId=<SessionId or NONE?>“ (as session is a resource and doesn't have subsequent runs - interactive)
                    

注意：conf 前面有 2 个破折号-quip 正在更新为连字符。

设置参数以配置 DataZone 从 AWS Glue 与亚马逊的通信

参数键：--conf

参数值：

spark.extraListeners=io.openlineage.spark.agent.OpenLineageSparkListener 
--conf spark.openlineage.transport.type=amazon_datazone_api 
--conf spark.openlineage.transport.domainId=<DOMAIN_ID>
--conf spark.openlineage.facets.custom_environment_variables=[AWS_DEFAULT_REGION;GLUE_VERSION;GLUE_COMMAND_CRITERIA;GLUE_PYTHON_VERSION;] 
--conf spark.glue.accountId=<ACCOUNT_ID> (replace <DOMAIN_ID> and <ACCOUNT_ID> with the right values)
                    

对于笔记本电脑，请添加以下附加参数：

--conf spark.glue.JobName=<SessionId> --conf spark.glue.JobRunId=<SessionId or NONE?>
replace <SessionId> and <SessionId> with the right values
                    

蓝图配置：设置蓝图的管理员可以将蓝图配置为自动捕获世系。这使管理员能够定义哪些数据源对谱系捕获很重要，而不必依赖数据生产者对数据进行编目。要进行设置，请转至在管理控制台中启用数据沿袭。

数据源配置：数据生成者在为 Amazon Redshift 数据库配置数据源运行时，会看到该数据源的自动数据沿袭设置。

世系设置可以在 “数据源定义” 选项卡中查看。数据生成者无法编辑此值。