按照以下步骤 AWS Glue Data Catalog 使用 AWS Glue 控制台 AWS CLI、或CreateColumnStatisticsTaskSettings操作配置生成列统计信息的计划。
使用控制台生成列统计数据
-
登录 AWS Glue 控制台,网址为https://console.aws.amazon.com/glue/
。 -
选择 Data Catalog 表。
-
从列表中选择一个表。
-
在 “表” 页的下半部分选择 “列统计信息” 选项卡。
-
您也可以从 “操作” 的 “列统计信息” 下选择 “按计划生成”。
-
在 “按计划生成统计信息” 页上,通过选择频率和开始时间,配置运行列统计任务的定期计划。您可以将频率选择为每小时、每天、每周,也可以定义一个 cron 表达式来指定计划。
cron 表达式是一个表示计划模式的字符串,由 6 个以空格分隔的字段组成:* * * * <minute><hour><day of month><month><day of week><year>例如,要在每天午夜运行任务,cron 表达式将是:0 0 * *? *
有关更多信息,请参阅 Cron 表达式。
接下来,选择列选项以生成统计数据。
-
所有列 – 选择此选项可生成表中所有列的统计信息。
-
选定列 – 选择此选项可生成特定列的统计数据。您可以从下拉列表中选择列。
-
选择一个IAM角色或创建一个有权生成统计数据的现有角色。 AWS Glue 担任此角色来生成列统计信息。
一种更快的方法是让 AWS Glue 控制台为您创建角色。它创建的角色专门用于生成列统计信息,包括
AWSGlueServiceRole
AWS 托管策略以及指定数据源所需的内联策略。如果您指定用于生成列统计信息的现有角色,请确保该角色包括
AWSGlueServiceRole
策略或等效策略(或此策略的范围缩小版本)以及所需的内联策略。-
(可选)然后选择一种安全配置来启用日志静态加密。
-
(可选)您可以通过仅指定表格中特定百分比的行来选择样本大小,以生成统计数据。默认值为所有行。使用向上和向下箭头可增加或减少百分比值。
我们建议选择表中的所有行,以计算出准确的统计数据。仅在可接受近似值时,才使用样本行来生成列统计数据。
-
选择 “生成统计数据” 以运行列统计数据生成任务。