Amazon Redshift Spectrum 概览
本主题详细介绍如何使用 Redshift Spectrum 高效地从 Amazon S3 进行读取。
Amazon Redshift Spectrum 驻留在独立于您的集群的专用 Amazon Redshift 服务器上。Amazon Redshift 将很多计算密集型任务(如谓词筛选和聚合)下推到 Redshift Spectrum 层。因此,Redshift Spectrum 查询使用的集群处理容量比其他查询的少得多。Redshift Spectrum 还可智能地扩展。基于您的查询的需求,Redshift Spectrum 可能能够使用数千个实例来利用大规模并行处理。
您通过定义您的文件的结构并将文件作为外部数据目录中的表注册来创建 Redshift Spectrum 表。外部数据目录可以是 AWS Glue、Amazon Athena 附带的数据目录或您自己的 Apache Hive 元存储。您可使用数据定义语言 (DDL) 命令或使用连接到外部数据目录的任何其他工具从 Amazon Redshift 创建和管理外部表。对外部数据目录进行的更改将立即对您的任何 Amazon Redshift 集群可用。
您也可在一个或多个列上为外部表分区。将分区定义为外部表的一部分可以提高性能。提高性能的原因是,Amazon Redshift 查询优化程序消除了不包含查询数据的分区。
在定义 Redshift Spectrum 表之后,您可以像查询和联接任何其他 Amazon Redshift 表一样查询和联接这些表。Redshift Spectrum 不支持对外部表的更新操作。您可将 Redshift Spectrum 表添加到多个 Amazon Redshift 集群并在同一AWS区域的任何集群中查询 Amazon S3 上的相同数据。更新 Amazon S3 数据文件后,立即可从您的任何 Amazon Redshift 集群查询到该数据。
您访问的 AWS Glue 数据目录可能已加密以提高安全性。如果 AWS Glue 目录已加密,您需要使用 AWS Glue 的 AWS Key Management Service (AWS KMS) 密钥来访问 AWS Glue 目录。AWS Glue 目录加密并非在所有AWS区域中都可用。有关受支持的 AWS 区域的列表,请参阅 AWS Glue 开发人员指南中的 AWS Glue 的加密和安全访问。有关 AWS Glue 数据目录加密的更多信息,请参阅 AWS Glue 开发人员指南中的加密您的 AWS Glue 数据目录。
注意
您无法使用用于标准 Amazon Redshift 表(如 PG_TABLE_DEF、STV_TBL_PERM、PG_CLASS 或 information_schema)的同一资源查看 Redshift Spectrum 表的详细信息。如果您的商业智能或分析工具无法识别 Redshift Spectrum 外部表,请将您的应用程序为配置查询 SVV_EXTERNAL_TABLES 和 SVV_EXTERNAL_COLUMNS。
Amazon Redshift Spectrum 区域
除区域特定文档中另有说明的外,Redshift Spectrum 已在提供 Amazon Redshift 的 AWS 区域开放。有关商业区域中 AWS 区域的可用性,请参阅《Amazon Web Services 一般参考》中 Redshift API 的服务端点。