将数据从 Amazon Aurora MySQL 数据库集群保存到 Amazon S3 存储桶中的文本文件

您可以使用 SELECT INTO OUTFILE S3 语句从 Amazon Aurora MySQL 数据库集群中查询数据，并将数据保存到 Amazon S3 存储桶中存储的文本文件。在 Aurora MySQL 中，文件首先存储在本地磁盘上，然后导出到 S3。导出完成后，将删除本地文件。

您可以使用 Amazon S3 管理密钥（SSE-S3）或 AWS KMS key（SSE-KMS：AWS 托管式密钥或客户管理密钥) 对 Amazon S3 桶进行加密。

LOAD DATA FROM S3 语句可以使用 SELECT INTO OUTFILE S3 语句创建的文件将数据加载到 Aurora 数据库集群中。有关更多信息，请参阅 将数据从 Amazon S3 存储桶中的文本文件加载到 Amazon Aurora MySQL 数据库集群。

为 Aurora MySQL 授予 Amazon S3 的访问权限

在将数据保存到 Amazon S3 存储桶之前，您必须先为 Aurora MySQL 数据库集群授予 Amazon S3 的访问权限。

授予权限以在 Aurora MySQL 中保存数据

发出 SELECT INTO OUTFILE S3 语句的数据库用户必须具有特定角色或权限。在 Aurora MySQL 版本 3 中，您可以授予 AWS_SELECT_S3_ACCESS 角色。在 Aurora MySQL 版本 2 中，您可以授予 SELECT INTO S3 权限。预设情况下，将为数据库集群的管理用户授予适当的角色或权限。您可以使用以下语句之一向另一个用户授予权限。

对 Aurora MySQL 版本 3 使用以下语句：

GRANT AWS_SELECT_S3_ACCESS TO 'user'@'domain-or-ip-address'

对 Aurora MySQL 版本 2 使用以下语句：

GRANT SELECT INTO S3 ON *.* TO 'user'@'domain-or-ip-address'

AWS_SELECT_S3_ACCESS 角色和 SELECT INTO S3 权限特定于 Amazon Aurora MySQL，而不适用于 MySQL 数据库或 RDS for MySQL 数据库实例。如果您在作为复制源的 Aurora MySQL 数据库集群和作为复制客户端的 MySQL 数据库之间设置了复制，则角色或权限的 GRANT 语句将导致复制停止并出现错误。您可以安全地跳过该错误，继续复制。要跳过 RDS for MySQL 数据库实例上的错误，请使用 mysql_rds_skip_repl_error 过程。要跳过外部 MySQL 数据库上的错误，请使用 slave_skip_errors 系统变量（Aurora MySQL 版本 2）或 replica_skip_errors 系统变量（Aurora MySQL 版本 3）。

指定 Amazon S3 存储桶的路径

用于指定在 Amazon S3 存储桶上存储数据和清单文件的路径的语法与在 LOAD DATA FROM S3 PREFIX 语句中使用的语法类似，如下所示。

s3-region://bucket-name/file-prefix

路径包括以下值：

SELECT INTO OUTFILE S3 语句创建的数据文件使用以下路径，其中 00000 表示从零开始的 5 位整数。

s3-region://bucket-name/file-prefix.part_00000

例如，假设 SELECT INTO OUTFILE S3 语句指定 s3-us-west-2://bucket/prefix 作为存储数据文件的路径并创建三个数据文件。指定的 Amazon S3 存储桶包含以下数据文件。

创建清单以列出数据文件

您可以使用 SELECT INTO OUTFILE S3 语句和 MANIFEST ON 选项，以 JSON 格式创建列出由语句创建的文本文件的清单文件。LOAD DATA FROM S3 语句可以使用清单文件将数据文件加载回 Aurora MySQL 数据库集群中。有关使用清单将数据文件从 Amazon S3 加载到 Aurora MySQL 数据库集群的更多信息，请参阅使用清单指定要加载的数据文件。

清单中包含的由 SELECT INTO OUTFILE S3 语句创建的数据文件按照它们由语句创建的顺序列出。例如，假设 SELECT INTO OUTFILE S3 语句指定 s3-us-west-2://bucket/prefix 作为存储数据文件的路径并创建三个数据文件和一个清单文件。指定的 Amazon S3 存储桶包含一个名为 s3-us-west-2://bucket/prefix.manifest 的清单文件，其中包含以下信息。

{
  "entries": [
    {
      "url":"s3-us-west-2://bucket/prefix.part_00000"
    },
    {
      "url":"s3-us-west-2://bucket/prefix.part_00001"
    },
    {
      "url":"s3-us-west-2://bucket/prefix.part_00002"
    }
  ]
}

SELECT INTO OUTFILE S3

您可以使用 SELECT INTO OUTFILE S3 语句从数据库集群中查询数据，并将数据直接保存到 Amazon S3 存储桶中存储的带分隔符的文本文件。

不支持压缩文件。从 Aurora MySQL 版本 2.09.0 开始支持加密文件。

语法

SELECT
    [ALL | DISTINCT | DISTINCTROW ]
        [HIGH_PRIORITY]
        [STRAIGHT_JOIN]
        [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT]
        [SQL_CACHE | SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS]
    select_expr [, select_expr ...]
    [FROM table_references
        [PARTITION partition_list]
    [WHERE where_condition]
    [GROUP BY {col_name | expr | position}
        [ASC | DESC], ... [WITH ROLLUP]]
    [HAVING where_condition]
    [ORDER BY {col_name | expr | position}
         [ASC | DESC], ...]
    [LIMIT {[offset,] row_count | row_count OFFSET offset}]
INTO OUTFILE S3 's3_uri'
[CHARACTER SET charset_name]
    [export_options]
    [MANIFEST {ON | OFF}]
    [OVERWRITE {ON | OFF}]
    [ENCRYPTION {ON | OFF | SSE_S3 | SSE_KMS ['cmk_id']}]

export_options:
    [FORMAT {CSV|TEXT} [HEADER]]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
]

参数

SELECT INTO OUTFILE S3 语句使用以下特定于 Aurora 的必需和可选参数。

在 MySQL 文档的 SELECT 语句和 LOAD DATA 语句中，可以找到有关其他参数的更多详细信息。

注意事项

写入到 Amazon S3 存储桶的文件数取决于 SELECT INTO OUTFILE S3 语句选择的数据数量以及 Aurora MySQL 的文件大小阈值。默认文件大小阈值为 6GB。如果语句选择的数据小于文件大小阈值，则将创建单个文件；否则将创建多个文件。该语句所创建文件的其他注意事项包括下列内容：

SELECT INTO OUTFILE S3 语句返回一个典型的 MySQL 错误编号以及有关成功或失败的响应。如果您无权访问 MySQL 错误编号和响应，则确定何时才完成的最简单方法是在语句中指定 MANIFEST ON。清单文件是该语句写入的最后一个文件。换而言之，如果您具有清单文件，则语句已完成。

目前，没有其他方法可以在运行期间直接监视 SELECT INTO OUTFILE S3 语句的进度。不过，假设您使用该语句将大量数据从 Aurora MySQL 写入到 Amazon S3 中，并且您知道语句选择的数据大小。在这种情况下，您可以通过监视 Amazon S3 中数据文件的创建操作来估算进度。

为此，您可以利用这样一个常识，也就是每次当语句选择大约 6GB 数据时，将在指定 Amazon S3 存储桶中创建一个数据文件。将选定数据的大小除以 6GB 可以估计要创建的数据文件数。您可以通过监视在语句运行期间上传到 Amazon S3 的文件数来估算语句的进度。

示例

以下语句选择 employees 表中的所有数据并将数据保存到与 Aurora MySQL 数据库集群位于不同区域的 Amazon S3 存储桶中。该语句创建数据文件，其中每个字段以逗号 (,) 字符终止，每行以换行 (\n) 字符终止。如果在指定的 Amazon S3 存储桶中存在与 sample_employee_data 文件前缀匹配的文件，该语句将返回错误。

SELECT * FROM employees INTO OUTFILE S3 's3-us-west-2://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n';

以下语句选择 employees 表中的所有数据，并将数据保存到与 Aurora MySQL 数据库集群位于相同区域的 Amazon S3 存储桶中。该语句创建数据文件，其中每个字段以逗号 (,) 字符终止，每行以换行 (\n) 字符终止，还创建一个清单文件。如果在指定的 Amazon S3 存储桶中存在与 sample_employee_data 文件前缀匹配的文件，该语句将返回错误。

SELECT * FROM employees INTO OUTFILE S3 's3://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    MANIFEST ON;

以下语句选择 employees 表中的所有数据并将数据保存到与 Aurora 数据库集群位于不同区域的 Amazon S3 存储桶中。该语句创建数据文件，其中每个字段以逗号 (,) 字符终止，每行以换行 (\n) 字符终止。该语句在指定的 Amazon S3 存储桶中覆盖与 sample_employee_data 文件前缀匹配的任何现有文件。

SELECT * FROM employees INTO OUTFILE S3 's3-us-west-2://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    OVERWRITE ON;

以下语句选择 employees 表中的所有数据，并将数据保存到与 Aurora MySQL 数据库集群位于相同区域的 Amazon S3 存储桶中。该语句创建数据文件，其中每个字段以逗号 (,) 字符终止，每行以换行 (\n) 字符终止，还创建一个清单文件。该语句在指定的 Amazon S3 存储桶中覆盖与 sample_employee_data 文件前缀匹配的任何现有文件。

SELECT * FROM employees INTO OUTFILE S3 's3://aurora-select-into-s3-pdx/sample_employee_data'
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    MANIFEST ON
    OVERWRITE ON;