跨账户将数据从 Amazon Redshift 集群卸载到亚马逊 S3

为亚马逊 Redshift 集群创建密钥。

要为 Amazon Redshift 集群创建密钥，请执行以下操作：

创建一个角色来访问 Secrets Manager。

要创建角色，请执行以下操作：

创建用于访问 S3 存储桶的角色。

要创建用于访问 S3 存储桶的角色，请执行以下操作：

创建 Amazon Redshift 角色。

要创建 Amazon Redshift 角色，请执行以下操作：

部署 Lambda 函数。

要在对等互连设备中部署 Lambda 函数VPC，请执行以下操作：

导入所需的资源。

要导入所需的资源，请运行以下命令：

import ast
import boto3
import psycopg2
import base64
from botocore.exceptions import ClientError

运行 Lambda 处理程序函数。

Lambda 函数使用 AWS Security Token Service (AWS STS) 进行跨账户访问和临时凭证管理。该函数使用该 AssumeRole API操作来临时承担该sm_read_roleIAM角色的权限。

要运行 Lambda 函数，请使用以下示例代码：

def lambda_handler(event, context):
    sts_client = boto3.client('sts')

    # Secrets Manager Configurations
    secret_name = "redshift_creds"
    sm_region = "eu-west-1"
    sm_read_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/SM-Read-Role"

    # S3 Bucket Configurations
    s3_bucket_path = "s3://mybucket/"
    s3_bucket_region = "eu-west-1"
    s3_write_role = "arn:aws:iam::DEV_ACCOUNT_NUMBER:role/S3-Write-Role"

    # Redshift Configurations
    sql_query = "select * from category"
    redshift_db = "dev"
    redshift_s3_write_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/CrossAccount-S3-Write-Role"

    chained_s3_write_role = "%s,%s" % (redshift_s3_write_role, s3_write_role)

    assumed_role_object = sts_client.assume_role(
        RoleArn=sm_read_role,
        RoleSessionName="CrossAccountRoleAssumption",
        ExternalId="YOUR_EXTERNAL_ID",
    )
    credentials = assumed_role_object['Credentials']

    secret_dict = ast.literal_eval(get_secret(credentials, secret_name, sm_region))
    execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db)

    return {
        'statusCode': 200
    }

明白秘密。

要获取 Amazon Redshift 密钥，请使用以下示例代码：

def get_secret(credentials, secret_name, sm_region):
    # Create a Secrets Manager client
    session = boto3.session.Session()
    sm_client = session.client(
        service_name='secretsmanager',
        aws_access_key_id=credentials['AccessKeyId'],
        aws_secret_access_key=credentials['SecretAccessKey'],
        aws_session_token=credentials['SessionToken'],
        region_name=sm_region
    )

    try:
        get_secret_value_response = sm_client.get_secret_value(
            SecretId=secret_name
        )
    except ClientError as e:
        print(e)
        raise e
    else:
        if 'SecretString' in get_secret_value_response:
            return get_secret_value_response['SecretString']
        else:
            return base64.b64decode(get_secret_value_response['SecretBinary'])

运行卸载命令。

要将数据卸载到 S3 存储桶，请使用以下示例代码。

def execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db):
    conn_string = "dbname='%s' port='%s' user='%s' password='%s' host='%s'" \
                  % (redshift_db,
                     secret_dict["port"],
                     secret_dict["username"],
                     secret_dict["password"],
                     secret_dict["host"])

    con = psycopg2.connect(conn_string)

    unload_command = "UNLOAD ('{}') TO '{}' IAM_ROLE '{}' DELIMITER '|' REGION '{}';" \
        .format(sql_query,
                s3_bucket_path + str(datetime.datetime.now()) + ".csv",
                chained_s3_write_role,
                s3_bucket_region)

    # Opening a cursor and run query
    cur = con.cursor()
    cur.execute(unload_command)

    print(cur.fetchone())
    cur.close()
    con.close()

删除 Lambda 函数。

为避免产生计划外成本，请移除资源以及和账户之间的连接DEV。PROD

要删除 Lambda 函数，请执行以下操作：

移除IAM角色和策略。

从和PROD账户中移除IAM角色DEV和策略。

在DEV账户中，执行以下操作：

在PROD账户中，执行以下操作：

在 Secrets Manager 中删除密钥。

要删除密钥，请执行以下操作：

移除VPC对等互连和安全组规则。

要删除对VPC等互连和安全组规则，请执行以下操作：

从 S3 存储桶中移除数据。

要从 Amazon S3 中删除数据，请执行以下操作：

清理 AWS KMS 钥匙。

如果您创建了任何用于加密的自定义 AWS KMS 密钥，请执行以下操作：

查看并删除 Amazon CloudWatch 日志。

要删除日 CloudWatch 志，请执行以下操作：