Descargar datos de un clúster de Amazon Redshift de cuentas a Amazon S3 - Recomendaciones de AWS
ResumenRequisitos previos y limitacionesArquitecturaHerramientasPrácticas recomendadasEpicsRecursos relacionadosInformación adicional

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Descargar datos de un clúster de Amazon Redshift de cuentas a Amazon S3

Creado por Andrew Kamel () AWS

Repositorio de código: -s3-python aws-unload-redshift-to

Entorno: producción

Tecnologías: bases de datos; análisis; sin servidor

Carga de trabajo: código abierto

AWSservicios: AWS Lambda; Amazon Redshift; Amazon S3; Secrets Manager AWS

Resumen

Al probar aplicaciones, resulta útil disponer de datos de producción en el entorno de pruebas. El uso de los datos de producción puede proporcionarle una evaluación más precisa de la aplicación que está desarrollando.

Este patrón extrae datos de un clúster de Amazon Redshift en un entorno de producción a un bucket de Amazon Simple Storage Service (Amazon S3) en un entorno de desarrollo en Amazon Web Services ().AWS

El patrón recorre la configuración de ambas PROD cuentas DEV y, entre ellas, se incluyen las siguientes:

  • Recursos necesarios de

  • AWS Identity and Access Management (IAM) funciones

  • Ajustes de red en las subredes, los grupos de seguridad y la nube privada virtual (VPC) para admitir la conexión Amazon Redshift

  • Un ejemplo de AWS Lambda función con un tiempo de ejecución de Python para probar la arquitectura

Para conceder acceso al clúster de Amazon Redshift, el patrón se utiliza AWS Secrets Manager para almacenar las credenciales pertinentes. La ventaja es disponer de toda la información necesaria para conectarse directamente al clúster de Amazon Redshift sin necesidad de saber dónde reside el clúster de Amazon Redshift. Además, puede supervisar el uso del secreto.

El secreto guardado en Secrets Manager incluye el host del clúster de Amazon Redshift, el nombre de la base de datos, el puerto y las credenciales pertinentes.

Para obtener información sobre las consideraciones de seguridad al utilizar este patrón, consulte la sección de prácticas recomendadas.

Requisitos previos y limitaciones

Requisitos previos 

Limitaciones

  • Según la cantidad de datos que desee consultar, es posible que se agote el tiempo de espera de la función Lambda.

    Si la ejecución tarda más tiempo que el tiempo de espera máximo de Lambda (15 minutos), utilice un enfoque asíncrono para el código Lambda. El ejemplo de código de este patrón usa la biblioteca psycopg2 para Python, que actualmente no admite el procesamiento asíncrono.

  • Algunos Servicios de AWS no están disponibles en todos. Regiones de AWS Para ver la disponibilidad por región, consulta Servicios de AWS por región. Para ver puntos de enlace específicos, consulta la página de puntos de enlace y cuotas del servicio y elige el enlace del servicio.

Arquitectura

El siguiente diagrama muestra la arquitectura de destino, con cuentas DEV y PROD cuentas.

La Lambda de VPC la DEV cuenta y Amazon VPC Redshift de la cuenta. PROD

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. La función Lambda de la DEV cuenta asume la IAM función necesaria para acceder a las credenciales de Amazon Redshift en Secrets Manager de la cuenta. PROD

    A continuación, la función Lambda recupera el secreto del clúster de Amazon Redshift.

  2. La función Lambda de la DEV cuenta utiliza la información para conectarse al clúster de Amazon Redshift de la cuenta a través PROD del peered. VPCs

    A continuación, la función Lambda envía un comando de descarga para consultar el clúster de Amazon Redshift de la cuenta. PROD

  3. El clúster de Amazon Redshift de la PROD cuenta asume la IAM función correspondiente para acceder al bucket de S3 de la DEV cuenta.

    El clúster de Amazon Redshift descarga los datos consultados en el bucket de S3 de la cuenta. DEV

Consulta de datos de Amazon Redshift

En el siguiente diagrama se muestran las funciones que se utilizan para recuperar las credenciales de Amazon Redshift y conectarse al clúster de Amazon Redshift. El flujo de trabajo lo inicia la función Lambda.

El proceso de tres pasos para asumir funciones en todas las cuentas.

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. El que CrossAccount-SM-Read-Role está en la DEV cuenta asume que está SM-Read-Role en la PROD cuenta.

  2. El SM-Read-Role rol usa la política adjunta para recuperar el secreto de Secrets Manager.

  3. Las credenciales se utilizan para acceder al clúster de Amazon Redshift.

Carga de datos a Amazon S3

El siguiente diagrama muestra el proceso de lectura y escritura entre cuentas para extraer datos y subirlos a Amazon S3. El flujo de trabajo lo inicia la función Lambda. El patrón encadena IAM los roles en Amazon Redshift. El comando unload que proviene del clúster de Amazon Redshift asume el y, a continuación, asume CrossAccount-S3-Write-Role el. S3-Write-Role Este encadenamiento de funciones permite a Amazon Redshift acceder a Amazon S3.

Los roles que obtienen credenciales, acceden a Amazon Redshift y cargan datos a Amazon S3.

El flujo de trabajo incluye los siguientes pasos:

  1. El que CrossAccount-SM-Read-Role está en la DEV cuenta asume que SM-Read-Role está en la PROD cuenta.

  2. SM-Read-RoleRecupera las credenciales de Amazon Redshift de Secrets Manager.

  3. La función Lambda se conecta al clúster de Amazon Redshift y envía una consulta.

  4. El clúster de Amazon Redshift asume que. CrossAccount-S3-Write-Role

  5. Se CrossAccount-S3-Write-Role supone que está S3-Write-Role en la DEV cuenta.

  6. Los resultados de la consulta se descargan en el depósito de S3 de la DEV cuenta.

Herramientas

Servicios de AWS

  • AWS Key Management Service (AWS KMS) le ayuda a crear y controlar claves criptográficas para proteger sus datos.

  • AWS Lambda es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.

  • Amazon Redshift es un servicio de almacenamiento de datos gestionado a escala de petabytes en la nube. AWS

  • AWS Secrets Managerle ayuda a reemplazar las credenciales codificadas en su código, incluidas las contraseñas, con una API llamada a Secrets Manager para recuperar el secreto mediante programación.

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que le ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

Repositorio de código

El código de este patrón está disponible en el GitHub unload-redshift-to-s repositorio 3-python.

Prácticas recomendadas

Exención de responsabilidad de seguridad

Antes de implementar esta solución, tenga en cuenta las siguientes recomendaciones de seguridad importantes:

  • Recuerde que conectar las cuentas de desarrollo y producción puede aumentar el alcance y reducir el nivel general de seguridad. Recomendamos implementar esta solución solo temporalmente, extraer la parte de datos requerida y, a continuación, destruir inmediatamente los recursos implementados. Para destruir los recursos, debe eliminar la función Lambda, eliminar todas las IAM funciones y políticas creadas para esta solución y revocar cualquier acceso a la red que se haya concedido entre las cuentas.

  • Consulte a sus equipos de seguridad y cumplimiento antes de copiar cualquier dato de los entornos de producción a los de desarrollo. Por lo general, la información de identificación personal (PHI), la información de salud protegida () y otros datos confidenciales o regulados no deben copiarse de esta manera. PII Copie únicamente la información no confidencial que esté disponible públicamente (por ejemplo, datos bursátiles públicos de la interfaz de una tienda). Considere la posibilidad de tokenizar o anonimizar los datos, o de generar datos de prueba sintéticos, en lugar de utilizar los datos de producción siempre que sea posible. Uno de los principios de AWS seguridad es mantener a las personas alejadas de los datos. En otras palabras, los desarrolladores no deben realizar operaciones en la cuenta de producción.

  • Restrinja el acceso a la función Lambda en la cuenta de desarrollo porque puede leer datos del clúster de Amazon Redshift en el entorno de producción.

  • Para evitar interrumpir el entorno de producción, implemente las siguientes recomendaciones:

    • Utilice una cuenta de desarrollo independiente y dedicada para las actividades de prueba y desarrollo.

    • Implemente controles estrictos de acceso a la red y limite el tráfico entre cuentas solo a lo necesario.

    • Supervise y audite el acceso al entorno de producción y a las fuentes de datos.

    • Implemente controles de acceso con privilegios mínimos para todos los recursos y servicios involucrados.

    • Revise y rote periódicamente las credenciales, como los AWS Secrets Manager secretos y las claves de acceso a los IAM roles.

  • Consulte la siguiente documentación de seguridad para ver los servicios utilizados en este artículo:

La seguridad es una de las principales prioridades a la hora de acceder a los datos y recursos de producción. Siga siempre las mejores prácticas, implemente controles de acceso con privilegios mínimos y revise y actualice periódicamente sus medidas de seguridad.

Epics

TareaDescripciónHabilidades requeridas

Cree un secreto para el clúster de Amazon Redshift.

Para crear el secreto del clúster de Amazon Redshift, haga lo siguiente:

  1. En la PROD cuenta, inicie sesión en y abra la AWS Management Console consola de Secrets Manager en https://console.aws.amazon.com/secretsmanager/.

  2. Selecciona Guardar un secreto nuevo.

  3. Seleccione Credenciales para el almacén de datos de Amazon Redshift.

  4. En Nombre de usuario y contraseña, introduzca los valores de la instancia y confirme o elija un valor para la clave de cifrado.

  5. Elija el almacén de datos de Amazon Redshift al que accederá su secreto.

  6. Introduzca Redshift-Creds-Secret el nombre secreto.

  7. Complete el resto de los pasos de creación con las opciones predeterminadas y, a continuación, seleccione Almacenar.

  8. Consulta tu secreto y anota el ARN valor secreto que se generó para identificarlo.

DevOps ingeniero

Cree un rol para acceder a Secrets Manager.

Para crear el rol, haga lo siguiente:

  1. En la PROD cuenta, abra la IAM consola en https://console.aws.amazon.com/iam/.

  2. Seleccione Políticas.

  3. Elija Crear política.

  4. Seleccione la JSONpestaña y, a continuación, introduzca una IAM política como la siguiente:

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetResourcePolicy",
                "secretsmanager:GetSecretValue",
                "secretsmanager:DescribeSecret",
                "secretsmanager:ListSecretVersionIds"
            ],
            "Resource": [
                "<Redshift-Creds-Secret-ARN>"
            ]
        },
        {
            "Effect": "Allow",
            "Action": "secretsmanager:ListSecrets",
            "Resource": "*"
        }
    ]
}

    Redshift-Creds-Secret-ARNSustitúyalo por el nombre de recurso de Amazon (ARN) del secreto de Secrets Manager que contiene la información y las credenciales del clúster de Amazon Redshift.

DevOps ingeniero
TareaDescripciónHabilidades requeridas

Cree un rol para acceder al bucket de S3.

Para crear el rol para acceder al bucket de S3, haga lo siguiente:

  1. En la DEV cuenta, abre la IAM consola.

  2.  Seleccione Políticas.

  3. Elija Crear política.

  4.  Seleccione la JSONpestaña y, a continuación, introduzca una IAM política como la siguiente:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "kmsstmt",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:Encrypt",
        "kms:GenerateDataKey"
      ],
      "Resource": [
        "<kms-key-arn>"
      ]
    },
    {
      "Sid": "s3stmt",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:Get*",
        "s3:List*"
      ],
      "Resource": [
        "arn:aws:s3:::mybucket",
        "arn:aws:s3:::mybucket/*"
      ]
    }
  ]
}

    mybucketSustitúyala por el nombre del bucket de S3 al que quieres acceder. Además, si el depósito de S3 está cifrado, kms-key-arn sustitúyalo por ARN la clave AWS Key Management Service (AWS KMS) utilizada para cifrar el depósito de S3. De lo contrario, no necesitarás la AWS KMS sección de la política.

  5. Elija Revisar política, S3-Write-Policy introdúzcala como nombre de la política y, a continuación, elija Crear política.

  6. Seleccione Roles en el panel de navegación.

  7.  Elija Crear rol.

  8. Para el rol de entidad de confianza, elija Política de confianza personalizada.

  9. Elija Siguiente: permisos y, a continuación, seleccione la política S3-Write-Policy que creó.

  10. Introduzca S3-Write-Role el nombre del rol y, a continuación, seleccione Crear rol.

DevOps ingeniero

Cree el rol de Amazon Redshift.

Para crear el rol de Amazon Redshift, haga lo siguiente:

  1. En la PROD cuenta, abra la IAM consola.

  2. Seleccione Políticas.

  3. Elija Crear política.

  4. Seleccione la JSONpestaña y, a continuación, introduzca una IAM política como la siguiente:

    {
    "Version": "2012-10-17",
    "Statement": [
            {
            "Sid": "CrossAccountPolicy",
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "S3-Write-Role-ARN"
        }
    ]
}

    S3-Write-Role-ARNARNSustitúyala por S3-Write-Role la de la DEV cuenta.

  5. Elija Revisar política, S3-Write-Role-Assume-Policy introdúzcala como nombre de la política y, a continuación, elija Crear política.

  6. En el panel de navegación, seleccione Roles y luego seleccione Crear rol.

  7. Elija el AWSservicio como el tipo de entidad de confianza y, a continuación, elija Redshift, Redshift - Customizable.

  8. Seleccione Siguiente: permisos y, a continuación, seleccione la política S3-Write-Role-Assume-Policy que creó.

  9. Introduzca el nombre del rol CrossAccount-S3-Write-Role y, a continuación, elija Crear rol.

  10. Asocie la IAM función a su clúster de Amazon Redshift.

DevOps ingeniero
TareaDescripciónHabilidades requeridas

Implemente la función de Lambda.

Para implementar una función Lambda en el sistema interconectadoVPC, haga lo siguiente:

  1. Abra la consola Lambda en. https://console.aws.amazon.com/lambda/

  2. Elija Funciones.

  3. Seleccione Crear función.

  4. En Basic information (Información básica), para Function name (Nombre de función), escriba un nombre para la función.

  5. Para Runtime, elija Python 3.8.

  6. Expanda Cambiar el rol de ejecución predeterminado y, a continuación, haga lo siguiente:

    1. Seleccione Usar un rol existente.

    2. En Función existente, seleccione la función Lambda CrossAccount-RM-Read-Role que creó anteriormente.

  7. Expanda Configuración avanzada y haga lo siguiente:

    1. Seleccione la casilla de VPC verificación Activar.

    2. Para VPC, selecciona el par de VPC la DEV cuenta.

    3. En el caso de las subredes, seleccione la subred privada.

    4. En Grupos de seguridad, seleccione el grupo de seguridad predeterminado.

  8. Seleccione Crear función.

  9. Añada la biblioteca psycopg2 como capa a la función Lambda.

    Nota: Puede utilizar una capa ya desplegada del repositorio psycopg2-lambda-layer. Asegúrese de utilizar el URL basado en su tiempo de ejecución Región de AWS y el de Python.

DevOps ingeniero
TareaDescripciónHabilidades requeridas

Importe los recursos necesarios.

Para importar los recursos necesarios, ejecute los siguientes comandos:

import ast
import boto3
import psycopg2
import base64
from botocore.exceptions import ClientError
Desarrollador de aplicaciones

Ejecute la función de controlador Lambda.

La función Lambda usa AWS Security Token Service (AWS STS) para el acceso entre cuentas y la administración temporal de credenciales. La función utiliza la AssumeRole API operación para asumir temporalmente los permisos del rol. sm_read_role IAM

Para ejecutar la función Lambda, utilice el siguiente código de ejemplo:

def lambda_handler(event, context):
    sts_client = boto3.client('sts')

    # Secrets Manager Configurations
    secret_name = "redshift_creds"
    sm_region = "eu-west-1"
    sm_read_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/SM-Read-Role"

    # S3 Bucket Configurations
    s3_bucket_path = "s3://mybucket/"
    s3_bucket_region = "eu-west-1"
    s3_write_role = "arn:aws:iam::DEV_ACCOUNT_NUMBER:role/S3-Write-Role"

    # Redshift Configurations
    sql_query = "select * from category"
    redshift_db = "dev"
    redshift_s3_write_role = "arn:aws:iam::PROD_ACCOUNT_NUMBER:role/CrossAccount-S3-Write-Role"

    chained_s3_write_role = "%s,%s" % (redshift_s3_write_role, s3_write_role)

    assumed_role_object = sts_client.assume_role(
        RoleArn=sm_read_role,
        RoleSessionName="CrossAccountRoleAssumption",
        ExternalId="YOUR_EXTERNAL_ID",
    )
    credentials = assumed_role_object['Credentials']

    secret_dict = ast.literal_eval(get_secret(credentials, secret_name, sm_region))
    execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db)

    return {
        'statusCode': 200
    }
Desarrollador de aplicaciones

Obtén el secreto.

Para obtener el secreto de Amazon Redshift, utilice el siguiente código de ejemplo:

def get_secret(credentials, secret_name, sm_region):
    # Create a Secrets Manager client
    session = boto3.session.Session()
    sm_client = session.client(
        service_name='secretsmanager',
        aws_access_key_id=credentials['AccessKeyId'],
        aws_secret_access_key=credentials['SecretAccessKey'],
        aws_session_token=credentials['SessionToken'],
        region_name=sm_region
    )

    try:
        get_secret_value_response = sm_client.get_secret_value(
            SecretId=secret_name
        )
    except ClientError as e:
        print(e)
        raise e
    else:
        if 'SecretString' in get_secret_value_response:
            return get_secret_value_response['SecretString']
        else:
            return base64.b64decode(get_secret_value_response['SecretBinary'])
Desarrollador de aplicaciones

Ejecute el comando unload.

Para descargar los datos en el depósito de S3, utilice el siguiente código de ejemplo.

def execute_query(secret_dict, sql_query, s3_bucket_path, chained_s3_write_role, s3_bucket_region, redshift_db):
    conn_string = "dbname='%s' port='%s' user='%s' password='%s' host='%s'" \
                  % (redshift_db,
                     secret_dict["port"],
                     secret_dict["username"],
                     secret_dict["password"],
                     secret_dict["host"])

    con = psycopg2.connect(conn_string)

    unload_command = "UNLOAD ('{}') TO '{}' IAM_ROLE '{}' DELIMITER '|' REGION '{}';" \
        .format(sql_query,
                s3_bucket_path + str(datetime.datetime.now()) + ".csv",
                chained_s3_write_role,
                s3_bucket_region)

    # Opening a cursor and run query
    cur = con.cursor()
    cur.execute(unload_command)

    print(cur.fetchone())
    cur.close()
    con.close()
Desarrollador de aplicaciones
TareaDescripciónHabilidades requeridas

Elimine la función de Lambda.

Para evitar incurrir en costes imprevistos, elimine los recursos y la conexión entre las DEV cuentas y. PROD

Para eliminar la función Lambda, haga lo siguiente:

  1. Abra la AWS Lambda consola en. https://console.aws.amazon.com/lambda/

  2. Localice y seleccione la función Lambda que creó.

  3. Elija Acciones y, a continuación, elija Eliminar.

  4. Confirme la eliminación.

DevOps ingeniero

Elimine las IAM funciones y las políticas.

Elimine los IAM roles y las políticas de las PROD cuentas DEV y.

En la DEV cuenta, haga lo siguiente:

  1. Abre la IAM consola.

  2. Elimine las siguientes funciones:

    • S3-Write-Role

    • CrossAccount-RM-Read-Role(Función Lambda)

  3. Elimine las políticas asociadas:

    • S3-Write-Policy

    • La CrossAccount política para asumir las funciones PROD de la cuenta

En la PROD cuenta, haga lo siguiente:

  1. Abre la IAM consola.

  2. Elimine las siguientes funciones:

    • SM-Read-Role

    • CrossAccount-S3-Write-Role

  3. Elimine las políticas asociadas:

    • La CrossAccount política de acceso a Secrets Manager

    • S3-Write-Role-Assume-Policy

DevOps ingeniero

Elimina el secreto en Secrets Manager.

Para eliminar el secreto, haga lo siguiente:

  1. En la PROD cuenta, abre la consola Secrets Manager.

  2. Localice y seleccione el nombre secretoRedshift-Creds-Secret.

  3. Elija Actions (Acciones) y Delete secret (Eliminar secreto).

  4. Confirme la eliminación.

DevOps ingeniero

Elimine las reglas VPC de los grupos de seguridad y de emparejamiento.

Para eliminar las reglas de VPC los grupos de seguridad y de emparejamiento, haga lo siguiente:

  1. En la PROD cuenta, abre la EC2 consola de Amazon en https://console.aws.amazon.com/ec2/.

  2. Navegue hasta Grupos de seguridad.

  3. Busque el grupo de seguridad que utiliza el clúster de Amazon Redshift.

  4. Edite las reglas de entrada y elimine la regla que permite las conexiones desde la Lambda VPC de la DEV cuenta.

  5. Diríjase a VPCConexiones de interconexión y elimine la conexión de interconexión.

DevOps ingeniero

Elimine los datos del depósito de S3.

Para eliminar los datos de Amazon S3, haga lo siguiente:

  1. En la DEV cuenta, abra la consola Amazon S3 en https://console.aws.amazon.com/s3/.

  2. Localice el depósito que utilizó para el almacenamiento de datos.

  3. Elimine los objetos del depósito o elimine todo el depósito si ya no es necesario.

DevOps ingeniero

Limpia AWS KMS las llaves.

Si ha creado alguna AWS KMS clave personalizada para el cifrado, haga lo siguiente:

  1. Abra la AWS KMS consola en https://console.aws.amazon.com/kms/.

  2. Localice las teclas creadas para este patrón.

  3. Programa la eliminación de las claves. (Hay un período de espera obligatorio para eliminar las claves).

DevOps ingeniero

Revisa y elimina los CloudWatch registros de Amazon.

Para eliminar los CloudWatch registros, haga lo siguiente:

  1. Abra la CloudWatch consola en https://console.aws.amazon.com/cloudwatch/.

  2. Compruebe si hay grupos de registros creados por la función de Lambda o el clúster de Amazon Redshift.

  3. Elimine estos grupos de registros si ya no los necesita.

DevOps ingeniero

Recursos relacionados

Información adicional

Tras descargar los datos de Amazon Redshift a Amazon S3, puede analizarlos con Amazon Athena.

Amazon Athena es un servicio de consultas de big data que resulta útil cuando se necesita acceder a grandes volúmenes de datos. Puede utilizar Athena sin tener que aprovisionar servidores o bases de datos. Athena admite consultas complejas y puede ejecutarla en diferentes objetos.

Como ocurre con la mayoría Servicios de AWS, la principal ventaja de usar Athena es que proporciona una gran flexibilidad en la forma de ejecutar las consultas sin la complejidad adicional. Cuando usa Athena, puede consultar diferentes tipos de datos, como CSV yJSON, en Amazon S3 sin cambiar el tipo de datos. Puede consultar datos de varias fuentes, incluso externas AWS. Athena reduce la complejidad porque no es necesario administrar los servidores. Athena lee los datos directamente de Amazon S3 sin cargarlos ni cambiarlos antes de ejecutar la consulta.