Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ejecución de un flujo de trabajo de ETL/ELT con Step Functions y la API Amazon Redshift
En este proyecto de muestra se ilustra cómo utilizar Step Functions y la API de datos de Amazon Redshift para ejecutar un flujo de trabajo de ETL/ELT que carga datos en el almacén de datos de Amazon Redshift.
En este proyecto, Step Functions utiliza una AWS Lambda función y la API de datos de Amazon Redshift para crear los objetos de base de datos necesarios y generar un conjunto de datos de ejemplo. A continuación, ejecuta dos trabajos en paralelo que cargan tablas de dimensiones, seguidas de una tabla de hechos. Cuando ambos trabajos de carga de dimensiones finalicen correctamente, Step Functions ejecuta el trabajo de carga de la tabla de hechos, ejecuta el trabajo de validación y, posteriormente, detiene el clúster de Amazon Redshift.
nota
Puede modificar la lógica de ETL para recibir datos de otros orígenes, como Amazon S3, que puede utilizar el comando COPY para copiar datos de Amazon S3 a una tabla de Amazon Redshift.
Para obtener más información sobre las integraciones de los servicios Amazon Redshift y Step Functions, consulte las siguientes guías:
Para obtener más información sobre las políticas de IAM para Lambda y Amazon Redshift, consulte las siguientes guías:
nota
Este proyecto de muestra puede generar cargos.
Para AWS los nuevos usuarios, hay disponible una capa de uso gratuita. En esta capa, los servicios son gratuitos por debajo de determinado nivel de uso. Para obtener más información sobre los costos de AWS
y la capa gratuita, consulte Precios de AWS Step Functions
Paso 1: Crear la máquina de estado
-
Abra la consola de Step Functions
y seleccione Crear máquina de estado. -
Busca y elige la plantilla de inicio con la que quieres trabajar. Elija Siguiente para continuar.
-
Elija Ejecutar una demostración para crear un ready-to-deploy flujo de trabajo y de solo lectura, o elija Construir a partir de ella para crear una definición de máquina de estados editable sobre la que pueda crear y luego implementar.
-
Elija Utilizar plantilla para continuar con la selección.
Los siguientes pasos dependen de su elección anterior:
-
Realice una demostración: puede revisar la máquina de estados antes de crear un proyecto de solo lectura con los recursos desplegados por usted. AWS CloudFormation Cuenta de AWS
Puede ver la definición de la máquina de estado y, cuando esté listo, seleccione Implementar y ejecutar para implementar el proyecto y crear los recursos.
El recurso y los permisos pueden tardar hasta 10 minutos en crearse. Puede usar el enlace de ID de pila para supervisar el progreso en AWS CloudFormation.
Una vez completada la implementación, debería ver su nueva máquina de estado en la consola.
-
Cree a partir de ella: puede revisar y editar la definición del flujo de trabajo. Es posible que tenga que establecer valores para los marcadores de posición en el proyecto de ejemplo antes de intentar ejecutar su flujo de trabajo personalizado.
nota
Es posible que se apliquen cargos estándar por los servicios implementados en su cuenta.
Paso 2: Ejecutar la máquina de estado
En la página Máquina de estado, elija su proyecto de muestra.
En la página del proyecto de muestra, seleccione Iniciar ejecución.
En el cuadro de diálogo Iniciar ejecución, haga lo siguiente:
-
(Opcional) Introduzca un nombre de ejecución personalizado para anular el valor predeterminado generado.
Nombres y registros con caracteres no ASCII
Step Functions acepta nombres para máquinas de estado, ejecuciones, actividades y etiquetas que contengan caracteres no ASCII. Como estos caracteres no funcionan con Amazon CloudWatch, te recomendamos que utilices únicamente caracteres ASCII para poder realizar un seguimiento de las CloudWatch métricas.
-
(Opcional) En el cuadro Entrada, introduzca los valores de entrada como JSON. Puede omitir este paso si ejecuta una demostración.
-
Seleccione Iniciar ejecución.
La consola Step Functions lo dirigirá a una página de detalles de ejecución en la que puede elegir estados en la vista de gráficos para explorar la información relacionada en el panel Detalles del paso.
-
¡Enhorabuena!
Ahora debería disponer de una demostración en ejecución o de una definición de máquina de estado que pueda personalizar.
