Creación de un lago de datos a partir de una fuente de AWS CloudTrail

Pasos generales para crear un lago de datos

1. Registre una ruta de Amazon Simple Storage Service (Amazon S3) como lago de datos.

2. Conceda a Lake Formation permisos para escribir en el Catálogo de datos y en las ubicaciones de Amazon S3 del lago de datos.

3. Cree una base de datos para organizar las tablas de metadatos en el Catálogo de datos.

4. Utilice un esquema para crear un flujo de trabajo. Ejecute el flujo de trabajo para incorporar datos de un origen de datos.

5. Configure sus permisos de Lake Formation para permitir que otros administren los datos del Catálogo de datos y del lago de datos.

6. Configure Amazon Athena para consultar los datos que haya importado en su lago de datos de Amazon S3.

7. Para algunos tipos de almacenes de datos, configure Amazon Redshift Spectrum para consultar los datos que importó a su lago de datos de Amazon S3.

1. Abra la consola de IAM en https://console.aws.amazon.com/iam. Inicie sesión como el usuario administrador que creó en Creación de un usuario con acceso administrativo o como usuario con la política administrada AdministratorAccess de AWS.

2. Cree una tabla con nombre datalake_user con la configuración siguiente:

   • Habilite el acceso a AWS Management Console.

   • Defina una contraseña y no solicite restablecerla.

   • Vincule la política administrada AmazonAthenaFullAccess de AWS.

   • Vincule la siguiente política insertada. Llame a la política DatalakeUserBasic.

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

1. Asocie la siguiente política insertada al rol LakeFormationWorkflowRole. La política concede permiso para leer sus registros de AWS CloudTrail. Llame a la política DatalakeGetCloudTrail.

   Para crear la función de LakeFormationWorkflowRole, consulte (Opcional) Crear un rol de IAM para flujos de trabajo.

   importante

   Sustituya <your-s3-cloudtrail-bucket> por la ubicación de Amazon S3 de sus datos de CloudTrail.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "s3:GetObject",
               "Resource": ["arn:aws:s3:::<your-s3-cloudtrail-bucket>/*"]
           }
       ]
   }

2. Compruebe que haya tres políticas adjuntadas al rol.

1. Abra la consola de Amazon S3 en https://console.aws.amazon.com/s3/ e inicie sesión como el usuario administrador que creó en Creación de un usuario con acceso administrativo.

2. Elija Crear bucket y siga el asistente para crear un bucket llamado <yourName>-datalake-cloudtrail, donde <yourName> es su inicial y apellido. Por ejemplo: jdoe-datalake-cloudtrail.

   Para obtener instrucciones detalladas sobre la creación de un bucket de Amazon S3, consulte Crear un bucket.

1. Abra la consola de Lake Formation en https://console.aws.amazon.com/lakeformation/. Inicie sesión como administrador del lago de datos.

2. En el panel de navegación, en Registrar e ingerir, elija las Ubicaciones de los lagos de datos.

3. Seleccione Registrar ubicación y, a continuación, Examinar.

4. Seleccione el bucket <yourName>-datalake-cloudtrail que creó anteriormente, acepte el rol de IAM AWSServiceRoleForLakeFormationDataAccess predeterminado y, a continuación, elija Registrar ubicación.

   Para obtener más información sobre cómo registrar ubicaciones, consulte Añadir una ubicación de Amazon S3 a su lago de datos.

1. En el panel de navegación, bajo Permisos, seleccione Ubicaciones de datos.

2. Elija Conceder y, en el cuadro de diálogo Conceder permisos, seleccione lo siguiente:

   1. En Usuario de IAM y roles, elija LakeFormationWorkflowRole.

   2. En Ubicaciones de almacenamiento, elija su bucket de <yourName>-datalake-cloudtrail.

3. Elija Conceder.

1. En el panel de navegación, Catálogo de datos, elija Tablas.

2. Seleccione Crear base de datos y, en Detalles de la base de datos, introduzca el nombre lakeformation_cloudtrail.

3. Deje los demás campos en blanco y elija Crear base de datos.

1. En la consola de Lake Formation, en el panel de navegación, en Catálogo de datos, seleccione Bases de datos.

2. Elija la base de datos lakeformation_cloudtrail y, a continuación, en la lista desplegable Acciones, seleccione Conceder bajo el encabezado Permisos.

3. En el cuadro de diálogo Conceder permisos de datos, seleccione lo siguiente:

   1. En Entidades principales, Usuario de IAM y roles, elija LakeFormationWorkflowRole.

   2. En Etiquetas LF o recursos del catálogo, elija Recursos de Catálogo de datos con nombre.

   3. En Bases de datos, debería ver que la base de datos lakeformation_cloudtrail ya está agregada.

   4. En Permisos de base de datos, seleccione Crear tabla, Modificar y Borrar, y desactive Super si está seleccionada.

   El cuadro de diálogo Conceder permisos de datos ahora tendrá el aspecto que se muestra en esta captura de pantalla.

   

4. Elija Conceder.

1. En la consola de Lake Formation, en el panel de navegación, elija Esquemas y, a continuación, Usar esquema.

2. En la página Usar un esquema, en Tipo de esquema, elija AWS CloudTrail.

3. En Importar fuente, seleccione una fuente de CloudTrail y una fecha de inicio.

4. En Destino de importación, especifique estos parámetros:

   Bases de datos de destino	lakeformation_cloudtrail
   Ubicación de almacenamiento de destino	s3://<yourName>-datalake-cloudtrail
   Formato de los datos	Parquet

5. Para ver la frecuencia de la importación, seleccione Ejecutar bajo demanda.

6. En Opciones de importación, especifique estos parámetros:

   Nombre del flujo de trabajo	lakeformationcloudtrailtest
   Rol de IAM	LakeFormationWorkflowRole
   Prefijo de tabla	cloudtrailtest nota Debe estar en minúscula.

7. Seleccione Crear y espere a que la consola informe de que el flujo de trabajo se ha creado correctamente.

   sugerencia

   ¿Ha recibido este mensaje de error?

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   Si es así, compruebe que ha sustituido <id de cuenta> en la política integrada para el usuario administrador del lago de datos por un número de cuenta AWS válido.

• En la página Esquemas, seleccione el flujo de trabajo lakeformationcloudtrailtest y, en el menú Acciones, elija Iniciar.

  A medida que se ejecuta el flujo de trabajo, puede ver su progreso en la columna Estado de la última ejecución. Pulse el botón de actualización de vez en cuando.

  El estado pasa de EN EJECUCIÓN a Detectando, Importando y FINALIZADO.

  Cuando se complete el flujo de trabajo:

  • El Catálogo de datos tendrá nuevas tablas de metadatos.

  • Los registros de CloudTrail se incorporarán al lago de datos.

  Si se produce un error en el flujo de trabajo, haga lo siguiente:

  1. Seleccione el flujo de trabajo y, en el menú Acciones, elija Ver gráfico.

     El flujo de trabajo se abre en la consola de AWS Glue.

  2. Asegúrese de que se seleccione el flujo de trabajo y elija la pestaña Historial.

  3. En Historial, seleccione la ejecución más reciente y seleccione Ver detalles de la ejecución.

  4. Seleccione un trabajo o un rastreador fallidos en el gráfico dinámico (tiempo de ejecución) y revise el mensaje de error. Los nodos con errores aparecen en rojo o amarillo.

1. En la consola de Lake Formation, en el panel de navegación, en Catálogo de datos, seleccione Bases de datos.

2. Elija la base de datos lakeformation_cloudtrail y, a continuación, en la lista desplegable Acciones, seleccione Conceder bajo el encabezado Permisos.

3. En el cuadro de diálogo Conceder permisos de datos, seleccione lo siguiente:

   1. En Entidades principales, Usuario de IAM y roles, elija datalake_user.

   2. En Etiquetas LF o recursos del catálogo, elija Recursos de Catálogo de datos con nombre.

   3. En Bases de datos, la base de datos lakeformation_cloudtrail ya debería estar seleccionada.

   4. Para Tablas, elija cloudtrailtest-cloudtrail.

   5. En Permisos de tabla y columna, elija Seleccionar.

4. Elija Conceder.

1. Abra la consola de Athena en https://console.aws.amazon.com/athena/ e inicie sesión como analista de datos, usuario datalake_user.

2. Si es necesario, elija Comenzar para continuar con el editor de consultas de Athena.

3. En Origen de datos, elija AWSDataCatalog.

4. En Database (Base de datos), elija lakeformation_cloudtrail.

   Se rellena la lista de Tablas.

5. En el menú desplegable (3 puntos en horizontal) situado junto a la tabla cloudtrailtest-cloudtrail, seleccione Vista previa de la tabla y, a continuación, seleccione Ejecutar.

   La consulta se ejecuta y muestra 10 filas de datos.

   Si no ha utilizado Athena antes, primero debe configurar una ubicación de Amazon S3 en la consola de Athena para almacenar los resultados de las consultas. El datalake_user debe disponer de los permisos necesarios para acceder al bucket de Amazon S3 que elija.