Creación de un lago de datos a partir de una AWS CloudTrail fuente

Pasos generales para crear un lago de datos

1. Registre una ruta de Amazon Simple Storage Service (Amazon S3) como lago de datos.

2. Conceda a Lake Formation permisos para escribir en el Catálogo de datos y en las ubicaciones de Amazon S3 del lago de datos.

3. Cree una base de datos para organizar las tablas de metadatos en el Catálogo de datos.

4. Utilice un esquema para crear un flujo de trabajo. Ejecute el flujo de trabajo para incorporar datos de un origen de datos.

5. Configure sus permisos de Lake Formation para permitir que otros administren los datos del Catálogo de datos y del lago de datos.

6. Configure Amazon Athena para consultar los datos que haya importado en su lago de datos de Amazon S3.

7. Para algunos tipos de almacenes de datos, configure Amazon Redshift Spectrum para consultar los datos que importó a su lago de datos de Amazon S3.

1. Abra la consola de IAM en https://console.aws.amazon.com/iam. Inicie sesión como el usuario administrador que creó en Creación de un usuario con acceso administrativo o como usuario con la política AdministratorAccess AWS gestionada.

2. Cree una tabla con nombre datalake_user con la configuración siguiente:

   • Habilite AWS Management Console el acceso.

   • Defina una contraseña y no solicite restablecerla.

   • Adjunte la política AmazonAthenaFullAccess AWS gestionada.

   • Vincule la siguiente política insertada. Llame a la política DatalakeUserBasic.

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

1. Asocie la siguiente política insertada al rol LakeFormationWorkflowRole. La política otorga permiso para leer tus AWS CloudTrail registros. Llame a la política DatalakeGetCloudTrail.

   Para crear la función de LakeFormationWorkflowRole, consulte (Opcional) Cree una función de IAM para los flujos de trabajo.

   importante

   Reemplazar <your-s3-cloudtrail-bucket> con la ubicación de sus CloudTrail datos en Amazon S3.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "s3:GetObject",
               "Resource": ["arn:aws:s3:::<your-s3-cloudtrail-bucket>/*"]
           }
       ]
   }

2. Compruebe que haya tres políticas adjuntadas al rol.

1. Abra la consola Amazon S3 en https://console.aws.amazon.com/s3/e inicie sesión como el usuario administrador que creóCreación de un usuario con acceso administrativo.

2. Elija Crear depósito y siga el asistente para crear un depósito con el nombre<yourName>-datalake-cloudtrail, donde <yourName> es tu inicial y apellido. Por ejemplo: jdoe-datalake-cloudtrail.

   Para obtener instrucciones detalladas sobre la creación de un bucket de Amazon S3, consulte Crear un bucket.

1. Abra la consola de Lake Formation en https://console.aws.amazon.com/lakeformation/. Inicie sesión como administrador del lago de datos.

2. En el panel de navegación, en Registrar e ingerir, elija las Ubicaciones de los lagos de datos.

3. Seleccione Registrar ubicación y, a continuación, Examinar.

4. Seleccione el <yourName>-datalake-cloudtrail depósito que creó anteriormente, acepte el IAM rol predeterminado yAWSServiceRoleForLakeFormationDataAccess, a continuación, elija Registrar ubicación.

   Para obtener más información sobre cómo registrar ubicaciones, consulte Añadir una ubicación de Amazon S3 a su lago de datos.

1. En el panel de navegación, bajo Permisos, seleccione Ubicaciones de datos.

2. Elija Conceder y, en el cuadro de diálogo Conceder permisos, seleccione lo siguiente:

   1. Para el IAMusuario y los roles, elijaLakeFormationWorkflowRole.

   2. En Ubicaciones de almacenamiento, elija su bucket de <yourName>-datalake-cloudtrail.

3. Elija Conceder.

1. En el panel de navegación, Catálogo de datos, elija Tablas.

2. Seleccione Crear base de datos y, en Detalles de la base de datos, introduzca el nombre lakeformation_cloudtrail.

3. Deje los demás campos en blanco y elija Crear base de datos.

1. En la consola de Lake Formation, en el panel de navegación, en Catálogo de datos, seleccione Bases de datos.

2. Elija la base de datos lakeformation_cloudtrail y, a continuación, en la lista desplegable Acciones, seleccione Conceder bajo el encabezado Permisos.

3. En el cuadro de diálogo Conceder permisos de datos, seleccione lo siguiente:

   1. En Principios, para IAMusuarios y roles, elijaLakeFormationWorkflowRole.

   2. En Etiquetas LF o recursos del catálogo, elija Recursos de Catálogo de datos con nombre.

   3. En Bases de datos, debería ver que la base de datos lakeformation_cloudtrail ya está agregada.

   4. En Permisos de base de datos, seleccione Crear tabla, Modificar y Borrar, y desactive Super si está seleccionada.

   El cuadro de diálogo Conceder permisos de datos ahora tendrá el aspecto que se muestra en esta captura de pantalla.

   

4. Elija Conceder.

1. En la consola de Lake Formation, en el panel de navegación, elija Esquemas y, a continuación, Usar esquema.

2. En la página Usar un esquema, en Tipo de esquema, elija. AWS CloudTrail

3. En Importar fuente, selecciona una CloudTrail fuente y una fecha de inicio.

4. En Destino de importación, especifique estos parámetros:

   Bases de datos de destino	lakeformation_cloudtrail
   Ubicación de almacenamiento de destino	s3://<yourName>-datalake-cloudtrail
   Formato de los datos	Parquet

5. Para ver la frecuencia de la importación, seleccione Ejecutar bajo demanda.

6. En Opciones de importación, especifique estos parámetros:

   Nombre del flujo de trabajo	lakeformationcloudtrailtest
   IAMrol	LakeFormationWorkflowRole
   Prefijo de tabla	cloudtrailtest nota Debe estar en minúscula.

7. Seleccione Crear y espere a que la consola informe de que el flujo de trabajo se ha creado correctamente.

   sugerencia

   ¿Ha recibido este mensaje de error?

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   Si es así, compruebe que ha reemplazado <account-id> en la política integrada para el usuario administrador del lago de datos con un número de AWS cuenta válido.

• En la página Esquemas, seleccione el flujo de trabajo lakeformationcloudtrailtest y, en el menú Acciones, elija Iniciar.

  A medida que se ejecuta el flujo de trabajo, puede ver su progreso en la columna Estado de la última ejecución. Pulse el botón de actualización de vez en cuando.

  El estado va de RUNNING, a Descubriendo, a Importando, a COMPLETED.

  Cuando se complete el flujo de trabajo:

  • El Catálogo de datos tendrá nuevas tablas de metadatos.

  • Sus CloudTrail registros se incorporarán al lago de datos.

  Si se produce un error en el flujo de trabajo, haga lo siguiente:

  1. Seleccione el flujo de trabajo y, en el menú Acciones, elija Ver gráfico.

     El flujo de trabajo se abre en la consola de AWS Glue.

  2. Asegúrese de que se seleccione el flujo de trabajo y elija la pestaña Historial.

  3. En Historial, seleccione la ejecución más reciente y seleccione Ver detalles de la ejecución.

  4. Seleccione un trabajo o un rastreador fallidos en el gráfico dinámico (tiempo de ejecución) y revise el mensaje de error. Los nodos con errores aparecen en rojo o amarillo.

1. En la consola de Lake Formation, en el panel de navegación, en Catálogo de datos, seleccione Bases de datos.

2. Elija la base de datos lakeformation_cloudtrail y, a continuación, en la lista desplegable Acciones, seleccione Conceder bajo el encabezado Permisos.

3. En el cuadro de diálogo Conceder permisos de datos, seleccione lo siguiente:

   1. En Principios, para IAMusuarios y roles, elijadatalake_user.

   2. En Etiquetas LF o recursos del catálogo, elija Recursos de Catálogo de datos con nombre.

   3. En Bases de datos, la base de datos lakeformation_cloudtrail ya debería estar seleccionada.

   4. Para Tablas, elija cloudtrailtest-cloudtrail.

   5. En Permisos de tabla y columna, elija Seleccionar.

4. Elija Conceder.

1. Abra la consola de Athena en https://console.aws.amazon.com/athena/e inicie sesión como analista de datos, usuario. datalake_user

2. Si es necesario, elija Comenzar para continuar con el editor de consultas de Athena.

3. Para Origen de datos, elija AwsDataCatalog.

4. En Database (Base de datos), elija lakeformation_cloudtrail.

   Se rellena la lista de Tablas.

5. En el menú desplegable (3 puntos en horizontal) situado junto a la tabla cloudtrailtest-cloudtrail, seleccione Vista previa de la tabla y, a continuación, seleccione Ejecutar.

   La consulta se ejecuta y muestra 10 filas de datos.

   Si no ha utilizado Athena antes, primero debe configurar una ubicación de Amazon S3 en la consola de Athena para almacenar los resultados de las consultas. El datalake_user debe disponer de los permisos necesarios para acceder al bucket de Amazon S3 que elija.