使用AWS DataOps 开发套件构建数据管道，以提取、转换和分析 Google Analytics（分析）数据

由 Anton Kukushkin (AWS) 和 Rudy Puig () 创作 AWS

Summary

此模式描述了如何使用AWS DataOps 开发套件 (DDK) 和其他AWS服务构建数据管道来提取、转换和分析 Google Analytics（分析）数据。AWSDDK是一个开源开发框架，可帮助您在上面构建数据工作流程和现代数据架构AWS。的主要目标之一AWSDDK是为您节省通常用于劳动密集型数据管道任务的时间和精力，例如协调管道、构建基础设施和创建基础架构。 DevOps 您可以将这些劳动密集型任务转移到，AWSDDK这样您就可以专注于编写代码和其他高价值的活动。

先决条件和限制

先决条件

产品版本

架构

技术堆栈

目标架构

下图显示了摄取、转换和分析 Google Analytics 数据的事件驱动流程。

图表显示了以下工作流：

工具

AWS工具

代码

此模式的代码可在 GitHub AWS DataOps 开发套件 (DDK) 和使用亚马逊 AppFlow、Amazon Athena 和开发套件存储库分析谷歌分析数据中找到。AWS DataOps

操作说明

git clone https://github.com/aws-samples/aws-ddk-examples.git

cd google-analytics-data-using-appflow/python && python3 -m venv .venv

source .venv/bin/activate && pip install -r requirements.txt

故障排除

相关资源

其他信息

AWSDDK数据管道由一个或多个阶段组成。在以下代码示例中，您使用 AppFlowIngestionStage 从 Google Analytics 摄取数据，使用 SqsToLambdaStage 处理数据转换，使用 AthenaSQLStage 运行 Athena 查询。

首先，创建数据转换和摄取阶段，如以下代码示例所示：

        appflow_stage = AppFlowIngestionStage(
            self,
            id="appflow-stage",
            flow_name=flow.flow_name,
        )
        sqs_lambda_stage = SqsToLambdaStage(
            self,
            id="lambda-stage",
            lambda_function_props={
                "code": Code.from_asset("./ddk_app/lambda_handlers"),
                "handler": "handler.lambda_handler",
                "layers": [
                    LayerVersion.from_layer_version_arn(
                        self,
                        id="layer",
                        layer_version_arn=f"arn:aws:lambda:{self.region}:336392948345:layer:AWSDataWrangler-Python39:1",
                    )
                ],
                "runtime": Runtime.PYTHON_3_9,
            },
        )
        # Grant lambda function S3 read & write permissions
        bucket.grant_read_write(sqs_lambda_stage.function)
        # Grant Glue database & table permissions
        sqs_lambda_stage.function.add_to_role_policy(
            self._get_glue_db_iam_policy(database_name=database.database_name)
        )
        athena_stage = AthenaSQLStage(
            self,
            id="athena-sql",
            query_string=[
                (
                    "SELECT year, month, day, device, count(user_count) as cnt "
                    f"FROM {database.database_name}.ga_sample "
                    "GROUP BY year, month, day, device "
                    "ORDER BY cnt DESC "
                    "LIMIT 10; "
                )
            ],
            output_location=Location(
                bucket_name=bucket.bucket_name, object_key="query-results/"
            ),
            additional_role_policy_statements=[
                self._get_glue_db_iam_policy(database_name=database.database_name)
            ],
        )

接下来，使用该DataPipeline构造通过使用 EventBridge 规则将各个阶段 “连接” 在一起，如以下代码示例所示：

        (
            DataPipeline(self, id="ingestion-pipeline")
            .add_stage(
                stage=appflow_stage,
                override_rule=Rule(
                    self,
                    "schedule-rule",
                    schedule=Schedule.rate(Duration.hours(1)),
                    targets=appflow_stage.targets,
                ),
            )
            .add_stage(
                stage=sqs_lambda_stage,
                # By default, AppFlowIngestionStage stage emits an event after the flow run finishes successfully
                # Override rule below changes that behavior to call the the stage when data lands in the bucket instead
                override_rule=Rule(
                    self,
                    "s3-object-created-rule",
                    event_pattern=EventPattern(
                        source=["aws.s3"],
                        detail={
                            "bucket": {"name": [bucket.bucket_name]},
                            "object": {"key": [{"prefix": "ga-data"}]},
                        },
                        detail_type=["Object Created"],
                    ),
                    targets=sqs_lambda_stage.targets,
                ),
            )
            .add_stage(stage=athena_stage)
        )

有关更多代码示例，请参阅使用亚马逊、Amazon AppFlow Athena AWS DataOps 和开发套件 GitHub 分析谷歌分析数据存储库。