教學課程：撰寫 Glue for Spark AWS 指令碼

本教學課程會向您介紹撰寫 Glue AWS 指令碼的程序。您可以按照任務的排程執行指令碼，也可以與互動式工作階段互動執行。如需任務的詳細資訊，請參閱使用 AWS Glue Studio 建立視覺化 ETL 任務。如需互動式工作階段的詳細資訊，請參閱AWS Glue 互動式工作階段概觀。

Glue Studio AWS 視覺化編輯器提供圖形化、無程式碼的界面，可用於建置 AWS Glue 任務。 AWS Glue 指令碼可傳回視覺化任務。您可透過這些指令碼存取一組經過擴增的工具，這些工具能與 Apache Spark 程式搭配運作。您可以存取原生 Spark APIs，以及 Glue AWS 程式庫，這些程式庫有助於從 Glue 指令碼內擷取、轉換和載入 (ETL) AWS 工作流程。

本教學課程中，您會擷取、轉換及載入違停罰單資料集。執行此工作的指令碼與 AWS 大數據部落格上 AWS Glue Studio 的格式和函數相同，它介紹了 Glue Studio 視覺化編輯器，因此 ETL 更輕鬆。 AWS 透過在任務中執行此指令碼，您可以將其與視覺化任務進行比較，並查看 AWS Glue ETL 指令碼的運作方式。如此一來，您就可以做好準備，以便日後使用目前視覺化任務尚未提供的其他功能。

在本教學課程中，您將使用 Python 語言和程式庫。類似的功能在 Scala 中可用。完成本教學課程後，您應該能夠產生並檢查範例 Scala 指令碼，以了解如何執行 Scala AWS Glue ETL 指令碼撰寫程序。

先決條件

本教學課程具備下列先決條件：

產生範例指令碼

您可以使用 AWS Glue Studio 視覺化編輯器做為強大的程式碼產生工具，為要寫入的指令碼建立 scaffold。您將使用此工具建立範例指令碼。

如果您想跳過這些步驟，系統會提供指令碼。

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ["JOB_NAME"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args["JOB_NAME"], args)

# Script generated for node S3 bucket
S3bucket_node1 = glueContext.create_dynamic_frame.from_catalog(
    database="yyz-tickets", table_name="tickets", transformation_ctx="S3bucket_node1"
)

# Script generated for node ApplyMapping
ApplyMapping_node2 = ApplyMapping.apply(
    frame=S3bucket_node1,
    mappings=[
        ("tag_number_masked", "string", "tag_number_masked", "string"),
        ("date_of_infraction", "string", "date_of_infraction", "string"),
        ("ticket_date", "string", "ticket_date", "string"),
        ("ticket_number", "decimal", "ticket_number", "float"),
        ("officer", "decimal", "officer_name", "decimal"),
        ("infraction_code", "decimal", "infraction_code", "decimal"),
        ("infraction_description", "string", "infraction_description", "string"),
        ("set_fine_amount", "decimal", "set_fine_amount", "float"),
        ("time_of_infraction", "decimal", "time_of_infraction", "decimal"),
    ],
    transformation_ctx="ApplyMapping_node2",
)

# Script generated for node S3 bucket
S3bucket_node3 = glueContext.write_dynamic_frame.from_options(
    frame=ApplyMapping_node2,
    connection_type="s3",
    format="glueparquet",
    connection_options={"path": "s3://DOC-EXAMPLE-BUCKET", "partitionKeys": []},
    format_options={"compression": "gzip"},
    transformation_ctx="S3bucket_node3",
)

job.commit()

步驟 1. 建立任務並貼上指令碼

在此步驟中，您會在 中建立 AWS Glue 任務 AWS Management Console。這會設定允許 AWS Glue 執行指令碼的組態。此操作還會為您建立一個存放和編輯指令碼的地方。

步驟 2. 匯入 AWS Glue 程式庫

您需要設定指令碼，使其與在指令碼外部定義的程式碼和組態互動。此工作會在 Glue Studio AWS 的幕後完成。

在此步驟中，您會執行下列動作。

在此程序中，您需編寫下列程式碼。此程式碼是產生的範例指令碼的一部分。

from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ["JOB_NAME"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args["JOB_NAME"], args)

步驟 3。從來源擷取資料

在任何 ETL 程序中，您都需要先定義要變更的來源資料集。在 AWS Glue Studio 視覺化編輯器中，您可以建立來源節點來提供此資訊。

在此步驟中，您需為 create_dynamic_frame.from_catalog 方法提供 database 和 table_name，以便從 AWS Glue 資料目錄所設定的來源擷取資料。

在先前的步驟中，您已初始化 GlueContext 物件。您可以使用此物件來尋找設定來源所需使用的方法，例如 create_dynamic_frame.from_catalog。

在此程序中，您需使用 create_dynamic_frame.from_catalog 編寫下列程式碼。此程式碼是產生的範例指令碼的一部分。

S3bucket_node1 = glueContext.create_dynamic_frame.from_catalog(
    database="yyz-tickets", table_name="tickets", transformation_ctx="S3bucket_node1"
    )

步驟 4. 使用 AWS Glue 來轉換資料

在 ETL 程序中擷取來源資料後，您需要說明要如何變更資料。您可以在 Glue Studio AWS 視覺化編輯器中建立轉換節點，以提供此資訊。

在此步驟中，您需為 ApplyMapping 方法提供目前所需欄位名稱和類型的映射，以轉換您的 DynamicFrame。

執行以下轉換。

create_dynamic_frame.from_catalog 將為您提供 DynamicFrame 物件。DynamicFrame 代表 Glue AWS 中的資料集。 AWS Glue 轉換是變更 的操作DynamicFrames。

在此程序中，您需使用 ApplyMapping 編寫下列程式碼。此程式碼是產生的範例指令碼的一部分。

ApplyMapping_node2 = ApplyMapping.apply(
    frame=S3bucket_node1,
    mappings=[
        ("tag_number_masked", "string", "tag_number_masked", "string"),
        ("date_of_infraction", "string", "date_of_infraction", "string"),
        ("ticket_date", "string", "ticket_date", "string"),
        ("ticket_number", "decimal", "ticket_number", "float"),
        ("officer", "decimal", "officer_name", "decimal"),
        ("infraction_code", "decimal", "infraction_code", "decimal"),
        ("infraction_description", "string", "infraction_description", "string"),
        ("set_fine_amount", "decimal", "set_fine_amount", "float"),
        ("time_of_infraction", "decimal", "time_of_infraction", "decimal"),
    ],
    transformation_ctx="ApplyMapping_node2",
)

步驟 5. 將資料載入目標

轉換資料之後，通常需將轉換後的資料存放在與來源不同的地方。您可以在 Glue Studio AWS 視覺化編輯器中建立目標節點來執行此操作。

在此步驟中，您需為 write_dynamic_frame.from_options 方法提供 connection_type、connection_options、format 和 format_options，將資料載入 Amazon S3 中的目標儲存貯體。

在步驟 1 中，您初始化了 GlueContext 物件。在 AWS Glue 中，您可以找到用來設定目標的方法，就像來源一樣。

在此程序中，您需使用 write_dynamic_frame.from_options 編寫下列程式碼。此程式碼是產生的範例指令碼的一部分。

S3bucket_node3 = glueContext.write_dynamic_frame.from_options(
    frame=ApplyMapping_node2,
    connection_type="s3",
    format="glueparquet",
    connection_options={"path": "s3://DOC-EXAMPLE-BUCKET", "partitionKeys": []},
    format_options={"compression": "gzip"},
    transformation_ctx="S3bucket_node3",
    )

步驟 6. 遞交 Job 物件

您在步驟 1 中初始化了 Job 物件。您需要在指令碼結尾手動斷定其生命週期，某些選用功能需要此操作才能正常執行。此工作會在 Glue Studio AWS 的幕後完成。

在此步驟中，在 Job 物件上呼叫 commit 方法。

在此程序中，您需編寫下列程式碼。此程式碼是產生的範例指令碼的一部分。

job.commit()

選用 – 啟用任務書籤

之前的每個步驟都已經指示您設定 transformation_ctx 參數。這與名為任務書籤的功能有關。

藉由任務書籤，您可針對資料集定期執行任務，達到節省時間和金錢的目的，同時還能輕鬆追蹤先前的工作。任務書籤會追蹤 Glue AWS 從先前執行跨資料集轉換的進度。透過追蹤先前執行的結束位置， AWS Glue 可以將工作限制為之前未處理的資料列。如需任務書籤的詳細資訊，請參閱 使用任務書籤追蹤處理的資料。

若要啟用任務書籤，請先新增 transformation_ctx 陳述式至我們所提供的函數，如之前的範例所述。任務書籤狀態會在執行期間維持不變，而 transformation_ctx 參數是存取該狀態所需的索引鍵。這些陳述式自身不會執行任何操作。您還需要在任務的組態中啟用該功能。

在此程序中，您會使用 AWS Management Console啟用任務書籤。

步驟 7. 將程式碼作為任務執行

在此步驟中，您需執行任務以確認您是否已成功完成本教學課程。這可透過按一下按鈕來完成，如 Glue Studio AWS 視覺化編輯器所示。

如需有關設定和管理任務的詳細資訊，請參閱 提供您的自訂指令碼。

其他資訊

Apache Spark 程式庫和方法可在 Glue AWS 指令碼中使用。您可以查看 Spark 文件以了解您可以使用這些包含的程式庫來做什麼。如需詳細資訊，請參閱 Spark 來源儲存庫的範例區段。

AWS 根據預設，Glue 2.0+ 包含數個常見的 Python 程式庫。也有機制可將您自己的相依性載入 Scala 或 Python 環境中的 AWS Glue 任務。如需 Python 相依性的相關資訊，請參閱 搭配 Glue 使用 Python AWS 程式庫。

如需如何在 Python 中使用 AWS Glue 功能的詳細資訊，請參閱AWS Glue Python 程式碼範例。Scala 和 Python 任務具有相同的功能，所以我們的 Python 範例應能為您提供以 Scala 執行類似工作的些許想法。