在本機開發和測試 AWS Glue 任務指令碼

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

當您開發和測試 AWS Glue for Spark 任務指令碼時，有多個可用選項：

您可根據自己的需求選擇上述任何選項。

如果您不想要程式碼或更小的程式碼體驗，Glue Studio AWS 視覺化編輯器是不錯的選擇。

如果您偏好互動式筆記本體驗， AWS Glue Studio 筆記本是不錯的選擇。如需詳細資訊，請參閱搭配使用筆記本與 AWS Glue Studio 和 AWS Glue。如果想要使用自己的本機環境，那麼互動式工作階段是個不錯的選擇。如需詳細資訊，請參閱搭配 Glue AWS 使用互動式工作階段。

如果您偏好採用本機/遠端開發，那麼 Docker 映像檔是個不錯的選擇。這可協助您在偏好的任何地方開發和測試 AWS Glue for Spark 任務指令碼，而不會產生 Glue AWS 成本。

如果您偏好不使用 Docker 的本機開發，在本機安裝 AWS Glue ETL 程式庫目錄是不錯的選擇。

使用 Glue Studio AWS 開發

Glue Studio AWS 視覺化編輯器是一種圖形界面，可讓您輕鬆地在 Glue 中建立、執行和監控擷取、轉換和載入 (ETL) AWS 任務。您可以視覺化編寫資料轉換工作流程，並在 Glue AWS 的 Apache Spark 型無伺服器 ETL 引擎上無縫執行。您可以在任務的每個步驟中檢查結構描述和資料結果。如需詳細資訊，請參閱 AWS Glue Studio 使用者指南。

使用互動式工作階段進行開發

使用互動式工作階段允許您自行選擇要建置和測試應用程式的環境。如需詳細資訊，請參閱搭配 Glue AWS 使用互動式工作階段。

使用 Docker 映像檔進行開發

對於生產就緒的資料平台，Glue 任務的開發程序和 CI/CD AWS 管道是一個關鍵主題。您可以在 Docker 容器中靈活地開發和測試 AWS Glue 任務。 AWS Glue 會在 Docker Hub 上託管 Docker 映像，以使用其他公用程式設定您的開發環境。您可以使用 Glue ETL AWS 程式庫來使用您偏好的 IDE、筆記本或 REPL。本主題說明如何使用 AWS Docker 映像在 Docker 容器中開發和測試 Glue 4.0 版任務。

下列 Docker 映像可供 Docker Hub 上的 AWS Glue 使用。

這些映像檔適用於 x86_64。建議您在此架構上進行測試。然而，在不支援的基礎映像上重製本機開發解決方案可能可行。

此範例說明在本機上使用 amazon/aws-glue-libs:glue_libs_4.0.0_image_01 並執行容器。此容器映像已針對 AWS Glue 3.3 版 Spark 任務進行測試。該映像檔包含下列項目：

根據您的需求填妥下列其中一個區段︰

先決條件

在開始之前，請務必安裝 Docker 並確保 Docker 常駐程式正在執行。如需安裝說明，請參閱 Mac 或 Linux 專用的 Docker 文件。執行 Docker 的機器託管 Glue AWS 容器。亦請確保執行 Docker 的主機上至少有 7 GB 的磁碟空間可供映像檔使用。

如需在本機開發 Glue AWS 程式碼時限制的詳細資訊，請參閱本機開發限制。

設定 AWS

若要從容器啟用 AWS API 呼叫，請依照下列步驟設定 AWS 登入資料。在以下各節中，我們將使用此 AWS 具名設定檔。

您可能還需要設定 AWS_LEGION 環境變數，以指定要傳送請求的目標 AWS 區域 。

設定和執行容器

透過 spark-submit 命令設定容器或執行 PySpark 程式碼需進一步完成下列步驟：

從 Docker Hub 擷取映像檔

執行以下命令可從 Docker Hub 中擷取映像檔：

docker pull amazon/aws-glue-libs:glue_libs_4.0.0_image_01

執行容器

然後再使用此映像檔執行容器。您可根據自己的需求選擇下列任何選項。

spark-submit

您可以在容器上執行 AWS spark-submit命令，以執行 Glue 任務指令碼。

REPL Shell (Pyspark)

採互動式開發模式時，可執行 REPL (read-eval-print loop) Shell。

執行以下命令可在容器上執行 PySpark 命令以啟動 REPL Shell：

$ docker run -it -v ~/.aws:/home/glue_user/.aws -e AWS_PROFILE=$PROFILE_NAME -e DISABLE_SSL=true --rm -p 4040:4040 -p 18080:18080 --name glue_pyspark amazon/aws-glue-libs:glue_libs_4.0.0_image_01 pyspark
...
 ____ __
 / __/__ ___ _____/ /__
 _\ \/ _ \/ _ `/ __/ '_/
 /__ / .__/\_,_/_/ /_/\_\  version 3.1.1-amzn-0
 /_/

Using Python version 3.7.10 (default, Jun 3 2021 00:02:01)
Spark context Web UI available at http://56e99d000c99:4040
Spark context available as 'sc' (master = local[*], app id = local-1643011860812).
SparkSession available as 'spark'.
>>> 

Pytest

對於單元測試，您可以使用 pytest 進行 Glue Spark AWS 任務指令碼。

執行下列命令以完成前置作業。

$ WORKSPACE_LOCATION=/local_path_to_workspace
$ SCRIPT_FILE_NAME=sample.py
$ UNIT_TEST_FILE_NAME=test_sample.py
$ mkdir -p ${WORKSPACE_LOCATION}/tests
$ vim ${WORKSPACE_LOCATION}/tests/${UNIT_TEST_FILE_NAME}

執行下列命令可在測試套件上執行 pytest：

$ docker run -it -v ~/.aws:/home/glue_user/.aws -v $WORKSPACE_LOCATION:/home/glue_user/workspace/ -e AWS_PROFILE=$PROFILE_NAME -e DISABLE_SSL=true --rm -p 4040:4040 -p 18080:18080 --name glue_pytest amazon/aws-glue-libs:glue_libs_4.0.0_image_01 -c "python3 -m pytest"
starting org.apache.spark.deploy.history.HistoryServer, logging to /home/glue_user/spark/logs/spark-glue_user-org.apache.spark.deploy.history.HistoryServer-1-5168f209bd78.out
*============================================================= test session starts =============================================================
*platform linux -- Python 3.7.10, pytest-6.2.3, py-1.11.0, pluggy-0.13.1
rootdir: /home/glue_user/workspace
plugins: anyio-3.4.0
*collected 1 item  *

tests/test_sample.py . [100%]

============================================================== warnings summary ===============================================================
tests/test_sample.py::test_counts
 /home/glue_user/spark/python/pyspark/sql/context.py:79: DeprecationWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead.
 DeprecationWarning)

-- Docs: https://docs.pytest.org/en/stable/warnings.html
======================================================== 1 passed, *1 warning* in 21.07s ========================================================

Jupyter Lab

您可在筆記本上啟動 Jupyter 以進行互動式開發和臨機操作查詢。

將容器設為使用 Visual Studio Code

事前準備：

步驟：

附錄：用於測試的 AWS Glue 任務範例程式碼

此附錄提供指令碼做為 Glue AWS 任務範例程式碼以供測試之用。

sample.py：//：範例程式碼，搭配 Amazon S3 API 呼叫使用 AWS Glue ETL 程式庫

import sys
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from awsglue.utils import getResolvedOptions


class GluePythonSampleTest:
    def __init__(self):
        params = []
        if '--JOB_NAME' in sys.argv:
            params.append('JOB_NAME')
        args = getResolvedOptions(sys.argv, params)

        self.context = GlueContext(SparkContext.getOrCreate())
        self.job = Job(self.context)

        if 'JOB_NAME' in args:
            jobname = args['JOB_NAME']
        else:
            jobname = "test"
        self.job.init(jobname, args)

    def run(self):
        dyf = read_json(self.context, "s3://awsglue-datasets/examples/us-legislators/all/persons.json")
        dyf.printSchema()

        self.job.commit()


def read_json(glue_context, path):
    dynamicframe = glue_context.create_dynamic_frame.from_options(
        connection_type='s3',
        connection_options={
            'paths': [path],
            'recurse': True
        },
        format='json'
    )
    return dynamicframe


if __name__ == '__main__':
    GluePythonSampleTest().run()

上述程式碼需要 IAM 中的 Amazon S3 AWS 許可。您需授予 IAM 受管政策 arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess 或 IAM 自訂政策，才能調用 ListBucket 和 GetObject 作為 Amazon S3 路徑。

test_sample.py：sample.py 單位測試用的範本程式碼。

import pytest
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from awsglue.utils import getResolvedOptions
import sys
from src import sample


@pytest.fixture(scope="module", autouse=True)
def glue_context():
    sys.argv.append('--JOB_NAME')
    sys.argv.append('test_count')

    args = getResolvedOptions(sys.argv, ['JOB_NAME'])
    context = GlueContext(SparkContext.getOrCreate())
    job = Job(context)
    job.init(args['JOB_NAME'], args)

    yield(context)

    job.commit()


def test_counts(glue_context):
    dyf = sample.read_json(glue_context, "s3://awsglue-datasets/examples/us-legislators/all/persons.json")
    assert dyf.toDF().count() == 1961

使用 Glue ETL AWS 程式庫進行開發

Glue ETL AWS 程式庫可在公有 Amazon S3 儲存貯體中使用，且可供 Apache Maven 建置系統使用。如此一來，您就能在本機開發及測試 Python 和 Scala 擷取、傳輸和載入 (ETL) 指令碼，而無需連線至網路。建議使用 Docker 映像檔進行本地開發，因為它提供了正確設定的環境以使用此程式庫。

本機開發適用於所有 AWS Glue 版本，包括 AWS Glue 0.9、1.0、2.0 版及更新版本。如需 Glue 提供的 Python 和 Apache Spark AWS 版本的相關資訊，請參閱 Glue version job property。

該程式庫會隨 Amazon 軟體授權 (https://aws.amazon.com/asl) 一併發行。

本機開發限制

使用 AWS Glue Scala 程式庫進行本機開發時，請記住下列限制。

在本機開發 Python

完成一些先決條件步驟，然後使用 AWS Glue 公用程式來測試和提交 Python ETL 指令碼。

在本機開發 Python 的事前準備

請完成下列步驟以準備在本機開發 Python：

執行 Python ETL 指令碼

透過可用於本機開發的 AWS Glue jar 檔案，您可以在本機執行 AWS Glue Python 套件。

請使用下列公用程式和架構來測試 Python 指令碼，並予以執行。下表所列的命令皆需從 AWS Glue Python 套件的根目錄執行。

在本機開發 Scala

您需要先完成一些事前準備步驟，然後發出 Maven 命令，才能在本機執行 Scala ETL 指令碼。

在本機開發 Scala 的事前準備

請完成下列步驟以準備在本機開發 Scala：

步驟 1：安裝軟體

在此步驟中，您需要安裝軟體並設定必要的環境變數。

步驟 2：設定 Maven 專案

您可使用以下 pom.xml 檔案做為 AWS Glue Scala 應用程式的範本。它包含必要的 dependencies、repositories 和 plugins 元素。以下列其中一項取代 Glue version 字串：

  <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.amazonaws</groupId>
    <artifactId>AWSGlueApp</artifactId>
    <version>1.0-SNAPSHOT</version>
    <name>${project.artifactId}</name>
    <description>AWS ETL application</description>

        <properties>
            <scala.version>2.11.1 for AWS Glue 2.0 or below, 2.12.7 for AWS Glue 3.0 and 4.0</scala.version>
            <glue.version>Glue version with three numbers (as mentioned earlier)</glue.version>
        </properties>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
			<!-- A "provided" dependency, this will be ignored when you package your application -->
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>AWSGlueETL</artifactId>
			<version>${glue.version}</version>
            <!-- A "provided" dependency, this will be ignored when you package your application -->
            <scope>provided</scope>
        </dependency>
    </dependencies>

    <repositories>
        <repository>
            <id>aws-glue-etl-artifacts</id>
            <url>https://aws-glue-etl-artifacts.s3.amazonaws.com/release/</url>
        </repository>
    </repositories>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <plugins>
            <plugin>
                <!-- see http://davidb.github.com/scala-maven-plugin -->
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.4.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>exec-maven-plugin</artifactId>
                <version>1.6.0</version>
                <executions>
                    <execution>
                        <goals>
                        <goal>java</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                <systemProperties>
                    <systemProperty>
                        <key>spark.master</key>
                        <value>local[*]</value>
                    </systemProperty>
                    <systemProperty>
                        <key>spark.app.name</key>
                        <value>localrun</value>
                    </systemProperty>
                    <systemProperty>
                        <key>org.xerial.snappy.lib.name</key>
                        <value>libsnappyjava.jnilib</value>
                    </systemProperty>
                </systemProperties>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-enforcer-plugin</artifactId>
                <version>3.0.0-M2</version>
                <executions>
                    <execution>
                        <id>enforce-maven</id>
                        <goals>
                            <goal>enforce</goal>
                        </goals>
                        <configuration>
                            <rules>
                                <requireMavenVersion>
                                    <version>3.5.3</version>
                                </requireMavenVersion>
                            </rules>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
			<!-- The shade plugin will be helpful in building a uberjar or fatjar.
			You can use this jar in the AWS Glue runtime environment. For more information, see https://maven.apache.org/plugins/maven-shade-plugin/ -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.2.4</version>
                <configuration>
                    <!-- any other shade configurations -->
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

執行 Scala ETL 指令碼

請從 Maven 專案的根目錄執行以下命令，藉此執行 Scala ETL 指令碼。

mvn exec:java -Dexec.mainClass="mainClass" -Dexec.args="--JOB-NAME jobName"

使用該指令碼主要類別的完全合格類別名稱來取代 mainClass，並將 jobName 替換成所需任務名稱。

設定測試環境

如需設定本機測試環境的範例，請參閱下列部落格文章：

如果您想要使用開發端點或筆記本來測試 ETL 指令碼，請參閱使用開發端點來開發指令碼。