本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

透過 Apache Livy 端點使用 EMR Serverless 執行互動式工作負載

使用 Amazon 6.14.0 版和更新EMR版本，您可以在建立無EMR伺服器應用程式時建立和啟用 Apache Livy 端點，並透過自我託管筆記本或使用自訂用戶端執行互動式工作負載。Apache Livy 端點提供下列優點：

必要條件

若要搭配 EMR Serverless 使用 Apache Livy 端點，您必須滿足下列需求：

所需的許可

除了存取 EMR Serverless 所需的許可之外，您還必須將下列許可新增至您的IAM角色，以存取 Apache Livy 端點並執行應用程式：

{
    "Version": "2012-10-17",
    "Statement": [{
            "Sid": "EMRServerlessInteractiveAccess",
            "Effect": "Allow",
            "Action": "emr-serverless:AccessLivyEndpoints",
            "Resource": "arn:aws:emr-serverless:<AWS_REGION>:account:/applications/*"
        },
        {
            "Sid": "EMRServerlessRuntimeRoleAccess",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "execution-role-ARN",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "emr-serverless.amazonaws.com"
                }
            }
        },
        {
            "Sid": "EMRServerlessDashboardAccess",
            "Effect": "Allow",
            "Action": "emr-serverless:GetDashboardForJobRun",
            "Resource": "arn:aws:emr-serverless:<AWS_REGION>:account:/applications/*"
        }
    ]
}

開始使用

若要建立啟用 Apache Livy 的應用程式並執行它，請依照下列步驟執行。

一旦端點準備就緒，您就可以根據您的使用案例提交工作負載。您必須使用SIGv4通訊協定簽署每個對端點的請求，並傳入授權標頭。您可以使用下列方法來執行工作負載：

HTTP 用戶端

若要建立 Apache Livy 工作階段，您必須在請求內文的 conf 參數emr-serverless.session.executionRoleArn中提交 。下列範例是範例POST /sessions請求。

{    
    "kind": "pyspark",
    "heartbeatTimeoutInSecond": 60, 
    "conf": {
        "emr-serverless.session.executionRoleArn": "<executionRoleArn>"
    }
}

下表說明所有可用的 Apache Livy API操作。

將請求傳送至 Apache Livy 端點

您也可以從HTTP用戶端將請求直接傳送至 Apache Livy 端點。這樣做可讓您遠端執行筆記本外使用案例的程式碼。

在您可以開始傳送請求到端點之前，請確定您已安裝下列程式庫：

pip3 install botocore awscrt requests

以下是直接將HTTP請求傳送至端點的範例 Python 指令碼：

from botocore import crt
import requests 
from botocore.awsrequest import AWSRequest
from botocore.credentials import Credentials
import botocore.session
import json, pprint, textwrap

endpoint = 'https://<application_id>.livy.emr-serverless-services-<AWS_REGION>.amazonaws.com'
headers = {'Content-Type': 'application/json'}

session = botocore.session.Session()
signer = crt.auth.CrtS3SigV4Auth(session.get_credentials(), 'emr-serverless', '<AWS_REGION>')


### Create session request

data = {'kind': 'pyspark', 'heartbeatTimeoutInSecond': 60, 'conf': { 'emr-serverless.session.executionRoleArn': 'arn:aws:iam::123456789012:role/role1'}}

request = AWSRequest(method='POST', url=endpoint + "/sessions", data=json.dumps(data), headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r = requests.post(prepped.url, headers=prepped.headers, data=json.dumps(data))

pprint.pprint(r.json())


### List Sessions Request

request = AWSRequest(method='GET', url=endpoint + "/sessions", headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r2 = requests.get(prepped.url, headers=prepped.headers)
pprint.pprint(r2.json())


### Get session state

session_url = endpoint + r.headers['location']

request = AWSRequest(method='GET', url=session_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r3 = requests.get(prepped.url, headers=prepped.headers)

pprint.pprint(r3.json())


### Submit Statement

data = {
      'code': "1 + 1"
}

statements_url = endpoint + r.headers['location'] + "/statements"

request = AWSRequest(method='POST', url=statements_url, data=json.dumps(data), headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r4 = requests.post(prepped.url, headers=prepped.headers, data=json.dumps(data))

pprint.pprint(r4.json())

### Check statements results

specific_statement_url = endpoint + r4.headers['location']

request = AWSRequest(method='GET', url=specific_statement_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r5 = requests.get(prepped.url, headers=prepped.headers)

pprint.pprint(r5.json())


### Delete session


session_url = endpoint + r.headers['location']

request = AWSRequest(method='DELETE', url=session_url, headers=headers)

request.context["payload_signing_enabled"] = False

signer.add_auth(request)

prepped = request.prepare()

r6 = requests.delete(prepped.url, headers=prepped.headers)

pprint.pprint(r6.json())

Sparkmagic 核心

在安裝 Sparkmagic 之前，請確定您已在要安裝 Sparkmagic 的執行個體中設定 AWS 登入資料

在內部，每個指令會透過設定的 Apache Livy 端點 呼叫每個 Apache Livy API操作URL。然後，您可以根據使用案例撰寫指示。

考量事項

透過 Apache Livy 端點執行互動式工作負載時，請考慮以下因素。