本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

疑難排解 Spark 中 AWS Glue 的錯誤

如果在中遇到錯誤 AWS Glue，請使用下列解決方案來協助您尋找問題的來源並加以修正。

錯誤：資源無法使用

如果 AWS Glue 傳回無法使用資源的訊息，您可以檢視錯誤訊息或記錄檔，以協助您進一步瞭解問題。以下任務說明一般的故障診斷方法。

錯誤：無法在 VPC 中找到 subnetId 的 S3 端點或 NAT 閘道

檢查訊息中的子網路 ID 和 VPC ID，以協助診斷問題。

錯誤：安全群組需有傳入規則

必須至少有一個安全群組開啟所有傳入連接埠。若要限制流量，傳入規則中的來源安全群組可以限制為相同的安全群組。

錯誤：安全群組需有傳出規則

必須至少有一個安全群組開啟所有傳出連接埠。若要限制流量，傳出規則中的來源安全群組可以限制為相同的安全群組。

錯誤：Job 執行失敗，因為應將傳遞的角色指定為 AWS Glue 服務的角色權限

定義任務的使用者需擁有 AWS Glue的 iam:PassRole 許可。

錯誤： DescribeVpcEndpoints 動作未經授權。無法驗證虛擬私人雲端識別碼 vpc-id

錯誤： DescribeRouteTables 動作未授權。無法驗證子網路識別碼：VPC ID 中的子網路識別碼：vpc-id

錯誤：無法調用 ec2：DescribeSubnets

錯誤：無法調用 ec2：DescribeSecurityGroups

錯誤：找不到可用區域的子網路

錯誤：寫入到 JDBC 目標時發生任務執行例外

執行寫入到 JDBC 目標的任務時，任務在下列情況下可能發生錯誤：

錯誤：Amazon S3：該操作對象的存儲類無效

如果 AWS Glue 傳回此錯誤，則您的 AWS Glue 任務可能已從跨 Amazon S3 儲存類別層級具有分割區的表格讀取資料。

錯誤：Amazon S3 逾時

如果 AWS Glue 傳回連線逾時錯誤，可能是因為它嘗試存取另一個 AWS 區域中的 Amazon S3 儲存貯體。

錯誤：Amazon S3 存取遭拒

如果 AWS Glue 傳回 Amazon S3 儲存貯體或物件的存取遭拒錯誤，可能是因為提供的 IAM 角色沒有具有資料存放區許可的政策。

錯誤：Amazon S3 存取金鑰 ID 不存在

如果在運行作業時 AWS Glue 返回訪問密鑰 ID 不存在錯誤，則可能是由於以下原因之一：

錯誤：使用 s3a:// URI 存取 Amazon S3 時發生任務執行失敗

如果任務執行傳回錯誤 (像是無法使用處理常式類別剖析 XML 文件)，可能是因為使用 s3a:// URI 嘗試列出數百個檔案時發生失敗。使用 s3:// URI 存取資料存放區。以下例外狀況的追蹤會反白錯誤以尋找：

1.	com.amazonaws.SdkClientException: Failed to parse XML document with handler class com.amazonaws.services.s3.model.transform.XmlResponsesSaxParser$ListBucketHandler
2.	at com.amazonaws.services.s3.model.transform.XmlResponsesSaxParser.parseXmlInputStream(XmlResponsesSaxParser.java:161)
3.	at com.amazonaws.services.s3.model.transform.XmlResponsesSaxParser.parseListBucketObjectsResponse(XmlResponsesSaxParser.java:317)
4.	at com.amazonaws.services.s3.model.transform.Unmarshallers$ListObjectsUnmarshaller.unmarshall(Unmarshallers.java:70)
5.	at com.amazonaws.services.s3.model.transform.Unmarshallers$ListObjectsUnmarshaller.unmarshall(Unmarshallers.java:59)
6.	at com.amazonaws.services.s3.internal.S3XmlResponseHandler.handle(S3XmlResponseHandler.java:62)
7.	at com.amazonaws.services.s3.internal.S3XmlResponseHandler.handle(S3XmlResponseHandler.java:31)
8.	at com.amazonaws.http.response.AwsResponseHandlerAdapter.handle(AwsResponseHandlerAdapter.java:70)
9.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.handleResponse(AmazonHttpClient.java:1554)
10.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeOneRequest(AmazonHttpClient.java:1272)
11.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeHelper(AmazonHttpClient.java:1056)
12.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.doExecute(AmazonHttpClient.java:743)
13.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeWithTimer(AmazonHttpClient.java:717)
14.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.execute(AmazonHttpClient.java:699)
15.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.access$500(AmazonHttpClient.java:667)
16.	at com.amazonaws.http.AmazonHttpClient$RequestExecutionBuilderImpl.execute(AmazonHttpClient.java:649)
17.	at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:513)
18.	at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4325)
19.	at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4272)
20.	at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4266)
21.	at com.amazonaws.services.s3.AmazonS3Client.listObjects(AmazonS3Client.java:834)
22.	at org.apache.hadoop.fs.s3a.S3AFileSystem.getFileStatus(S3AFileSystem.java:971)
23.	at org.apache.hadoop.fs.s3a.S3AFileSystem.deleteUnnecessaryFakeDirectories(S3AFileSystem.java:1155)
24.	at org.apache.hadoop.fs.s3a.S3AFileSystem.finishedWrite(S3AFileSystem.java:1144)
25.	at org.apache.hadoop.fs.s3a.S3AOutputStream.close(S3AOutputStream.java:142)
26.	at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:74)
27.	at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:108)
28.	at org.apache.parquet.hadoop.ParquetFileWriter.end(ParquetFileWriter.java:467)
29.	at org.apache.parquet.hadoop.InternalParquetRecordWriter.close(InternalParquetRecordWriter.java:117)
30.	at org.apache.parquet.hadoop.ParquetRecordWriter.close(ParquetRecordWriter.java:112)
31.	at org.apache.spark.sql.execution.datasources.parquet.ParquetOutputWriter.close(ParquetOutputWriter.scala:44)
32.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$SingleDirectoryWriteTask.releaseResources(FileFormatWriter.scala:252)
33.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:191)
34.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:188)
35.	at org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1341)
36.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:193)
37.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$3.apply(FileFormatWriter.scala:129)
38.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$3.apply(FileFormatWriter.scala:128)
39.	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
40.	at org.apache.spark.scheduler.Task.run(Task.scala:99)
41.	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282)
42.	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
43.	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
44.	at java.lang.Thread.run(Thread.java:748)

錯誤：Amazon S3 服務符記已過期

在移動 Amazon Redshift 的資料時，所使用的臨時 Amazon S3 憑證將於 1 小時之後過期。如果您有長時間執行的任務，則可能會失敗。如需如何設定長時間執行任務以便移動 Amazon Redshift 資料的詳細資訊，請參閱aws-glue-programming-etl-connect-redshift-home。

錯誤：找不到適用於網路介面的私有 DNS

如果任務失敗或開發端點無法佈建，可能是因為網路設定有問題。

錯誤：開發端點佈建失敗

如果 AWS Glue 無法成功佈建開發端點，可能是因為網路設定中的問題。

錯誤：筆記本伺服器 CREATE_FAILED

如果 AWS Glue 無法為開發端點建立筆記本伺服器，可能是因為下列其中一個問題：

錯誤：本機筆記本無法啟動

如果您的本機筆記本無法啟動且回報找不到目錄或資料夾的錯誤，可能是因為下列其中一個問題：

錯誤：爬蟲程式執行失敗

如果 AWS Glue 無法順利執行爬行者程式來編目您的資料，可能是因為下列其中一個原因。先檢查看看 AWS Glue 主控台爬蟲程式清單中是否出現錯誤。查看爬蟲程式名稱旁是否有驚嘆號 圖示，並將滑鼠移到圖示上方，查看任何相關的訊息。

錯誤：未更新分割區

如果您執行 ETL 工作時，資料目錄中的磁碟分割並未更新， CloudWatch 記錄檔中DataSink類別的這些記錄陳述式可能會有所幫助：

如需有關更新分割區的詳細資訊，請參閱 使用 AWS Glue ETL 工作更新結構描述，並在「資料目錄」中新增分割區。

錯誤：由於版本不相符，任務書籤更新失敗

您可能正在嘗試參數化任 AWS Glue 務，以便在 Amazon S3 的不同資料集上套用相同的轉換/邏輯。您希望在提供的位置上追蹤已處理的檔案。當您在同一個來源儲存貯體上執行同一個任務並同時寫入相同/不同的目的地 (並行數 > 1) 時，任務會失敗並出現以下錯誤：

py4j.protocol.Py4JJavaError: An error occurred while callingz:com.amazonaws.services.glue.util.Job.commit.:com.amazonaws.services.gluejobexecutor.model.VersionMismatchException: Continuation update failed due to version mismatch. Expected version 2 but found version 3

解決方案：將並行設定為 1 或不並行執行任務。

目前 AWS Glue 書籤不支援並行工作執行，且提交將會失敗。

錯誤：當任務書籤啟用時，任務會重新處理資料

在某些情況下，您可能已啟用 AWS Glue 工作書籤，但 ETL 工作正在重新處理先前執行中已處理的資料。請檢查此錯誤的常見原因：

最大並行數量

將工作的同時執行數目上限設定為大於預設值 1 可能會干擾工作書籤。當工作書籤檢查物件的上次修改時間以確認需要重新處理哪些物件時，就會發生這種情況。如需詳細資訊，請參閱設定 Spark 工作的工作屬性 AWS Glue中針對最大並行數量的說明。

找不到任務物件

確認您的任務執行指令碼結尾是否為下列遞交：

job.commit()

當您包含此物件時，會 AWS Glue 記錄工作執行的時間戳記和路徑。如果您使用相同的路徑再次執行工作，則只會 AWS Glue 處理新檔案。如果您未包含此物件並啟用任務書籤，任務就會重新處理已處理過的檔案與新的檔案，並在任務的目標資料存放區中建立冗餘項目。

缺少轉換內容參數

轉換細節是 GlueContext 類別中的選擇性參數，但如果您未包含此參數，任務書籤就無法運作。若要解決此錯誤，請在建立時新增轉換前後關聯參數 DynamicFrame，如下所示：

sample_dynF=create_dynamic_frame_from_catalog(database, table_name,transformation_ctx="sample_dynF") 

輸入來源

如果您使用關聯式資料庫 (JDBC 連線) 做為輸入來源，則只有在資料表的主索引鍵為循序排列時任務書籤才能運作。任務書籤適用於新的資料列，但對更新的資料列無效。這是因為任務書籤會尋找主索引鍵，而主索引鍵已存在。如果您的輸入來源是 Amazon Simple Storage Service (Amazon S3)，則此選項不適用。

上次修改時間

若是 Amazon S3 輸入來源，任務書籤會檢查物件的上次修改時間而不是檔案名稱，以確認哪些物件需要重新處理。如果自上次任務執行之後已修改您的輸入來源資料，則在您重新執行任務時重新處理檔案。

錯誤：中 VPC 之間的容錯移轉行為 AWS Glue

以下過程用於 AWS Glue 4.0 和以前版本中的作業的故障轉移。

摘要：送出工作執行時會選取 AWS Glue 連線。如果任務執行時遇到一些問題 (缺少 IP 地址、連線至來源、路由問題)，任務執行將會失敗。如果已設定重試，則 AWS Glue 會以相同的連線重試。