本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
中的 Amazon Q 資料整合 AWS Glue 是 的新生成式 AI 功能 AWS Glue ,可讓資料工程師和 ETL 開發人員使用自然語言建置資料整合任務。工程師和開發人員可以要求 Amazon Q 撰寫任務、疑難排解問題,並回答有關 AWS Glue 和資料整合的問題。
什麼是 Amazon Q?
注意
採用 Amazon Bedrock: AWS 實作自動濫用偵測。由於 Amazon Q 資料整合是以 Amazon Bedrock 為基礎,因此使用者可以充分利用在 Amazon Bedrock 中實作的控制項,以強制執行人工智慧 (AI) 的安全性、安全性和負責任的使用。
Amazon Q 是生成式人工智慧 (AI) 支援的對話式助理,可協助您了解、建置、延伸和操作 AWS 應用程式。支援 Amazon Q 的模型已透過高品質 AWS 內容增強,讓您更完整、更可行且更參考的答案,以加速您的建置 AWS。如需詳細資訊,請參閱什麼是 Amazon Q?
AWS Glue中的 Amazon Q 資料整合是什麼?
中的 Amazon Q 資料整合 AWS Glue 包含下列功能:
聊天 – 中的 Amazon Q 資料整合 AWS Glue 可以英文回答有關 AWS Glue 和資料整合網域的自然語言問題,例如 AWS Glue 來源和目的地連接器、 AWS Glue ETL 任務、資料目錄 AWS Lake Formation、爬蟲程式和其他功能文件,以及最佳實務。中的 Amazon Q 資料整合會以step-by-step指示 AWS Glue 回應,並包含其資訊來源的參考。
資料整合程式碼產生 – 中的 Amazon Q 資料整合 AWS Glue 可以回答有關 AWS Glue ETL 指令碼的問題,並根據自然語言的英文問題產生新的程式碼。
故障診斷 – 中的 Amazon Q 資料整合 AWS Glue 旨在協助您了解 AWS Glue 任務中的錯誤,並提供step-by-step指示、根本原因和解決問題。
注意
中的 Amazon Q 資料整合 AWS Glue 不會使用您的對話內容,在對話期間通知未來的回應。與 中的 Amazon Q 資料整合的每次對話 AWS Glue 都與您先前或未來的對話無關。
是否使用 AWS Glue中的 Amazon Q 資料整合?
在 Amazon Q 面板中,您可以請求 Amazon Q 產生 AWS Glue ETL 指令碼的程式碼,或回答有關 AWS Glue 功能或故障診斷錯誤的問題。回應是 PySpark 中的 ETL 指令碼,其中包含step-by-step說明。系統會根據資料整合知識庫產生對問題的回應,其中包含摘要和來源 URL 以供參考。
例如,您可以要求 Amazon Q 「請提供從 Snowflake 讀取、重新命名欄位和寫入 Redshift 的 Glue 指令碼」,而 中的 Amazon Q 資料整合 AWS Glue 將傳回可執行所請求動作 AWS Glue 的任務指令碼。您可以檢閱產生的程式碼,確保其符合請求的意圖。如果滿意,您可以將它部署為生產中的 AWS Glue 任務。您可以要求整合解釋錯誤和失敗,並提出解決方案,藉此疑難排解作業。Amazon Q 可以回答有關 AWS Glue 或資料整合最佳實務的問題。

以下是示範 中的 Amazon Q 資料整合如何 AWS Glue 協助您建置的範例問題 AWS Glue:
AWS Glue ETL 程式碼產生:
撰寫從 S3 讀取 JSON 的 AWS Glue 指令碼,使用套用映射和寫入 Amazon Redshift 轉換欄位
如何撰寫從 DynamoDB 讀取的 AWS Glue 指令碼,套用 DropNullFields 轉換並寫入 S3 做為 Parquet?
提供從 MySQL 讀取的 AWS Glue 指令碼、根據我的商業邏輯捨棄一些欄位,以及寫入 Snowflake
撰寫要從 DynamoDB 讀取 AWS Glue 的任務,並以 JSON 形式寫入 S3
協助我開發 AWS Glue Data Catalog to S3 的 AWS Glue 指令碼
撰寫 AWS Glue 任務從 S3 讀取 JSON、捨棄 null 並寫入 Redshift
AWS Glue 功能說明:
如何使用 AWS Glue 資料品質?
如何使用 AWS Glue 任務書籤?
如何啟用 AWS Glue 自動擴展?
AWS Glue 動態影格和 Spark 資料影格之間的差異為何?
支援哪些不同類型的連線 AWS Glue?
AWS Glue 故障診斷:
如何對 AWS Glue 任務上的記憶體不足 (OOM) 錯誤進行故障診斷?
設定 AWS Glue Data Quality 時,您可能會看到哪些錯誤訊息,以及如何修正?
如何修正錯誤為 Amazon S3 存取遭拒 AWS Glue 的任務?
如何解決 AWS Glue 任務上資料隨機播放的問題?
與 Amazon Q 資料整合互動的最佳實務
以下是與 Amazon Q 資料整合互動的最佳實務:
與 Amazon Q 資料整合互動時,請提出特定問題、在您提出複雜請求時反覆運算,以及驗證答案的準確性。
以自然語言提供資料整合提示時,請盡可能具體,以協助助理確切了解您的需求。與其詢問「從 S3 擷取資料」,提供更多詳細資訊,例如「撰寫從 S3 擷取 JSON 檔案的 AWS Glue 指令碼」。
執行指令碼之前,請先檢閱產生的指令碼,以確保準確性。如果產生的指令碼發生錯誤或不符合您的意圖,請向助理提供如何修正的指示。
生成式 AI 技術是一種新穎的技術,在反應中可能會出現錯誤,有時也稱為幻覺。在您的環境或工作負載中使用之前,請先測試並檢閱所有程式碼是否有錯誤和漏洞。
AWS Glue 服務改善中的 Amazon Q 資料整合
為了協助 中的 Amazon Q 資料整合 AWS Glue 提供最相關的資訊 AWS ,我們可能會使用 Amazon Q 的特定內容,例如您向 Amazon Q 及其回應提出的問題,以改善服務。
如需有關我們使用哪些內容以及如何選擇退出的資訊,請參閱《Amazon Q 開發人員使用者指南》中的 Amazon Q 開發人員服務改進。
考量事項
使用 AWS Glue中的 Amazon Q 資料整合之前,請考慮下列項目:
目前,程式碼產生僅適用於 PySpark 核心。產生的程式碼適用於以 Python Spark 為基礎的 AWS Glue 任務。
如需 中 Amazon Q 資料整合的程式碼產生能力支援組合的詳細資訊 AWS Glue,請參閱 支援的程式碼產生功能。