選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

使用 Apache Spark 的 Amazon Redshift 整合,啟動 Spark 應用程式 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Apache Spark 的 Amazon Redshift 整合,啟動 Spark 應用程式

針對 Amazon EMR 6.4 至 6.9 版,您必須使用 --jars--packages 選項來指定要使用下列的哪些 JAR 檔案。--jars 選項指定儲存於本機、HDFS 或使用 HTTP/S 的相依性。若要了解 --jars 選項支援的其他檔案位置,請參閱 Spark 文件中的進階相依性管理--packages 選項指定儲存於公有 Maven 儲存庫的相依性。

  • spark-redshift.jar

  • spark-avro.jar

  • RedshiftJDBC.jar

  • minimal-json.jar

Amazon EMR 6.10.0 版及更高版本不需要 minimal-json.jar 相依性,並且依預設會向每個叢集自動安裝其他相依性。下列範例說明如何為 Apache Spark 啟動與 Amazon Redshift 整合的 Spark 應用程式。

Amazon EMR 6.10.0 +

以下範例說明如何在 Amazon EMR 6.10 版及更高版本中,使用 spark-redshift 連接器啟動 Spark 應用程式。

spark-submit my_script.py
Amazon EMR 6.4.0 - 6.9.x

若要在 Amazon EMR 6.4 版到 6.9 版上使用 spark-redshift 連接器啟動 Spark 應用程式,您必須使用 --jars--packages 選項,如以下範例所示。請注意,與 --jars 選項一起列出的路徑是 JAR 檔案的預設路徑。

spark-submit \ --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,/usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar \ my_script.py

以下範例說明如何在 Amazon EMR 6.10 版及更高版本中,使用 spark-redshift 連接器啟動 Spark 應用程式。

spark-submit my_script.py
隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。