Spark プロパティを使用してカスタム設定を指定する - Amazon Athena
Athena コンソールの使用AWS CLI または Athena API の使用

Spark プロパティを使用してカスタム設定を指定する

Amazon Athena for Apache Spark でセッションを作成または編集する場合、[Spark プロパティ] を使用してセッションの .jar ファイル、パッケージ、またはその他のカスタム設定を指定できます。Spark のプロパティを指定するには、Athena コンソール、AWS CLI、または Athena API を使用できます。

Athena コンソールを使用して Spark プロパティを指定する

Athena コンソールでは、ノートブックの作成時や現在のセッションの編集時に Spark プロパティを指定できます。

[ノートブックの作成] または [セッションの詳細の編集] ダイアログボックスにプロパティを追加する方法

  1. [Spark のプロパティ] を拡張します。

  2. プロパティを追加するには、[テーブルで編集] または [JSON で編集] オプションを使用します。

    • [テーブルで編集] オプションを使用する場合は、[プロパティを追加] を選択してプロパティを追加するか、[削除] を選択してプロパティを削除します。[キー] ボックスと [値] ボックスを使用して、プロパティ名とその値を入力します。

      • カスタム .jar ファイルを追加するには、spark.jars プロパティを使用します。

      • パッケージファイルを指定するには、spark.jars.packages プロパティを使用します。

    • 設定を直接入力して編集するには、[JSON で編集] オプションを選択します。JSON テキストエディタでは、次のタスクを実行できます。

      • JSON テキストをクリップボードにコピーするには、[コピー] を選択します。

      • JSON エディタからすべてのテキストを削除するには、[クリア] を選択します。

      • 設定 (歯車) アイコンを選択して行折り返しの動作を設定するか、JSON エディタのカラーテーマを選択します。

メモ

  • Athena for Spark でプロパティを設定できます。これは [SparkConf] オブジェクトで [Spark properties] を直接設定する場合と同じです。

  • spark. プレフィックスが付いたすべての Spark プロパティを開始します。他のプレフィックスが付いたプロパティは無視されます。

  • Athena のカスタム設定では、すべての Spark プロパティを利用できるわけではありません。設定が制限されている StartSession リクエストを送信すると、セッションは開始時に失敗します。

    • spark.athena. プレフィックスは予約されているため使用できません。

AWS CLI または Athena API を使用してカスタム設定を指定する

AWS CLI または Athena API を使用してセッション設定を指定するには、StartSession API アクションまたは start-session CLI コマンドを使用します。StartSession リクエストでは、EngineConfiguration オブジェクトの SparkProperties フィールドを使用して設定情報を JSON 形式で渡します。これにより、指定した設定でセッションが開始されます。リクエストの構文については、「Amazon Athena API リファレンス」の「StartSession」を参照してください。