Amazon で Apache Spark を使用する SageMaker - Amazon SageMaker
Apache Spark アプリケーションを と統合する SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon で Apache Spark を使用する SageMaker

Amazon SageMaker Spark は、 を使用して Spark 機械学習 (ML) パイプラインを構築するのに役立つオープンソースの Spark ライブラリです SageMaker。これにより、Spark ML ステージと SageMakerモデルトレーニングやホスティングなどのステージの統合が簡素化されます。 SageMaker Spark の詳細については、Spark SageMaker GitHubリポジトリを参照してください。

SageMaker Spark ライブラリは Python と Scala で利用できます。 SageMaker Spark を使用して、Spark クラスター内のorg.apache.spark.sql.DataFrameデータフレーム SageMaker を使用して でモデルをトレーニングできます。モデルトレーニングの後、ホスティングサービスを使用してモデルを SageMaker ホストすることもできます。

SageMaker Spark ライブラリ com.amazonaws.services.sagemaker.sparksdkには、特に以下のクラスが用意されています。

  • SageMakerEstimator - org.apache.spark.ml.Estimator インターフェイスを拡張します。この推定器は、 でのモデルトレーニングに使用できます SageMaker。

  • KMeansSageMakerEstimator、PCASageMakerEstimator、XGBoostSageMakerEstimator - SageMakerEstimator クラスを拡張します。

  • SageMakerModel - org.apache.spark.ml.Model クラスを拡張します。これは、 でのモデルホスティングと推論の取得SageMakerModelに使用できます SageMaker。

Python Spark (PySpark) ライブラリと Scala ライブラリの両方のソースコードを SageMaker Spark GitHub リポジトリからダウンロードできます。

SageMaker Spark ライブラリのインストールと例については、SageMaker Spark for Scala の例「」または「」を参照してくださいSageMaker Spark for Python (PySpark) の例。

EMR で Amazon を使用して Spark クラスター AWS を管理する場合は、「Apache Spark」を参照してください。EMR での Amazon の使用の詳細については SageMaker、「」を参照してくださいAmazon を使用してデータを準備する EMR。

トピック

Apache Spark アプリケーションを と統合する SageMaker

Apache Spark アプリケーションを と統合する手順の概要を次に示します SageMaker。

  1. 使い慣れている Apache Spark ライブラリを使用してデータの事前処理を続行します。データセットは Spark クラスター内で DataFrame のまま残ります。データを にロードしますDataFrame。を org.apache.spark.ml.linalg.Vectorとするfeatures列とDoubles、 Double型の値を持つオプションのlabel列を持つように前処理します。

  2. SageMaker Spark ライブラリの推定器を使用してモデルをトレーニングします。例えば、モデルトレーニング SageMaker 用に が提供する k-means アルゴリズムを選択した場合は、 KMeansSageMakerEstimator.fitメソッドを呼び出します。

    DataFrame を入力として指定します。推定器は SageMakerModel オブジェクトを返します。

    注記

    SageMakerModel は org.apache.spark.ml.Model を拡張します。

    fit メソッドは、次のような処理を実行します。

    1. 入力を protobuf 形式に変換DataFrameします。これは、入力 から features列と label列を選択することによって行われますDataFrame。次に、protobuf データを Amazon S3 バケットにアップロードします。protobuf 形式は、 でのモデルトレーニングに効率的です SageMaker。

    2. リクエストを送信 SageMaker して、 SageMaker CreateTrainingJob でモデルトレーニングを開始します。モデルトレーニングが完了すると、 はモデルアーティファクトを S3 バケットに SageMaker 保存します。

      SageMaker は、モデルトレーニング用に指定したIAMロールを引き受け、ユーザーに代わってタスクを実行します。例えば、このロールを使用して、S3 バケットからトレーニングデータを読み取り、モデルアーティファクトをバケットに書き込みます。

    3. SageMakerModel オブジェクトを作成して返します。コンストラクターは、モデルの へのデプロイに関連する次のタスクを実行します SageMaker。

      1. CreateModel リクエストを に送信します SageMaker。

      2. SageMaker に CreateEndpointConfig リクエストを送信します。

      3. CreateEndpoint リクエストを に送信し SageMaker、 は指定されたリソースを起動し、そのリソースでモデルをホストします。

  3. でホストされているモデルから SageMaker を使用して推論を取得できますSageMakerModel.transform。

    特徴が指定された入力 DataFrame を入力として指定します。transform メソッドがそれを推論が含まれる DataFrame メソッドに変換します。内部的には、 transformメソッドは に推論を取得InvokeEndpoint SageMaker APIするためのリクエストを送信します。この transform メソッドは、推論を入力 DataFrame に追加します。