翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# エクスポート
Data Wrangler フローでは、データ処理パイプラインに加えた変換の一部またはすべてをエクスポートできます。
Data Wrangler フローは、データに対して実行した一連のデータ準備手順です。データの準備では、データに対して 1 つ以上の変換を実行します。各変換は、変換ステップを使用して行われます。フローには、データのインポートと実行した変換を表す一連のノードがあります。例については、以下のイメージを参照してください。
![\[Data Wrangler コンソールのデータフロー例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/data-wrangler-destination-nodes-photo-0.png)
上の図は、2 つのノードを持つデータラングラーフローを示しています。**ソース – サンプリング**ノードはデータのインポート元のデータソースです。**データ型**ノードは、Data Wrangler がデータセットを使用可能な形式に変換するための変換を実行したことを示します。
Data Wrangler フローに追加する各変換は、追加のノードとして表示されます。追加できるその他の変換の詳細については、「[データを変換する](data-wrangler-transform.md)」を参照してください。次の図は、データセット内の列の名前を変更するための **Rename-column** ノードを持つ Data Wrangler フローを示しています。
データ変換を次にエクスポートできます。
+ Amazon S3
+ Pipelines
+ Amazon SageMaker Feature Store
+ Python コード
**重要**
Data Wrangler を使用するアクセス AWS 許可を付与するには、IAM `AmazonSageMakerFullAccess`管理ポリシーを使用することをお勧めします。管理ポリシーを使用しない場合は、Data Wrangler に Amazon S3 バケットへのアクセスを許可する IAM ポリシーを使用できます。管理ポリシーの詳細については、「[セキュリティと権限](data-wrangler-security.md)」を参照してください。
データフローをエクスポートすると、使用した AWS リソースに対して課金されます。コスト配分タグを使用して、これらのリソースのコストを整理および管理できます。ユーザープロファイル用にこれらのタグを作成すると、Data Wrangler はデータフローのエクスポートに使用されるリソースにタグを自動的に適用します。詳細については、「[コスト配分タグの使用](https://docs.aws.amazon.com//awsaccountbilling/latest/aboutv2/cost-alloc-tags.html)」を参照してください。
## Amazon S3 へのエクスポート
Data Wrangler を使用すると、Amazon S3 バケット内の場所にデータをエクスポートできます。次の方法のいずれかを使用して、場所を指定できます。
+ 宛先ノード – Data Wrangler がデータを処理した後にデータを保存する場所。
+ エクスポート先 – 変換の結果データを Amazon S3 にエクスポートします。
+ エクスポートデータ – 小さなデータセットの場合、変換したデータをすばやくエクスポートできます。
これらの各方法の詳細については、次のセクションを参照してください。
------
#### [ Destination Node ]
実行した一連のデータ処理ステップを Amazon S3 に出力する場合は、宛先ノードを作成します。宛先ノードは、処理後のデータの保存先を Data Wrangler に指示します。宛先ノードを作成したら、データを出力する処理ジョブを作成します。処理ジョブは Amazon SageMaker の処理ジョブです。宛先ノードを使用すると、変換したデータを Amazon S3 に出力するのに必要な計算リソースが実行されます。
宛先ノードを使用して、Data Wrangler フローで行った変換の一部またはすべてをエクスポートできます。
複数の宛先ノードを使用して、さまざまな変換または変換のセットをエクスポートできます。次の例は、1 つの Data Wrangler フロー内の 2 つの宛先ノードを示しています。
![\[Data Wrangler コンソールに 2 つの送信先ノードを表示するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/data-wrangler-destination-nodes-photo-4.png)
次の手順を使用して、宛先ノードを作成し、Amazon S3 バケットにエクスポートできます。
データフローをエクスポートするには、宛先ノードと、データをエクスポートするための Data Wrangler ジョブを作成します。Data Wrangler ジョブを作成すると、SageMaker 処理ジョブが開始され、フローがエクスポートされます。エクスポートする宛先ノードは、作成後に選択できます。
**注記**
Data Wrangler フローで **[ジョブを作成]** を選択すると、処理ジョブの使用手順が表示されます。
宛先ノードを作成するには、次の手順を実行します。
1. エクスポートする変換を表すノードの隣にある **[\$1]** を選択します。
1. **送信先の追加**を選択します。
![\[Data Wrangler コンソールで送信先を追加する方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/destination-nodes/destination-nodes-add-destination-0.png)
1. **[Amazon S3]** を選択します。
![\[Data Wrangler コンソールで送信先を追加する方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/destination-nodes/destination-nodes-add-destination-S3-selected.png)
1. 以下のフィールドを指定します。
+ **データセット名** – エクスポートするデータセットに指定する名前。
+ **ファイルタイプ** – エクスポートするファイルの形式。
+ **区切り文字** (CSV ファイルと Parquet ファイルのみ) – 他の値を区切るために使用される値。
+ **圧縮** (CSV ファイルと Parquet ファイルのみ) – ファイルサイズを小さくするために使用される圧縮方法。次の圧縮方法を使用できます。
+ bzip2
+ deflate
+ gzip
+ (オプション) **Amazon S3 の場所** – ファイルの出力に使用している S3 の場所。
+ (オプション) **パーティション数** – 処理ジョブの出力として書き込むデータセットの数。
+ (オプション) **列ごとのパーティション** – 同じ固有値を持つすべてのデータを列から書き込みます。
+ (オプション) **推論パラメータ** – **[推論アーティファクトを生成]** を選択すると、Data Wrangler フローで使用したすべての変換が、推論パイプラインに入力されるデータに適用されます。パイプライン内のモデルは、変換されたデータを予測します。
1. **送信先の追加**を選択します。
以下の手順に従って処理ジョブを作成を作成します。
**[データフロー]** ページからジョブを作成し、エクスポートする宛先ノードを選択します。
**注記**
Data Wrangler フローで **[ジョブを作成]** を選択すると、処理ジョブの使用手順が表示されます。
1. **[ジョブの作成]** を選択します。次の図は、**[ジョブを作成]** を選択した後に表示されるペインを示しています。
![\[Data Wrangler コンソールのデータフローの [ジョブを作成] ペインの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/destination-nodes/destination-nodes-create-job.png)
1. **[ジョブ名]** には、エクスポートジョブの名前を指定します。
1. エクスポートする宛先ノードを選択します。
1. (オプション) AWS KMS キー ARN を指定します。 AWS KMS キーは、データを保護するために使用できる暗号化キーです。 AWS KMS キーの詳細については、「」を参照してください[AWS Key Management Service](https://docs.aws.amazon.com//kms/latest/developerguide/overview.html)。
1. (オプション) 次の操作を行った場合は、**[トレーニング済みパラメータ]** の下で **[再適用]** を選択します。
+ データセットをサンプリングした
+ データを使用してデータセットに新しい列を作成する変換を適用した
データセット全体に対して行った変換を再適用する方法の詳細については、「[変換をデータセット全体に再適用してエクスポートする](#data-wrangler-data-export-fit-transform)」を参照してください。
**注記**
画像データの場合、Data Wrangler はすべての画像に対して行った変換をエクスポートします。変換を再適用しても、このユースケースには適用されません。
1. **[ジョブの設定]** を選択します。次の図は、**[ジョブの設定]** ページを示しています。
![\[Data Wrangler コンソールのデータフローの [ジョブの設定] ペインの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/destination-nodes/destination-nodes-configure-job.png)
1. (オプション) Data Wrangler ジョブを設定します。次の設定を行うことができます。
+ **ジョブ設定**
+ **Spark メモリ設定**
+ **ネットワーク構成**
+ **タグ**
+ **パラメータ**
+ **アソシエイトスケジュール**
1. **[Run]** (実行) を選択します。
------
#### [ Export to ]
宛先ノードを使用する代わりに、**[エクスポート先]** オプションを使用すると、Jupyter Notebook を使用して Data Wrangler フローを Amazon S3 にエクスポートできます。Data Wrangler フロー内の任意のデータノードを選択してエクスポートできます。データノードをエクスポートすると、ノードが表す変換とその前の変換がエクスポートされます。
次の手順を使用して Jupyter Notebook を生成し、それを実行して Data Wrangler フローを Amazon S3 にエクスポートします。
1. エクスポートするノードの横にある **[\$1]** を選択します。
1. **[エクスポート先]** を選択します。
1. **[Amazon S3 (Jupyter Notebook 経由)]** を選択します。
1. Jupyter Notebook を実行します。
![\[Data Wrangler コンソールで Data Wrangler フローをエクスポートする方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/data-wrangler-destination-nodes-photo-export-to.png)
ノートブックを実行すると、Data Wrangler フロー AWS リージョン と同じ にデータフロー (.flow ファイル) がエクスポートされます。
ノートブックには、処理ジョブと出力されるデータの設定に使用できるオプションが用意されています。
**重要**
データの出力を設定するためのジョブ設定が用意されています。パーティショニングとドライバーのメモリオプションについては、それらについての知識がない限り設定を指定しないことを強くお勧めします。
**[ジョブ設定]** で以下を設定できます。
+ `output_content_type` – 出力ファイルのコンテナタイプ。デフォルト形式として `CSV` を使用しますが、`Parquet` を指定することもできます。
+ `delimiter` – CSV ファイルへの書き込み時にデータセット内の値を区切るために使用される文字。
+ `compression` – 設定されている場合、出力ファイルを圧縮します。デフォルトの圧縮形式として gzip を使用します。
+ `num_partitions` – Data Wrangler が出力として書き込むパーティションまたはファイルの数。
+ `partition_by` – 出力の分割に使用する列の名前。
出力ファイル形式を CSV から Parquet に変更するには、値を `"CSV"` から `"Parquet"` に変更します。上記の残りのフィールドについては、指定するフィールドを含む行のコメントを解除します。
**[(オプション) Spark クラスタードライバーメモリーの設定]** では、`config` ディクショナリ内の Spark ドライバーメモリなど、ジョブの Spark プロパティを設定できます。
以下は `config` ディクショナリを示しています。
```
config = json.dumps({
"Classification": "spark-defaults",
"Properties": {
"spark.driver.memory": f"{driver_memory_in_mb}m",
}
})
```
設定を処理ジョブに適用するには、以下の行のコメントを解除します。
```
# data_sources.append(ProcessingInput(
# source=config_s3_uri,
# destination="/opt/ml/processing/input/conf",
# input_name="spark-config",
# s3_data_type="S3Prefix",
# s3_input_mode="File",
# s3_data_distribution_type="FullyReplicated"
# ))
```
------
#### [ Export data ]
小規模なデータセットに変換を迅速にエクスポートする場合は、**エクスポートデータ**メソッドを使用できます。**[エクスポートデータ]** の選択を開始すると、Data Wrangler は同期的に動作して、変換したデータを Amazon S3 にエクスポートします。データのエクスポートが完了するか、オペレーションをキャンセルするまで、Data Wrangler を使用することはできません。
Data Wrangler フローで**エクスポートデータ**メソッドを使用する方法については、次の手順を参照してください。
**エクスポートデータ**メソッド使用するには。
1. Data Wrangler フロー内のノードを (ダブルクリックして) 開いて選択します。
![\[Data Wrangler コンソールでデータをエクスポートする方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/export-s3.png)
1. データをエクスポートする方法を設定します。
1. **[エクスポートの開始]** を選択します。
------
データフローを Amazon S3 バケットにエクスポートすると、Data Wrangler はフローファイルのコピーを S3 バケットに保存します。フローファイルには data\$1wrangler\$1flows プレフィックスが使われます。デフォルトの Amazon S3 バケットを使用してフローファイルを保存する場合、`sagemaker-region-account number` という命名規則が使用されます。例えば、アカウント番号が「111122223333」で、Studio Classic を us-east-1 で 使用している場合、インポートしたデータセットは `sagemaker-us-east-1-111122223333` に保存されます。この例では、us-east-1 で作成された .flow ファイルは `s3://sagemaker-region-account number/data_wrangler_flows/` に保存されます。
## Pipelines にエクスポートする
大規模な機械学習 (ML) ワークフローを構築してデプロイする場合、Pipelines を使用して、SageMaker AI ジョブを管理およびデプロイするワークフローを作成できます。Pipelines を使用すると、SageMaker AI のデータ準備ジョブ、モデルトレーニングジョブ、モデルのデプロイジョブを管理するワークフローを構築できます。Pipelines を使用すると、SageMaker AI が提供するファーストパーティーアルゴリズムを利用できます。Pipelines の詳細については、「[SageMaker Pipelines](https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines.html)」を参照してください。
データフローから Pipelines に 1 つ以上のステップをエクスポートすると、Data Wrangler によって、パイプラインの定義、インスタンス化、実行、管理に使用できる Jupyter Notebook が作成されます。
### Jupyter Notebook を使用してパイプラインを作成する
以下の手順を使用して Jupyter Notebook を作成し、Data Wrangler フローを Pipelines にエクスポートします。
以下の手順で Jupyter Notebook を生成して実行し、Data Wrangler フローを Pipelines にエクスポートします。
1. エクスポートするノードの横にある **[\$1]** を選択します。
1. **[エクスポート先]** を選択します。
1. **[Pipelines (Jupyter Notebook 経由)]** を選択します。
1. Jupyter Notebook を実行します。
![\[Data Wrangler コンソールで Data Wrangler フローをエクスポートする方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/data-wrangler-destination-nodes-photo-export-to.png)
Data Wrangler が生成する Jupyter Notebook を使用して、パイプラインを定義できます。パイプラインには、Data Wrangler フローで定義されるデータ処理ステップが含まれています。
ノートブックの次のコードで `steps` リストにステップを追加すると、パイプラインにステップを追加できます。
```
pipeline = Pipeline(
name=pipeline_name,
parameters=[instance_type, instance_count],
steps=[step_process], #Add more steps to this list to run in your Pipeline
)
```
パイプラインの定義の詳細については、「[ SageMaker AI パイプラインを定義する](https://docs.aws.amazon.com/sagemaker/latest/dg/define-pipeline.html)」を参照してください。
## 推論エンドポイントへのエクスポート
Data Wrangler フローを使用して、Data Wrangler フローから SageMaker AI シリアル推論パイプラインを作成し、推論時にデータを処理します。推論パイプラインは、トレーニングを受けたモデルに新しいデータを予測させる一連のステップです。Data Wrangler 内のシリアル推論パイプラインが Raw データを変換し、機械学習モデルに提供して予測を行います。Studio Classic 内の Jupyter Notebook から推論パイプラインを作成、実行、管理します。ノートブックへのアクセスの詳細については、「[Jupyter Notebook を使用して推論エンドポイントを作成する](#data-wrangler-inference-notebook)」を参照してください。
ノートブック内では、機械学習モデルをトレーニングすることも、既にトレーニングしたモデルを指定することもできます。Amazon SageMaker Autopilot または XGBoost を使用して、Data Wrangler フローで変換したデータを使用してモデルをトレーニングできます。
パイプラインでは、バッチ推論またはリアルタイム推論のいずれかを実行できます。Data Wrangler フローを SageMaker モデルレジストリに追加することもできます。モデルのホスティングの詳細については、「[マルチモデルエンドポイント](multi-model-endpoints.md)」を参照してください。
**重要**
Data Wrangler フローに以下の変換がある場合、推論エンドポイントにエクスポートすることはできません。
結合
連結
グループ化
データを準備するために前述の変換を使用する必要がある場合は、次の手順を使用します。
Data Wrangler フローを作成します。
サポートされていない前述の変換を適用します。
データを Amazon S3 バケットにエクスポートします。
別の Data Wrangler フローを作成します。
前のフローからエクスポートしたデータをインポートします。
残りの変換を適用します。
当社が提供する Jupyter Notebook を使用してシリアル推論パイプラインを作成します。
データを Amazon S3 バケットにエクスポートする方法については、「[Amazon S3 へのエクスポート](#data-wrangler-data-export-s3)」を参照してください。シリアル推論パイプラインの作成に使用した Jupyter Notebook を開く方法については、「[Jupyter Notebook を使用して推論エンドポイントを作成する](#data-wrangler-inference-notebook)」を参照してください。
Data Wrangler は、推論時にデータを削除する変換を無視します。例えば、Data Wrangler は **[欠落をドロップ]** 設定を使用すると [欠落した値を処理する](data-wrangler-transform.md#data-wrangler-transform-handle-missing) 変換を無視します。
データセット全体に変換を再適用した場合、その変換は推論パイプラインに引き継がれます。例えば、中央値を使用して欠損値を代入した場合、変換を再適用した中央値が推論リクエストに適用されます。Jupyter Notebook を使用している場合、または推論パイプラインにデータをエクスポートしている場合、Data Wrangler フローから変換を再適用できます。変換の再適用の詳細については、「[変換をデータセット全体に再適用してエクスポートする](#data-wrangler-data-export-fit-transform)」を参照してください。
シリアル推論パイプラインは、入力文字列と出力文字列として次のデータ型をサポートします。各データ型には一連の要件があります。
**サポートされるデータ型**
+ `text/csv` – CSV 文字列のデータ型
+ 文字列にヘッダーを含めることはできません。
+ 推論パイプラインに使用される特徴量は、トレーニングデータセット内の特徴量と同じ順序でなければなりません。
+ 特徴量間にはカンマ区切り文字が必要です。
+ レコードは改行文字で区切る必要があります。
以下は、推論リクエストで入力できる有効な形式の CSV 文字列の例です。
```
abc,0.0,"Doe, John",12345\ndef,1.1,"Doe, Jane",67890
```
+ `application/json` – JSON 文字列のデータ型
+ 推論パイプラインのデータセットで使用される特徴量は、トレーニングデータセット内の特徴量と同じ順序でなければなりません。
+ データには特定のスキーマが必要です。スキーマは、一連の `features` を含む単一の `instances` オブジェクトとして定義します。各 `features` オブジェクトは観測値を表します。
以下は、推論リクエストで入力できる有効な形式の JSON 文字列の例です。
```
{
"instances": [
{
"features": ["abc", 0.0, "Doe, John", 12345]
},
{
"features": ["def", 1.1, "Doe, Jane", 67890]
}
]
}
```
### Jupyter Notebook を使用して推論エンドポイントを作成する
次の手順を使用して Data Wrangler フローをエクスポートし、推論パイプラインを作成します。
Jupyter Notebook を使用して推論パイプラインを作成するには、以下を実行します。
1. エクスポートするノードの横にある **[\$1]** を選択します。
1. **[エクスポート先]** を選択します。
1. **[SageMaker AI 推論パイプライン (Jupyter Notebook 経由)]** 選択します。
1. Jupyter Notebook を実行します。
Jupyter Notebook を実行すると、推論フローアーティファクトが作成されます。推論フローアーティファクトは、シリアル推論パイプラインの作成に使用されるメタデータが追加された Data Wrangler フローファイルです。エクスポートするノードには、先行ノードのすべての変換が含まれます。
**重要**
Data Wrangler は、推論パイプラインを実行するために推論フローアーティファクトを必要とします。独自のフローファイルをアーティファクトとして使用することはできません。前述の手順を使用して作成する必要があります。
## Python コードにエクスポートする
データフローのすべてのステップを、任意のデータ処理ワークフローに手動で統合できる Python ファイルにエクスポートするには、次の手順を使用します。
次の手順を使用して Jupyter Notebook を生成し、それを実行して Data Wrangler フローを Python コードにエクスポートします。
1. エクスポートするノードの横にある **[\$1]** を選択します。
1. **[エクスポート先]** を選択します。
1. **[Python コード]** を選択します。
1. Jupyter Notebook を実行します。
![\[Data Wrangler コンソールで Data Wrangler フローをエクスポートする方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/data-wrangler-destination-nodes-photo-export-to.png)
Python スクリプトをパイプラインで実行するように設定する必要がある場合があります。たとえば、Spark 環境を実行している場合は、 AWS リソースへのアクセス許可を持つ環境からスクリプトを実行していることを確認してください。
## Amazon SageMaker Feature Store にエクスポートする
Data Wrangler を使用して、作成した機能を Amazon SageMaker Feature Store にエクスポートできます。特徴量はデータセットの列です。特徴量ストアは、特徴量とそれに関連するメタデータの一元的なストアです。特徴量ストアを使用すれば、機械学習 (ML) 開発用の厳選されたデータを作成、共有、管理できます。一元化されたストアにより、データをより見つけやすく、再利用しやすくなります。特徴量ストアの詳細については、「[Amazon SageMaker Feature Store](https://docs.aws.amazon.com/sagemaker/latest/dg/feature-store.html)」を参照してください。
特徴量ストアの中核となる概念は特徴量グループです。特徴量グループは、特徴量、そのレコード (観測値)、および関連するメタデータの集まりです。これはデータベースのテーブルに似ています。
Data Wrangler を使用して、次のいずれかを実行できます。
+ 既存の特徴量グループを新しいレコードで更新します。レコードはデータセット内の観測値です。
+ Data Wrangler フロー内のノードから新しい特徴量グループを作成します。Data Wrangler は、データセットの観測データを特徴量グループのレコードとして追加します。
既存の特徴量グループを更新する場合は、データセットのスキーマが特徴量グループのスキーマと一致する必要があります。特徴量グループのすべてのレコードは、データセットの観測値に置き換えられます。
Jupyter Notebook または宛先ノードのいずれかを使用して、データセット内の観測データで特徴量グループを更新できます。
Iceberg テーブル形式の特徴量グループにカスタムオフラインストア暗号化キーがある場合は、Amazon SageMaker Processing ジョブに使用している IAM に、それを使用するためのアクセス許可を必ず付与してください。少なくとも、Amazon S3 に書き込むデータを暗号化するアクセス許可を付与する必要があります。アクセス許可を付与するには、IAM ロールに [GenerateDataKey](https://docs.aws.amazon.com/kms/latest/APIReference/API_GenerateDataKey.html) を使用する許可を付与します。IAM ロールに AWS KMS キーを使用するアクセス許可を付与する方法の詳細については、「」を参照してください。 [https://docs.aws.amazon.com/kms/latest/developerguide/key-policies.html](https://docs.aws.amazon.com/kms/latest/developerguide/key-policies.html)
------
#### [ Destination Node ]
実行した一連のデータ処理ステップを特徴量グループに出力する場合は、宛先ノードを作成できます。宛先ノードを作成して実行すると、Data Wrangler は特徴量グループをデータで更新します。宛先ノード UI から新しい特徴量グループを作成することもできます。宛先ノードを作成したら、データを出力する処理ジョブを作成します。処理ジョブは Amazon SageMaker の処理ジョブです。宛先ノードを使用すると、変換したデータを特徴量グループに出力するのに必要な計算リソースが実行されます。
宛先ノードを使用して、Data Wrangler フローで行った変換の一部またはすべてをエクスポートできます。
データセットからの観測値で特徴量グループを更新する宛先ノードを作成するには、次の手順に従います。
宛先ノードを使用して特徴量グループを更新するには、次の手順を実行します。
**注記**
Data Wrangler フローで **[ジョブを作成]** を選択すると、処理ジョブを使用して特徴量グループを更新する手順を表示できます。
1. エクスポートするデータセットを含むノードの横にある **[\$1]** 記号を選択します。
1. **[送信先を追加]** で **[SageMaker AI Feature Store]** を選択します。
![\[Data Wrangler コンソールで送信先を追加する方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/feature-store-destination-node-selection.png)
1. 特徴量グループを選択 (ダブルクリック) します。Data Wrangler は、特徴量グループのスキーマが、特徴量グループの更新に使用しているデータのスキーマと一致するかどうかを確認します。
1. (オプション) オンラインストアとオフラインストアの両方を持つ特徴量グループの場合にのみ **[オフラインストアにエクスポート]** を選択します。このオプションでは、データセットの観測値でオフラインストアのみが更新されます。
1. Data Wrangler がデータセットのスキーマを検証したら、**[追加]** を選択します。
次の手順を使用して、データセットのデータを使用して新しい特徴量グループを作成します。
特徴量グループ次のいずれかの方法で保存できます。
+ オンライン – 特徴量グループの低レイテンシー、高可用性のキャッシュで、レコードのリアルタイム検索を可能にします。オンラインストアを使用すると、特徴量グループのレコードの最新の値にすばやくアクセスできます。
+ オフライン – 特徴量グループのデータを Amazon S3 バケットに保存します。低レイテンシー (1 秒未満) の読み取りが不要な場合は、データをオフラインで保存できます。データ探索、モデルトレーニング、バッチ推論に使用される特徴量にはオフラインストアを使用できます。
+ オンラインとオフラインの両方 – オンラインストアとオフラインストアの両方にデータを保存します。
宛先ノードを使用して特徴量グループを作成するには、次の手順を実行します。
1. エクスポートするデータセットを含むノードの横にある **[\$1]** 記号を選択します。
1. **[送信先を追加]** で **[SageMaker AI Feature Store]** を選択します。
1. **[特徴量グループを作成]** を選択します。
1. 次のダイアログボックスで、データセットにイベント時間列がない場合は、**[「EventTime」列を作成]** を選択します。
1. [**次へ**] を選択します。
1. **[JSON スキーマのコピー]** を選択します。特徴量グループを作成するときは、スキーマを特徴量定義に貼り付けます。
1. **[作成]** を選択します。
1. **[特徴量グループ]** には、特徴量グループの名前を指定します。
1. **[説明 (オプション)]** には、特徴量グループを見つけやすくするための説明を指定します。
1. オンラインストアの特徴量グループを作成するには、次の手順を実行します。
1. **[オンラインストレージを有効にする]** を選択します。
1. **オンラインストアの暗号化キー**には、 AWS マネージド暗号化キーまたは独自の暗号化キーを指定します。
1. オフラインストアの特徴量グループを作成するには、次の手順を実行します。
1. **[オフラインストレージを有効にする]** を選択します。以下のフィールドに値を入力します。
+ **S3 バケット名** – 特徴量グループを保存する Amazon S3 バケットの名前。
+ (オプション) **データセットディレクトリ名** – 特徴量グループの保存に使用する Amazon S3 プレフィックス。
+ **IAM ロール ARN** – 特徴量ストアにアクセスする IAM ロール。
+ **テーブル形式** – オフラインストアのテーブル形式。**Glue** または **Iceberg** を指定できます。**Glue** がデフォルトの形式です。
+ **オフラインストア暗号化キー** – デフォルトでは、特徴量ストアは AWS Key Management Service マネージドキーを使用しますが、このフィールドを使用して独自のキーを指定することもできます。
1. 以下のフィールドに値を入力します。
+ **S3 バケット名** – 特徴量グループを保存するバケットの名前。
+ **(オプション) データセットディレクトリ名** – 特徴量グループの保存に使用する Amazon S3 プレフィックス。
+ **IAM ロール ARN** – 特徴量ストアにアクセスする IAM ロール。
+ **オフラインストア暗号化キー** – デフォルトでは、特徴量ストアは AWS マネージドキーを使用しますが、このフィールドを使用して独自のキーを指定することもできます。
1. [**続行**] をクリックしてください。
1. **JSON** を選択します。
1. ウィンドウ内のプレースホルダーブラケットを削除します。
1. ステップ 6 の JSON テキストを貼り付けます。
1. [**続行**] をクリックしてください。
1. **[レコード識別子特徴量名]** では、データセット内の各レコードに固有の ID を持つデータセット内の列を選択します。
1. **[イベントタイム特徴量名]** では、タイムスタンプ値を含む列を選択します。
1. [**続行**] をクリックしてください。
1. (オプション) タグを追加して、特徴量グループをより見つけやすくします。
1. [**続行**] をクリックしてください。
1. **[Create feature group]** (特徴グループを作成) を選択します。
1. Data Wrangler フローに戻り、**特徴量グループ**の検索バーの横にある更新アイコンを選択します。
**注記**
フロー内の特徴量グループの宛先ノードを既に作成している場合、同じ特徴量グループに別の宛先ノードを作成することはできません。同じ特徴量グループに対して別の宛先ノードを作成する場合は、別のフローファイルを作成する必要があります。
次の手順を使用して、Data Wrangler ジョブを作成します。
**[データフロー]** ページからジョブを作成し、エクスポートする宛先ノードを選択します。
1. **[ジョブの作成]** を選択します。次の図は、**[ジョブを作成]** を選択した後に表示されるペインを示しています。
1. **[ジョブ名]** には、エクスポートジョブの名前を指定します。
1. エクスポートする宛先ノードを選択します。
1. (オプション) **出力 KMS キー**には、 AWS KMS キーの ARN、ID、またはエイリアスを指定します。KMS キーは暗号キーです。このキーを使用して、ジョブの出力データを暗号化できます。 AWS KMS キーの詳細については、「」を参照してください[AWS Key Management Service](https://docs.aws.amazon.com//kms/latest/developerguide/overview.html)。
1. 次の画像は、**[ジョブを設定]** タブが開いている状態の **[ジョブの設定]** ページを示しています。
![\[Data Wrangler コンソールのデータフローの [ジョブを作成] ページの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/destination-nodes/destination-nodes-configure-job.png)
(オプション) 次の操作を行った場合は、**[トレーニング済みパラメータ]** の下で **[再適用]** を選択します。
+ データセットをサンプリングした
+ データを使用してデータセットに新しい列を作成する変換を適用した
データセット全体に対して行った変換を再適用する方法の詳細については、「[変換をデータセット全体に再適用してエクスポートする](#data-wrangler-data-export-fit-transform)」を参照してください。
1. **[ジョブの設定]** を選択します。
1. (オプション) Data Wrangler ジョブを設定します。次の設定を行うことができます。
+ **ジョブ設定**
+ **Spark メモリ設定**
+ **ネットワーク構成**
+ **タグ**
+ **パラメータ**
+ **アソシエイトスケジュール**
1. **[Run]** (実行) を選択します。
------
#### [ Jupyter notebook ]
次の手順を使用して Jupyter Notebook を Amazon SageMaker Feature Store にエクスポートします。
次の手順を使用して Jupyter Notebook を生成し、それを実行して Data Wrangler フローを特徴量ストアにエクスポートします。
1. エクスポートするノードの横にある **[\$1]** を選択します。
1. **[エクスポート先]** を選択します。
1. **[Amazon SageMaker Feature Store (Jupyter Notebook 経由)]** を選択します。
1. Jupyter Notebook を実行します。
![\[Data Wrangler コンソールで Data Wrangler フローをエクスポートする方法を説明するデータフローの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/mohave/data-wrangler-destination-nodes-photo-export-to.png)
Jupyter Notebook を実行すると、Data Wrangler ジョブが実行されます。Data Wrangler ジョブを実行すると、SageMaker AI 処理ジョブが開始されます。処理ジョブは、オンラインおよびオフラインの特徴量ストアにフローを取り込みます。
**重要**
このノートブックの実行に使われる IAM ロールには、 AWS 管理ポリシーの `AmazonSageMakerFullAccess` および `AmazonSageMakerFeatureStoreAccess` がアタッチされていることが必要です。
特徴量グループの作成時にオンラインまたはオフラインの Feature Store を 1 つのみ有効にする必要があります。両方を有効にすることもできます。オンラインストアの作成を無効にするには、`EnableOnlineStore` を `False` に設定します。
```
# Online Store Configuration
online_store_config = {
"EnableOnlineStore": False
}
```
ノートブックは、エクスポートするデータフレームの列名とタイプを使用して、特徴量グループの作成に使用される特徴グループスキーマを作成します。特徴グループは、レコードを記述するために Feature Store で定義される特徴のグループです。特徴グループは、特徴グループに含まれるスキーマと特徴を定義します。特徴グループ定義は、特徴のリスト、レコード識別子の特徴名、イベント時間特徴名、オンラインストア、オフラインストアの設定で構成されます。
特徴グループ内の各特徴には、*文字列*、*分数*、*整数*のいずれか 1 つの型を使用できます。エクスポートされたデータフレーム内の列がこれらのタイプのいずれにもない場合、デフォルトは `String` になります。
以下は、特徴グループスキーマの例です。
```
column_schema = [
{
"name": "Height",
"type": "long"
},
{
"name": "Input",
"type": "string"
},
{
"name": "Output",
"type": "string"
},
{
"name": "Sum",
"type": "string"
},
{
"name": "Time",
"type": "string"
}
]
```
さらに、レコード識別子名とイベント時間特徴名を指定する必要があります。
+ レコード識別子名は、特徴量ストアで定義されているレコードを一意に識別する値を持つ特徴量の名前です。オンラインストアには識別子ごとに最新のレコードのみが保存されます。レコード識別子の特徴名は、特徴定義の名前の 1 つである必要があります。
+ イベント時間の特徴量名は、特徴量グループ内のレコードの `EventTime` を保存する特徴量の名前です。`EventTime` は、特徴でのレコードの作成または更新に対応する新しいイベントが発生した時点です。特徴グループのすべてのレコードに、対応する `EventTime` が必要です。
ノートブックはこれらの設定を使用して特徴グループを作成し、データを大規模に処理して、処理されたデータをオンラインおよびオフラインの Feature Store に取り込みます。詳細については、「[データソースと取り込み](https://docs.aws.amazon.com/sagemaker/latest/dg/feature-store-ingest-data.html)」を参照してください。
------
ノートブックはこれらの設定を使用して特徴グループを作成し、データを大規模に処理して、処理されたデータをオンラインおよびオフラインの Feature Store に取り込みます。詳細については、「[データソースと取り込み](https://docs.aws.amazon.com/sagemaker/latest/dg/feature-store-ingest-data.html)」を参照してください。
## 変換をデータセット全体に再適用してエクスポートする
データをインポートすると、Data Wrangler はデータのサンプルを使用してエンコーディングを適用します。デフォルトでは、Data Wrangler は最初の 50,000 行をサンプルとして使用しますが、データセット全体をインポートすることも、別のサンプリング方法を使用することもできます。詳細については、「[[Import]（インポート)](data-wrangler-import.md)」を参照してください。
次の変換では、データを使用してデータセットに列を作成します。
+ [カテゴリ別にエンコードする](data-wrangler-transform.md#data-wrangler-transform-cat-encode)
+ [テキストを特徴化する](data-wrangler-transform.md#data-wrangler-transform-featurize-text)
+ [外れ値を処理する](data-wrangler-transform.md#data-wrangler-transform-handle-outlier)
+ [欠落した値を処理する](data-wrangler-transform.md#data-wrangler-transform-handle-missing)
サンプリングを使用してデータをインポートした場合、前述の変換ではサンプルのデータのみを使用して列を作成します。この変換では、関連するデータがすべて使用されていない可能性があります。例えば、**[カテゴリ別にエンコードする]** 変換を使用する場合、データセット全体に、サンプルには存在しなかったカテゴリがあった可能性があります。
宛先ノードまたは Jupyter Notebook を使用して、変換をデータセット全体に再適用できます。Data Wrangler がフロー内の変換をエクスポートすると、SageMaker 処理ジョブが作成されます。処理ジョブが完了すると、Data Wrangler は次のファイルをデフォルトの Amazon S3 の場所または指定した S3 の場所のいずれかに保存します。
+ データセットに再適用する変換を指定する Data Wrangler フローファイル
+ 再適用変換が適用されたデータセット
Data Wrangler 内で Data Wrangler フローファイルを開き、その変換を別のデータセットに適用できます。例えば、トレーニングデータセットに変換を適用した場合、Data Wrangler フローファイルを開いて使用すると、推論に使用されるデータセットに変換を適用できます。
宛先ノードを使用して変換を再適用してエクスポートする方法については、以下のページを参照してください。
+ [Amazon S3 へのエクスポート](#data-wrangler-data-export-s3)
+ [Amazon SageMaker Feature Store にエクスポートする](#data-wrangler-data-export-feature-store)
以下の手順に従って、Jupyter Notebook を実行して変換を再適用し、データをエクスポートします。
Jupyter Notebook を実行し、変換を再適用して Data Wrangler フローをエクスポートするには、以下の手順に従います。
1. エクスポートするノードの横にある **[\$1]** を選択します。
1. **[エクスポート先]** を選択します。
1. データをエクスポートする場所を選択します。
1. `refit_trained_params` オブジェクトの場合、`refit` を `True` に設定します。
1. `output_flow` フィールドには、再適用変換を含む出力フローファイルの名前を指定します。
1. Jupyter Notebook を実行します。
## 新しいデータを自動的に処理するスケジュールを作成する
データを定期的に処理する場合は、処理ジョブを自動的に実行するスケジュールを作成できます。例えば、新しいデータを取得したときに処理ジョブを自動的に実行するスケジュールを作成できます。ジョブの処理の詳細については、「[Amazon S3 へのエクスポート](#data-wrangler-data-export-s3)」および「[Amazon SageMaker Feature Store にエクスポートする](#data-wrangler-data-export-feature-store)」を参照してください。
ジョブを作成する場合、ジョブを作成する権限を持つ IAM ロールを指定する必要があります。デフォルトでは、Data Wrangler へのアクセスに使用する IAM ロールは `SageMakerExecutionRole` です。
次の権限により、Data Wrangler が EventBridge にアクセスし、EventBridge が処理ジョブを実行できるようになります。
+ Data Wrangler に EventBridge を使用するアクセス許可を付与する Amazon SageMaker Studio Classic 実行ロールに、次の AWS マネージドポリシーを追加します。
```
arn:aws:iam::aws:policy/AmazonEventBridgeFullAccess
```
ポリシーの詳細については、「[EventBridge のAWS 管理ポリシー](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-use-identity-based.html#eb-full-access-policy)」を参照してください。
+ Data Wrangler でジョブを作成するときに指定する IAM ロールに次のポリシーを追加します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "sagemaker:StartPipelineExecution",
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:pipeline/data-wrangler-*"
}
]
}
```
------
デフォルトの IAM ロールを使用している場合は、上記のポリシーを Amazon SageMaker Studio Classic 実行ロールに追加します。
ロールに次の信頼ポリシーを追加して、EventBridge がそれを引き継げるようにします。
```
{
"Effect": "Allow",
"Principal": {
"Service": "events.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
```
**重要**
スケジュールを作成すると、Data Wrangler は EventBridge に `eventRule` を作成します。作成したイベントルールと、処理ジョブの実行に使用したインスタンスの両方に料金が発生します。
EventBridge の料金の詳細については、「[Amazon EventBridge の料金](https://aws.amazon.com/eventbridge/pricing/)」を参照してください。処理ジョブの料金の詳細については、「[Amazon SageMaker の料金](https://aws.amazon.com/sagemaker/pricing/)」を参照してください。
次のいずれかの方法を使用して、ジョブのスケジュールを設定できます。
+ [CRON 式](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-create-rule-schedule.html)
**注記**
Data Wrangler は次の式をサポートしていません。
LW\$1
曜日の略語
月の略語
+ [RATE 式](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-create-rule-schedule.html#eb-rate-expressions)
+ 繰り返し – ジョブを実行する間隔を 1 時間ごとまたは 1 日ごとに設定します。
+ 特定の時間 – ジョブを実行する特定の曜日と時間を設定します。
以下のセクションでは、ジョブの作成手順について説明します。
------
#### [ CRON ]
CRON 式を使用してスケジュールを作成するには、次の手順を使用します。
CRON 式を使用してスケジュールを指定するには、以下を実行します。
1. Data Wrangler フローを開きます。
1. **[ジョブの作成]** を選択します。
1. (オプション) **Output KMS キー**で、 AWS KMS キーを指定してジョブの出力を設定します。
1. **[次へ、2. ジョブの設定]**を選択します。
1. **[スケジュールの関連付け]** を選択します。
1. **[新しいスケジュールの作成]** を選択します。
1. **[スケジュール名]** にスケジュールの名前を指定します。
1. **[実行頻度]** で **[CRON]** を選択します。
1. 有効な CRON 式を指定します。
1. **[作成]** を選択します。
1. (オプション) 追加のスケジュールでジョブを実行するには、**[別のスケジュールを追加]** を選択します。
**注記**
最大 2 つのスケジュールを関連付けることができます。スケジュールは独立しており、時間が重複しない限り互いに影響しません。
1. 次のいずれかを選択します。
+ **スケジュールして今すぐ実行** – Data Wrangler ジョブはただちに実行され、その後はスケジュールに従って実行されます。
+ **スケジュールのみ** – Data Wrangler ジョブは指定したスケジュールでのみ実行されます。
1. **[実行]** を選択します。
------
#### [ RATE ]
RATEN 式を使用してスケジュールを作成するには、次の手順を使用します。
RATE 式を使用してスケジュールを指定するには、以下を実行します。
1. Data Wrangler フローを開きます。
1. **[ジョブの作成]** を選択します。
1. (オプション) **Output KMS キー**で、 AWS KMS キーを指定してジョブの出力を設定します。
1. **[次へ、2. ジョブの設定]**を選択します。
1. **[スケジュールの関連付け]** を選択します。
1. **[新しいスケジュールの作成]** を選択します。
1. **[スケジュール名]** にスケジュールの名前を指定します。
1. **[実行頻度]** で **[Rate]** を選択します。
1. **[値]** には整数値を指定します。
1. **[単位]** で、次のいずれかを選択します。
+ **分**
+ **時間**
+ **日間**
1. **[作成]** を選択します。
1. (オプション) 追加のスケジュールでジョブを実行するには、**[別のスケジュールを追加]** を選択します。
**注記**
最大 2 つのスケジュールを関連付けることができます。スケジュールは独立しており、時間が重複しない限り互いに影響しません。
1. 次のいずれかを選択します。
+ **スケジュールして今すぐ実行** – Data Wrangler ジョブはただちに実行され、その後はスケジュールに従って実行されます。
+ **スケジュールのみ** – Data Wrangler ジョブは指定したスケジュールでのみ実行されます。
1. **[実行]** を選択します。
------
#### [ Recurring ]
以下の手順に従って、ジョブを定期的に実行するスケジュールを作成します。
CRON 式を使用してスケジュールを指定するには、以下を実行します。
1. Data Wrangler フローを開きます。
1. **[ジョブの作成]** を選択します。
1. (オプション) **Output KMS キー**で、 AWS KMS キーを指定してジョブの出力を設定します。
1. **[次へ、2. ジョブの設定]**を選択します。
1. **[スケジュールの関連付け]** を選択します。
1. **[新しいスケジュールの作成]** を選択します。
1. **[スケジュール名]** にスケジュールの名前を指定します。
1. **[実行頻度]** では、デフォルトで **[繰り返し]** が選択されていることを確認します。
1. **[x 時間ごと]** には、1 日にジョブを実行する時間単位の頻度を指定します。有効な値は、**1** から **23** までの範囲内の整数です。
1. **[日間]** で、次のいずれかのオプションを選択します。
+ **毎日**
+ **週末**
+ **平日**
+ **曜日を選択**
1. (オプション) **[曜日を選択]** を選択した場合は、ジョブを実行する曜日を選択します。
**注記**
スケジュールは毎日リセットされます。5 時間ごとに実行するようにジョブをスケジュールすると、ジョブは 1 日のうち次の時間に実行されます。
00:00
05:00
10:00
15:00
20:00
1. **[作成]** を選択します。
1. (オプション) 追加のスケジュールでジョブを実行するには、**[別のスケジュールを追加]** を選択します。
**注記**
最大 2 つのスケジュールを関連付けることができます。スケジュールは独立しており、時間が重複しない限り互いに影響しません。
1. 次のいずれかを選択します。
+ **スケジュールして今すぐ実行** – Data Wrangler ジョブはただちに実行され、その後はスケジュールに従って実行されます。
+ **スケジュールのみ** – Data Wrangler ジョブは指定したスケジュールでのみ実行されます。
1. **[実行]** を選択します。
------
#### [ Specific time ]
次の手順を使用して、ジョブを特定の時間に実行するスケジュールを作成します。
CRON 式を使用してスケジュールを指定するには、以下を実行します。
1. Data Wrangler フローを開きます。
1. **[ジョブの作成]** を選択します。
1. (オプション) **Output KMS キー**で、 AWS KMS キーを指定してジョブの出力を設定します。
1. **[次へ、2. ジョブの設定]**を選択します。
1. **[スケジュールの関連付け]** を選択します。
1. **[新しいスケジュールの作成]** を選択します。
1. **[スケジュール名]** にスケジュールの名前を指定します。
1. **[作成]** を選択します。
1. (オプション) 追加のスケジュールでジョブを実行するには、**[別のスケジュールを追加]** を選択します。
**注記**
最大 2 つのスケジュールを関連付けることができます。スケジュールは独立しており、時間が重複しない限り互いに影響しません。
1. 次のいずれかを選択します。
+ **スケジュールして今すぐ実行** – Data Wrangler ジョブはただちに実行され、その後はスケジュールに従って実行されます。
+ **スケジュールのみ** – Data Wrangler ジョブは指定したスケジュールでのみ実行されます。
1. **[実行]** を選択します。
------
Amazon SageMaker Studio Classic を使用して、実行がスケジュールされているジョブを表示できます。処理ジョブは Pipelines 内で実行されます。処理ジョブにはそれぞれ独自のパイプラインがあります。これはパイプライン内の処理ステップとして実行されます。パイプライン内で作成したスケジュールを表示できます。パイプラインの表示の詳細については、「[パイプラインの詳細を表示する](pipelines-studio-list.md)」を参照してください。
スケジュールしたジョブを表示するには、次の手順を使用します。
スケジュールしたジョブを表示するには、以下を実行します。
1. Amazon SageMaker Studio Classic を開きます。
1. Pipelines を開きます。
1. 作成したジョブのパイプラインを表示します。
ジョブを実行するパイプラインは、ジョブ名をプレフィックスとして使用します。例えば、`housing-data-feature-enginnering` という名前のジョブを作成した場合、パイプラインの名前は `data-wrangler-housing-data-feature-engineering` です。
1. ジョブを含むパイプラインを選択します。
1. パイプラインのステータスを表示します。**[ステータス]** が **[成功]** のパイプラインは、処理ジョブを正常に実行しています。
処理ジョブの実行を停止するには、以下を実行します。
処理ジョブの実行を停止するには、スケジュールを指定するイベントルールを削除します。イベントルールを削除すると、そのスケジュールに関連するすべてのジョブの実行が停止します。ルールの削除については、「[Amazon EventBridge ルールの無効化または削除](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-delete-rule.html)」を参照してください。
スケジュールに関連付けられているパイプラインを停止したり削除したりすることもできます。パイプラインを停止する方法については、「[StopPipelineExecution](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopPipelineExecution.html)」を参照してください。パイプラインの削除については、「DeletePipeline」を参照してください。