翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデル構築用のデータを準備する

機械学習データセットでは、モデルを構築する前にデータの準備が必要な場合があります。欠損値や外れ値などの問題が含まれる可能性のあるデータをクリーンアップし、特徴量エンジニアリングを実行してモデルの精度を向上させます。Amazon SageMaker Canvas は、ML データ変換を提供し、モデル構築のためにデータをクリーンアップ、変換、準備できます。これらの変換は、コードなしでデータセットで使用できます。 SageMaker Canvas は、使用する変換をモデルレシピ に追加します。これは、モデルを構築する前にデータに対して実行されたデータ準備の記録です。使用するデータ変換は、モデル構築用の入力データのみを変更し、元のデータソースは変更しません。

データセットのプレビューには、データセットの最初の 100 行が表示されます。データセットが 20,000 行を超える場合、Canvas は 20,000 行のランダムサンプリングを行い、そのサンプルの最初の 100 行をプレビューに表示します。プレビューに表示された行に対してのみ検索と指定を行うことができ、フィルター機能はプレビューに表示された行のみに適用され、データセット全体には適用されません。

SageMaker Canvas では、構築用のデータを準備するために、次の変換を使用できます。

列をドロップする

Canvas アプリケーションの Build SageMaker タブに列を削除することで、モデルビルドから列を除外できます。ドロップする列の選択を解除すると、その列はモデル構築時に含まれません。

行をフィルタリングする

フィルター機能は、指定した条件に基づいてプレビューされた行 (データセットの最初の 100 行) をフィルタリングします。行をフィルタリングすると、データの一時的なプレビューが作成され、モデル構築には影響しません。フィルター機能を使用して、欠損値のある行、外れ値を含む行、または選択した列のカスタム条件を満たす行をプレビューできます。

欠損値で行をフィルタリングする

欠落値は、機械学習データセットで一般的に見られます。特定の列に null または空の値がある行がある場合は、それらの行をフィルタリングしてプレビューすることができます。

プレビューしたデータの欠損値をフィルターするには、次の手順に従います。

SageMaker 選択した列に欠損値を含む行の Canvas フィルター。フィルタリングされた行のプレビューを提供します。

外れ値で行をフィルタリングする

外れ値、またはデータの分布と範囲のまれな値は、モデルの精度に悪影響を及ぼし、構築時間が長くなる可能性があります。 SageMaker Canvas を使用すると、数値列に外れ値を含む行を検出してフィルタリングできます。外れ値は、標準偏差またはカスタム範囲のいずれかで定義できます。

データ内の外れ値をフィルタリングするには、次の手順に従います。

[標準偏差] オプションでは、平均値と標準偏差を使用して数値列の外れ値を検出してフィルタリングします。値を外れ値と見なすために必要な平均値からの変化として、標準偏差の値を指定します。例えば、[SD] で 3 を指定すると、外れ値と見なすためには、平均値から 3 標準偏差より低い値である必要があります。

[カスタム範囲] オプションでは、最小値と最大値を使用して数値列の外れ値を検出してフィルタリングします。外れ値を定義するしきい値がわかっている場合は、この方法を使用します。範囲の [タイプ] は、[パーセント] または [数値] に設定できます。[パーセント] を選択した場合、[最小] と [最大] には、許容するパーセント範囲 (0～100) の最小値と最大値を指定します。[数値] を選択した場合、[最小] と [最大] には、データでフィルタリングする最小値と最大値を指定します。

カスタム値で行をフィルタリングする

カスタム条件を満たす値を含む行をフィルタリングできます。例えば、価格が 100 を超える行を削除する前にプレビューする場合などです。この機能を使用すると、設定したしきい値を超える行をフィルタリングし、フィルタリングされたデータをプレビューできます。

カスタムフィルター機能を使用するには、次の手順に従います。

[操作] では、以下のオプションのいずれかを選択できます。使用できる操作は、選択する列のデータ型に応じて異なる場合があります。例えば、テキスト値を含む列には is greater than 操作は作成できません。

フィルターオペレーションを設定した後、 SageMaker Canvas はデータセットのプレビューを更新して、フィルタリングされたデータを表示します。

関数と演算子

関数と演算子を使用して、データを探索したり配布したりできます。 SageMaker Canvas でサポートされている関数を使用するか、既存のデータで独自の式を作成し、式の結果で新しい列を作成できます。例えば、2 つの列の対応する値を追加し、その結果を新しい列に保存できます。

ステートメントをネストして、より複雑な関数を作成できます。以下は、使用できるネストされた関数の例です。

関数の指定は、モデルを構築する前のデータ準備段階で行えます。関数を使用するには、次の手順に従います。

SageMaker Canvas は、新しい列名 で指定した名前を使用して、関数の結果を新しい列に保存します。[モデルレシピ] パネルでは、関数の表示や削除を行えます。

SageMaker Canvas は、関数に対して次の演算子をサポートしています。テキスト形式またはインライン形式のいずれかを使用して関数を指定できます。

SageMaker Canvas は集計演算子もサポートしており、すべての値の合計の計算や列内の最小値の検出などの操作を実行できます。関数では集約演算子と標準演算子を組み合わせて使用できます。例えば、平均値から値の差を計算するには、 関数を使用できますAbs(height – avg(height))。 SageMaker Canvas は次の集計演算子をサポートしています。

行を管理する

行の管理変換では、ソート、ランダムシャッフル、データセットからのデータ行の削除を行うことができます。

行のソート

データセット内の行を特定の列でソートするには、次の手順に従います。

行のシャッフル

データセット内の行をランダムにシャッフルするには、次の手順に従います。

重複した行のドロップ

データセット内の重複行を削除するには、次の手順に従います。

欠損値による行の削除

欠落値は機械学習データセットで一般的に見られ、モデルの精度に影響を与えます。特定の列の null または空の値を含む行をドロップする場合、この変換を使用します。

指定した列にある欠損値を含む行を削除するには、次の手順に従います。

SageMaker Canvas は、選択した列に欠損値を含む行を削除します。データセットから行を削除した後、 SageMaker Canvas はモデルレシピセクションに変換を追加します。[モデルレシピ] セクションから変換を削除すると、削除された行はデータセットに戻ります。

外れ値による行の削除

外れ値 (データの分布や範囲内にまれな値) は、モデルの精度を低下させ、モデルの構築時間が長くなる可能性があります。 SageMaker Canvas を使用すると、数値列に外れ値を含む行を検出および削除できます。外れ値は、標準偏差またはカスタム範囲のいずれかで定義できます。

データから外れ値を削除するには、次の手順に従います。

[標準偏差] オプションでは、平均値と標準偏差を使用して数値列の外れ値を検出して削除します。値を外れ値と見なすために必要な平均値からの変化として、標準偏差の値を指定します。例えば、[標準偏差] に 3 を指定すると、外れ値と見なすためには、平均値から 3 標準偏差より低い値である必要があります。

[カスタム数値範囲] オプションと [カスタム分位数範囲] オプションでは、最小値と最大値を使用して数値列の外れ値を検出し削除します。外れ値を定義するしきい値がわかっている場合は、この方法を使用します。[数値範囲] を選択した場合、[最小] と [最大] には、データで許容する最小値と最大値を指定します。[分位数範囲] を選択した場合、[最小] と [最大] には、許容するパーセント範囲 (0～100) の最小値と最大値を指定します。

データセットから行を削除した後、 SageMaker Canvas はモデルレシピセクションに変換を追加します。[モデルレシピ] セクションから変換を削除すると、削除された行はデータセットに戻ります。

カスタム値による行の削除

カスタム条件を満たす値を含む行を削除できます。例えば、モデルを作成する際、価格値が 100 を超える行をすべて除外する場合です。この変換を使用すると、設定したしきい値を超える行をすべて削除するルールを作成できます。

カスタム削除変換を使用するには、次の手順に従います。

[操作] では、以下のオプションのいずれかを選択できます。使用できる操作は、選択する列のデータ型に応じて異なる場合があります。例えば、テキスト値を含む列には is greater than 操作は作成できません。

データセットから行を削除した後、 SageMaker Canvas はモデルレシピセクションに変換を追加します。[モデルレシピ] セクションから変換を削除すると、削除された行はデータセットに戻ります。

列の名前変更

列の名変更変換では、データ内の列の名前を変更できます。列の名前を変更すると、 SageMaker Canvas はモデル入力の列名を変更します。

SageMaker Canvas アプリケーションのビルドタブで列名をダブルクリックし、新しい名前を入力することで、データセット内の列の名前を変更できます。Enter キーを押すと変更が送信され、入力以外の場所をクリックすると変更がキャンセルされます。リストビューの行の最後、またはグリッドビューのヘッダーセルの最後にある [その他のオプション] アイコン ( ) をクリックし、[名前の変更] を選択して列の名前を変更することもできます。

列名は 32 文字以内で、連続したアンダースコア (__) は使用できません。また、列の名前を別の列と同じ名前に変更することもできません。ドロップした列の名前を変更することもできません。

次のスクリーンショットは、列名をダブルクリックして列の名前を変更する方法を示しています。

列の名前を変更すると、 SageMaker Canvas はモデルレシピセクションに変換を追加します。[モデルレシピ] セクションから変換を削除すると、列は元の名前に戻ります。

列の管理

次の変換では、列のデータ型を変更し、特定の列の欠損値または外れ値を置き換えることができます。 SageMaker Canvas はモデルを構築するときに更新されたデータ型または値を使用しますが、元のデータセットは変更されません。列をドロップする 変換を使用してデータセットから列をドロップした場合、その列の値を置換することはできないことに注意してください。

欠損値の置換

欠落値は機械学習データセットで一般的に見られ、モデルの精度に影響を与えます。欠損値のある行をドロップすることもできますが、欠損値を置換する方がモデルの精度は高くなります。この変換では、数値列の欠損値を列内のデータの平均または中央値で置換できます。また、欠損値を置換するカスタム値を指定することもできます。数値以外の列では、欠損値を列のモード (最も一般的な値) またはカスタム値で置換できます。

特定の列の null または空の値を含む行を置換する場合、この変換を使用します。指定した列にある欠損値を含む行を置換するには、次の手順に従います。

データセット内の欠損値を置き換えた後、 SageMaker Canvas はモデルレシピセクションに変換を追加します。[モデルレシピ] セクションから変換を削除すると、欠損値はデータセットに戻ります。

外れ値の置換

外れ値、またはデータの分布と範囲のまれな値は、モデルの精度に悪影響を及ぼし、構築時間が長くなる可能性があります。 SageMaker Canvas を使用すると、数値列の外れ値を検出し、外れ値をデータ内の許容される範囲内の値に置き換えることができます。外れ値は標準偏差またはカスタム範囲のいずれかで定義でき、外れ値は許容範囲内の最小値と最大値で置換することができます。

データで外れ値を置換するには、次の手順に従います。

[標準偏差] オプションでは、平均値と標準偏差を使用して数値列の外れ値を検出します。値を外れ値と見なすために必要な平均値からの変化として、標準偏差の値を指定します。例えば、標準偏差 に 3 を指定した場合、外れ値と見なされるには、平均値から 3 つ以上の標準偏差を下回っている必要があります。 SageMaker Canvas は外れ値を許容範囲内の最小値または最大値に置き換えます。例えば、標準偏差に 200～300 の値のみを含めるように設定した場合、 SageMaker Canvas は 198 の値を 200 (最小値) に変更します。

[カスタム数値範囲] オプションと [カスタム分位数範囲] オプションでは、最小値と最大値を使用して数値列の外れ値を検出します。外れ値を定義するしきい値がわかっている場合は、この方法を使用します。数値範囲を選択した場合、最小値と最大値は、許可する最小値と最大値である必要があります。 SageMaker Canvas は、最小値と最大値の範囲外の値を最小値と最大値に置き換えます。例えば、範囲が 1～100 の値のみを許可する場合、Canvas SageMaker は 102 の値を 100 (最大値) に変更します。[分位数範囲] を選択した場合、[最小] と [最大] には、許容するパーセント範囲 (0～100) の最小値と最大値を指定します。

データセット内の値を置き換えた後、 SageMaker Canvas はモデルレシピセクションに変換を追加します。[モデルレシピ] セクションから変換を削除すると、外れ値はデータセットに戻ります。

データ型の変更

SageMaker Canvas では、列のデータ型を数値、テキスト、および日時の間で変更できるほか、そのデータ型に関連付けられた特徴量タイプも表示できます。データ型はデータの形式と保存方法を指し、特徴型は機械学習アルゴリズムで使用されるデータの特性 (バイナリやカテゴリなど) を指します。これにより、特徴量に基づいて列内のデータ型を手動で柔軟に変更できます。適切なデータ型を選択できるため、モデルを構築する前にデータの整合性と正確性が確保されます。これらのデータ型はモデルを構築する際に使用されます。

次の表に、サポートされているすべてのデータ型を示します。

次の表に、サポートされているすべての特徴量を示します。

データセットの列のデータ型を変更するには、次の手順に従います。

これで、列のデータ型が更新されます。

時系列データの準備

以下の機能を使用して、時系列予測モデルを構築するための時系列データを準備します。

時系列データを再サンプリングする

時系列データを再サンプリングすると、時系列データセット内の観測値の一定間隔を設定できます。これは、不規則な間隔の観測値を含む時系列データを扱う場合に特に便利です。例えば、再サンプリングを使用して、1 時間、2 時間、3 時間ごとに記録された観測値を含むデータセットを、観測間の通常の 1 時間間隔に変換できます。予測アルゴリズムでは、観測値を一定の間隔で取得する必要があります。

時系列データを再サンプリングするには、次の手順に従います。

次の表に、時系列データを再サンプリングする際に選択できるすべての [頻度] タイプを示します。

再サンプリング変換を適用する場合、[詳細] オプションを使用して、データセット内の残りの列 (タイムスタンプ列以外) の結果値をどのように変更するかを指定できます。これは、再サンプリング方法を指定することで実現できます。リサンプリング方法では、数値列と非数値列の両方をダウンサンプリングまたはアップサンプリングできます。

ダウンサンプリングは、データセットの観測値の間隔を大きくします。例えば、1 時間ごとまたは 2 時間ごとに取得される観測値をダウンサンプリングすると、データセット内の各観測値は 2 時間ごとに取得されます。時間単位の観測値の他の列の値は、組み合わせ方法を使用して単一の値に集約されます。次の表は、平均値を組み合わせ方法として使用し、時系列データをダウンサンプリングする例を示しています。データは 2 時間ごとから 1 時間ごとにダウンサンプリングされます。

次の表は、ダウンサンプリングを行う前の 1 日の 1 時間ごとの温度測定値を示しています。

次の表は、2 時間ごとでダウンサンプリングした後の温度測定値を示しています。

時系列データをダウンサンプリングするには、次の手順に従います。

組み合わせ方法を指定しない場合、デフォルト値は [非数値の組み合わせ] では Most Common に、[数値の組み合わせ] では Mean になります。次の表は、数値と非数値の組み合わせの方法を示しています。

アップサンプリングは、データセットの観測値の間隔を小さくします。例えば、2 時間ごとに取得される観測値を 1 時間ごとに取得される観測値にアップサンプリングする場合、補間法を使用して 2 時間ごとに取得された観測値から 1 時間ごとに取得される観測値を推測できます。

時系列データをアップサンプリングするには、次の手順に従います。

推定方法を指定しない場合、デフォルト値は [非数値の推定] では Forward Fill に、[数値の推定] では Linear になります。次の表に推定方法の一覧を示します。

次のスクリーンショットは、ダウンサンプリングとアップサンプリングのフィールドが入力された[詳細] 設定を示しています。

datetime 抽出の使用

datetime 抽出変換を使用すると、datetime 列から別の列に値を抽出できます。例えば、購入日を含む列がある場合、月の値を別の列に抽出し、その新しい列を使用してモデルを作成できます。また、1 回の変換で複数の値を抽出して別々の列にすることもできます。

datetime 列には、サポートされているタイムスタンプ形式を使用する必要があります。 SageMaker Canvas がサポートする形式のリストについては、「」を参照してくださいAmazon SageMaker Canvas の時系列予測。データセットでサポートされている形式のいずれかが使用されていない場合は、サポートされているタイムスタンプ形式を使用するようにデータセットを更新し、モデルを構築する前に Amazon SageMaker Canvas に再インポートします。

datetime 抽出を実行するには、次の手順に従います。

SageMaker Canvas は、抽出する各値のデータセットに新しい列を作成します。年の値を除き、 SageMaker Canvas は抽出された値に 0 ベースのエンコーディングを使用します。例えば、[月] の値を抽出すると、1 月は 0 として抽出され、2 月は 1 として抽出されます。

変換は [モデルレシピ] セクションに一覧表示されます。[モデルレシピ] セクションから変換を削除すると、新しい列はデータセットにから削除されます。