データを変換する

Amazon SageMaker Data Wrangler は、データのクリーニングと機能化を合理化するために、多数の ML データ変換を提供します。Data Wrangler のインタラクティブデータ準備ツールを使用して、さまざまなサンプリング手法を使用して任意のサイズのデータセットをサンプリングし、数分でデータの探索を開始できます。サンプリングされたデータでデータ変換を確定したら、データフローをスケールして、データセット全体にそれらの変換を適用できます。

変換を追加すると、データフローにステップが追加されます。追加する各変換によってデータセットが変更され、新しいデータフレームが生成されます。それ以降のすべての変換は、結果のデータフレームに適用されます。

Data Wrangler には、コードなしで列を変換するために使用できる組み込みの変換が含まれています。データの準備方法を知っているが、開始方法や使用する変換方法がわからない場合は、データ準備機能にチャットを使用して Data Wrangler と会話し、自然言語を使用して変換を適用できます。詳細については、「データ準備のチャット」を参照してください。

、Python (ユーザー定義関数） PySpark、panda、および を使用してカスタム変換を追加することもできます PySpark SQL。一部の変換は所定の位置で動作しますが、その他の変換はデータセットに新しい出力列を作成します。

変換は複数の列に一度に適用できます。例えば、1 つのステップで複数の列を削除できます。

Process numeric を適用し、欠落している変換を 1 つの列にのみ処理できます。

このページでは、Data Wrangler が提供する組み込み変換とカスタム変換について詳しく説明します。

データセットを結合する

データフローでデータセットを直接結合できます。2 つのデータセットを結合すると、結合されたデータセットがフローに表示されます。Data Wrangler では以下の結合タイプがサポートされています。

2 つのデータセットを結合するには、次の手順に従います。データフローに 2 つのデータソースを既にインポートしている必要があります。

これで、データフローに追加された結合ノードが表示されるはずです。

データセットを連結する

連結は、あるデータセットから別のデータセットに行を追加することで、2 つのデータセットを組み合わせます。

2 つのデータセットを連結するには、次の手順に従います。データフローに 2 つのデータソースを既にインポートしている必要があります。

これで、データフローに連結ノードが追加されました。

バランスデータ

データセットのデータを、過小評価のカテゴリでバランスを取ることができます。データセットのバランスをとることで、バイナリ分類に適したモデルを作成できます。

次のものを使用できます。バランスデータオペレーションを使用して、次のいずれかの演算子を使用してデータのバランスをとります。

数値特徴量と非数値特徴量の両方を含むデータセットには、すべての変換を使用できます。SMOTE は、隣接するサンプルを使用して値を補間します。Data Wrangler は R 二乗距離を使用して近傍を決定し、追加のサンプルを補間します。Data Wrangler は、数値特徴量のみを使用して、過小表現グループ内のサンプル間の距離を計算します。

過小表現のグループ内の 2 つの実サンプルについて、Data Wrangler は加重平均を使用して数値特徴量を内挿します。[0, 1] の範囲のサンプルにランダムに重みを割り当てます。数値特徴量の場合、Data Wrangler はサンプルの加重平均を使用してサンプルを補間します。サンプル A と B の場合、Data Wrangler は A に 0.7、0.3 を B にランダムに割り当てることができます。補間されたサンプルの値は 0.7A + 0.3B です。

Data Wrangler は、内挿された実サンプルからコピーして、数値以外の特徴を補間します。各サンプルにランダムに割り当てられる確率でサンプルをコピーします。サンプル A と B の場合、確率を A に 0.8、B に 0.2 を割り当てることができます。割り当てられた確率については、時間の A を 80% コピーします。

カスタム変換

Custom Transforms グループを使用すると、Python (ユーザー定義関数） PySpark、panda、または PySpark （SQL) を使用してカスタム変換を定義できます。3 つのオプションすべてに対して、変数 df を使用し、変換を適用するデータフレームにアクセスします。カスタムコードをデータフレームに適用するには、df 変数に対して行った変換を含むデータフレームを割り当てます。Python (ユーザー定義関数) を使用していない場合は、return ステートメントを含める必要はありません。[プレビュー] を選択してカスタム変換の結果をプレビューします。[追加] を選択して、カスタム変換を前のステップのリストに追加します。

一般的なライブラリは、次のようなカスタム変換コードブロック内の import ステートメントでインポートできます。

df.rename(columns={"A column": "A_column", "B column": "B_column"})

コードブロックに print ステートメントを含めると、[Preview] (プレビュー) の選択時に結果が表示されます。カスタムコードトランスフォーマーパネルのサイズは変更できます。パネルのサイズを変更すると、コードを記述するためのスペースが増えます。

以下のセクションでは、カスタム変換コードを作成するための追加のコンテキストと例を紹介します。

Python (ユーザー定義関数)

Python 関数を使うと、Apache Spark や pandas のことを知らなくてもカスタム変換を書くことができます。Data Wrangler は、カスタムコードをすばやく実行できるように最適化されています。カスタム Python コードと Apache Spark プラグインを使用しても、同様のパフォーマンスが得られます。

Python (ユーザー定義関数) コードブロックを使用するには、次のように指定します。

pandas モードを使用するとパフォーマンスが向上します。Python モードでは、純粋な Python 関数を使用して変換を簡単に記述できます。

PySpark

次の例では、タイムスタンプから日付と時刻が抽出されます。

from pyspark.sql.functions import from_unixtime, to_date, date_format
df = df.withColumn('DATE_TIME', from_unixtime('TIMESTAMP'))
df = df.withColumn( 'EVENT_DATE', to_date('DATE_TIME')).withColumn(
'EVENT_TIME', date_format('DATE_TIME', 'HH:mm:ss'))

pandas

次の例は、変換を追加するデータフレームの概要を示します。

df.info()

PySpark (SQL)

次の例では、name、fare、pclass、survival の 4 つの列を持つ新しいデータフレームを作成します。

SELECT name, fare, pclass, survived FROM df

の使用方法がわからない場合は PySpark、カスタムコードスニペットを使用して開始できます。

Data Wrangler には、検索可能なコードスニペットのコレクションがあります。コードスニペットを使用して、列の削除、列ごとのグループ化、モデリングなどのタスクを実行できます。

コードスニペットを使用するには、[サンプルスニペットを検索] を選択し、検索バーにクエリを指定します。クエリで指定するテキストは、コードスニペットの名前と完全に一致する必要はありません。

次の例は、データセット内の類似データを含む行を削除できる Drop duplicate rows コードスニペットを示しています。次のいずれかを検索すると、コードスニペットを見つけることができます。

次のスニペットには、必要な変更を理解するのに役立つコメントがあります。ほとんどのスニペットでは、コード内でデータセットの列名を指定する必要があります。

# Specify the subset of columns
# all rows having identical values in these columns will be dropped

subset = ["col1", "col2", "col3"]
df = df.dropDuplicates(subset)  

# to drop the full-duplicate rows run
# df = df.dropDuplicates()            
                        
        

スニペットを使用するには、その内容をコピーして [カスタム変換] フィールドに貼り付けます。複数のコードスニペットをコピーして [カスタム変換] フィールドに貼り付けることができます。

カスタム計算式

カスタム式を使用して、Spark SQL式を使用して現在のデータフレーム内のデータをクエリする新しい列を定義します。クエリは Spark SQL式の規則を使用する必要があります。

df.rename(columns={"A column": "A_column", "B column": "B_column"})

この変換を使用して列を名前で参照し、列に対してオペレーションを実行できます。例えば、現在のデータフレームに col_a と col_b という名前の列が含まれていると仮定する場合、次のオペレーションを使用して次のコードを含む 2 つの列の積である出力列を生成できます。

col_a * col_b

データフレームに col_a と col_b 列が含まれることを仮定した、以下のような一般的なオペレーションがあります。

データの選択の詳細については、Spark ドキュメントを参照してください。

データセット内の次元を減らす

プリンシパルコンポーネント分析 () を使用して、データのディメンションを減らしますPCA。データセットの次元は特徴量の数に対応します。Data Wrangler で次元削減を使用すると、コンポーネントと呼ばれる新しい機能セットが得られます。各コンポーネントは、データ内のある程度の変動を考慮します。

最初のコンポーネントは、データの変動の最大の原因です。2 番目のコンポーネントはデータの 2 番目に大きい変動量を占め、以降も同様です。

次元削減を使用すると、モデルのトレーニングに使用するデータセットのサイズを小さくすることができます。データセット内の特徴量を使用する代わりに、プリンシパルコンポーネントを使用することもできます。

を実行するためにPCA、Data Wrangler はデータの軸を作成します。軸はデータセット内の列のアフィン結合です。最初のプリンシパルコンポーネントは、最大の分散量を持つ軸上の値です。2 番目のプリンシパルコンポーネントは、2 番目に大きな分散量を持つ軸上の値です。n 番目のプリンシパルコンポーネントは、n 番目に大きな分散量を持つ軸上の値です。

Data Wrangler が返すプリンシパルコンポーネントの数は設定できます。プリンシパルコンポーネントの数を直接指定することも、分散しきい値のパーセンテージを指定することもできます。プリンシパルコンポーネントはデータの変動量を説明します。例えば、値が 0.5 のプリンシパルコンポーネントがあるとします。このコンポーネントはデータ変動の 50% を説明します。分散しきい値パーセンテージを指定すると、Data Wrangler は指定したパーセンテージを満たす最小数のコンポーネントを返します。

以下は、プリンシパルコンポーネントとそれによって説明される分散量の例をデータで示しています。

分散しきい値のパーセンテージを 94 または 95 に指定すると、Data Wrangler はコンポーネント 1 とコンポーネント 2 を返します。分散しきい値のパーセンテージを 96 に指定すると、Data Wrangler は 3 つすべてのプリンシパルコンポーネントを返します。

次の手順を使用して、データセットPCAで を実行できます。

カテゴリ別にエンコードする

カテゴリ別データは通常、有限数のカテゴリで構成され、各カテゴリは文字列で表されます。例えば、顧客データのテーブルがある場合、顧客が住んでいる国を示す列はカテゴリです。カテゴリはアフガニスタン、アルバニア、アルジェリアなど、さまざまです。カテゴリ別データは公称または序数にできます。序数カテゴリには固有の順序があり、公称カテゴリに固有の順序はありません。取得した最高学位 (高校、学士、修士) は、序数カテゴリの一例です。

カテゴリ別データのエンコーディングは、カテゴリの数値表現を作成するプロセスです。例えば、カテゴリが犬と猫の場合、犬を表す [1,0] と猫を表す [0,1] の 2 つのベクトルにこの情報をエンコードできます。

序数カテゴリをエンコードする場合、カテゴリの自然順序をエンコーディングに変換する必要があることがあります。例えば、{"High school": 1, "Bachelors": 2, "Masters":3} のマップで得られた最高学位を表すことができます。

カテゴリ別エンコーディングを使用して、文字列形式のカテゴリ別データを整数の配列にエンコードします。

Data Wrangler カテゴリ別エンコーダは、ステップの定義時に列に存在するすべてのカテゴリのエンコーディングを作成します。Data Wrangler ジョブを開始して時間 t にデータセットを開始するときに新しいカテゴリが列に追加され、この列が時間 t-1 における Data Wrangler のカテゴリ別エンコーディング変換の入力であった場合、これらの新しいカテゴリは Data Wrangler ジョブで欠落していると見なされます。[Invalid handling strategy] (無効な処理戦略) に対して選択するオプションはこれらの欠落した値に適用されます。この問題が発生する可能性がある例を以下に示します。

このような状況において、これらの新しいカテゴリは Data Wrangler ジョブで欠落した値と見なされます。

序数とワンホットエンコードから選択して設定できます。これらのオプションの詳細については、次のセクションを参照してください。

どちらの変換も、[Output column name] (出力列名) という名前の新しい列を作成します。この列の出力形式は、[Output style] (出力スタイル) で指定します。

序数エンコード

[Ordinal encode] (序数エンコード) を選択し、0 と選択した [Input column] (入力列) のカテゴリ総数との間の整数にカテゴリをエンコードします。

Invalid handing strategy (無効な処理戦略): 無効な値または欠落した値を処理する方法を選択します。

ワンホットエンコード

[Transform] (変換) に対して [One-hot encode] (ワンホットエンコード) を選択し、ワンホットエンコーディングを使用します。この変換は、以下を使用して設定します。

類似度エンコード

次のような場合は、類似度エンコーディングを使用します。

類似度エンコーダーは、カテゴリカルデータを含む列の埋め込みを作成します。埋め込みとは、単語などの個別オブジェクトから実数のベクトルへのマッピングです。類似する文字列を、同様の値を含むベクトルにエンコードします。例えば、「California」と「Calfornia」に非常によく似たエンコーディングを作成します。

Data Wrangler は、3 グラムのトークナイザーを使用して、データセット内の各カテゴリをトークンのセットに変換します。これは、最小ハッシュエンコーディングを使用してトークンを埋め込みに変換します。

Data Wrangler が作成する類似度エンコーディングは次のとおりです。

上記の理由から、類似度エンコーディングは、ワンホットエンコーディングよりも汎用性が高いです。

類似度エンコーディング変換をデータセットに追加するには、以下の手順に従います。

テキストを特徴化する

テキストを特徴化変換グループを使用して文字列型の列を検査し、テキストの埋め込みを使用してこれらの列を特徴化します。

この特徴グループには、文字統計とベクトル化の 2 つの特徴が含まれます。これらの変換の詳細については、次のセクションを参照してください。どちらのオプションにも、[Input column] (入力列) テキストデータ (文字列型) を含める必要があります。

文字統計

[文字統計] を選択して、テキストデータを含む列の各行に対する統計を生成します。

この変換は、各行に対する次の比率とカウントを計算し、結果をレポートする新しい列を作成します。新しい列の名前は、入力列名をプレフィックスとして使用し、比率またはカウントに固有のサフィックスを使用します。

ベクトル化

テキストの埋め込みには、語彙の単語やフレーズから実数のベクトルへのマッピングが含まれます。Data Wrangler テキスト埋め込み変換を使用して、テキストデータをトークン化してベクトル化して、用語頻度-逆ドキュメント頻度 (TF-IDF) ベクトルにします。

テキストデータの列に対して TF-IDF を計算すると、各文の各単語はセマンティック重要性を表す実数に変換されます。数字が大きいほど頻度が低い単語に関連付けられ、より重要性が高くなる傾向があります。

Vectorize 変換ステップを定義すると、Data Wrangler はデータセット内のデータを使用して、カウントベクタライザーと TF-IDF メソッドを定義します。Data Wrangler ジョブの実行には、これらと同じメソッドを使用します。

この変換は、以下を使用して設定します。

時系列を変換する

Data Wrangler では、時系列データを変換できます。時系列データセット内の値は、特定の時間にインデックス作成されます。例えば、1 日の各時間における店舗内の顧客数を示すデータセットは時系列データセットです。次の表は、時系列データセットの例を示しています。

店舗にいる 1 時間あたりの顧客数

前の表では、[顧客の数] 列には時系列データが含まれています。時系列データは、[時間 (時)] 列の時間ごとのデータ基づいてインデックス付けれます。

分析に使用できる形式でデータを取得するには、データに対して一連の変換を実行する必要がある場合があります。[Time series] (時系列) 変換グループを使用して時系列データを変換します。実行可能な変換の詳細については、次のセクションを参照してください。

時系列でグループ化する

グループ化操作を使用して、列内の特定の値の時系列データをグループ化できます。

例えば、世帯の 1 日の平均電力使用量を追跡した次の表があるとします。

1 日の平均世帯電力使用量

ID 別のグループ化を選択した場合、次の表が表示されます。

世帯 ID 別にグループ化された電力使用量

時系列シーケンスの各エントリは、対応するタイムスタンプ順に並べられます。シーケンスの最初の要素は、シリーズの最初のタイムスタンプに対応します。household_0、30 は、[電力使用量シリーズ] の最初の値です。30 の値は 1/1/2020 の最初のタイムスタンプに対応します。

開始タイムスタンプと終了タイムスタンプを含めることができます。次の表はその情報がどのように表示されるかを示しています。

世帯 ID 別にグループ化された電力使用量

次の手順に従って、時系列の列別にグループ化できます。

時系列データを再サンプリングする

時系列データには通常、取得される間隔が一定ではない観測値があります。例えば、データセットには 1 時間ごとに記録される観測値と 2 時間ごとに記録される別の観測値が含まれる場合があります。

予測アルゴリズムなど、多くの分析では、観測値を一定の間隔で取得する必要があります。再サンプリングにより、データセット内の観測値に対して一定の間隔を確立できます。

時系列をアップサンプリングまたはダウンサンプリングできます。ダウンサンプリングは、データセットの観測値の間隔を大きくします。例えば、1 時間ごとまたは 2 時間ごとに取得される観測値をダウンサンプリングすると、データセット内の各観測値は 2 時間ごとに取得されます。時間単位の観測値は、平均値や中央値などの集計方法を使用して 1 つの値に集計されます。

アップサンプリングは、データセットの観測値の間隔を小さくします。例えば、2 時間ごとに取得される観測値を 1 時間ごとに取得される観測値にアップサンプリングする場合、補間法を使用して 2 時間ごとに取得された観測値から 1 時間ごとに取得される観測値を推測できます。補間方法の詳細については、pandas.DataFrame.interpolate を参照してください。

数値データと非数値データの両方を再サンプリングできます。

[Resample] (再サンプル) オペレーションを使用して、時系列データを再サンプリングします。データセットに複数の時系列がある場合、Data Wrangler は各時系列の時間間隔を標準化します。

次の表は、平均値を集計方法として使用して時系列データをダウンサンプリングする例を示しています。データは 2 時間ごとから 1 時間ごとにダウンサンプリングされます。

ダウンサンプリング前日の 1 時間単位の温度読み取り値

2 時間ごとにダウンサンプリングされた温度読み取り値

次の手順を使用して、時系列データを再サンプリングできます。

欠落している時系列データを処理する

データセットに欠落した値がある場合、次のいずれかを実行できます。

欠落した値を帰属化するには、値を指定するか、推論法を使用してデータを置き換えます。以下に、補間に使用できる方法を示します。

補間法によっては、データセット内の一部の欠落値を帰属化できない場合があります。例えば、[Forward fill] (フォワードフィル) で時系列の先頭に表示される欠落値を計算することはできません。フォワードフィルまたはバックフィルを使用して値を帰属化できます。

セル内または列内の欠落値を帰属化できます。

次の例は、セル内で値がどのように帰属化されるかを示しています。

欠落値のある電力使用量

フォワードフィルを使用して帰属化した値による電力使用量

次の例は、列内で値がどのように帰属化されるかを示しています。

欠落値のある 1 日の平均世帯電力使用量

フォワードフィルを使用して帰属化した値による平均日次電力使用量

次の手順に従って、欠落値を処理できます。

時系列データのタイムスタンプを検証する

無効なタイムスタンプデータが含まれている可能性があります。[Validate time stamp] (タイムスタンプを検証) 機能を使用して、データセット内のタイムスタンプが有効かどうかを判断できます。タイムスタンプは、次の 1 つ以上の理由で無効になる可能性があります。

データセットに無効なタイムスタンプがある場合、分析を正常に実行することはできません。Data Wrangler を使用して無効なタイムスタンプを特定し、データを消去する必要がある場所を把握できます。

時系列の検証は、次の 2 つの方法のいずれかで動作します。

データセットに欠落値が見つかった場合に次のいずれかの操作を実行するように Data Wrangler を構成できます。

タイムスタンプは、timestamp 型または string 型がある列で検証できます。列に string 型がある場合、Data Wrangler はその列の型を timestamp に変換し、検証を実行します。

次の手順に従って、データセット内のタイムスタンプを検証できます。

時系列の長さを標準化する

時系列データを配列として保存している場合、各時系列を同じ長さに標準化できます。時系列配列の長さを標準化すると、データの分析を簡単に実行できる場合があります。

データの長さを固定する必要があるデータ変換のために時系列を標準化できます。

多くの ML アルゴリズムでは、時系列データを使用する前にフラット化する必要があります。時系列データのフラット化とは、時系列の各値をデータセット内の独自の列に分割することです。データセット内の列数は変更できないため、各配列を特徴セットにフラット化して時系列の長さを標準化する必要があります。

各時系列は、時系列セットの分位または百分位として指定した長さに設定されます。例えば、次の長さの 3 つのシーケンスを使用できます。

すべてのシーケンスの長さを 50 番目の百分位の長さとして設定できます。

指定した長さより短い時系列配列には、欠落値が追加されます。次に、時系列をより長い [2, 4, 5, NaN, NaN, NaN] に標準化する形式の例を示します。

さまざまなアプローチを使用して欠落値を処理できます。これらのアプローチの詳細については、「欠落している時系列データを処理する」を参照してください。

指定した長さよりも長い時系列配列は切り捨てられます。

次の手順を使用して、時系列の長さを標準化できます。

時系列データから特徴を抽出する

時系列データに対して分類または回帰アルゴリズムを実行している場合、アルゴリズムを実行する前に時系列から特徴量を抽出することをお勧めします。特徴を抽出すると、アルゴリズムのパフォーマンスが向上する可能性があります。

次のオプションを使用して、データから特徴を抽出する方法を選択します。

次の手順を使用して、時系列データから特徴を抽出します。

時系列データから遅延特徴を使用する

多くのユースケースにおいて、時系列の将来の動作を予測する最良の方法は、最新の動作を使用することです。

遅延特徴の最も一般的な用途は次のとおりです。

時系列に日時範囲を作成する

タイムスタンプのない時系列データが含まれている場合があります。観測値が一定の間隔で取得されたことがわかっている場合、個別の列で時系列のタイムスタンプを生成できます。タイムスタンプを生成するには、開始タイムスタンプの値とタイムスタンプの頻度を指定します。

例えば、レストランの顧客数に関する次のような時系列データがあるとします。

レストランの顧客数に関する時系列データ

レストランが午後 5 時にオープンし、観測値が 1 時間ごとに取得されることがわかっている場合、時系列データに対応するタイムスタンプ列を追加できます。次の表にタイムスタンプの列を示します。

レストランの顧客数に関する時系列データ

次の手順に従って、データに日時範囲を追加します。

時系列でローリングウィンドウを使用する

一定の期間にわたって特徴を抽出できます。例えば、時間 t、時間枠長 3、t 番目のタイムスタンプを示す行の場合、時系列から抽出される特徴を時間 t - 3、t -2、t - 1 で追加します。特徴の抽出の詳細については、「時系列データから特徴を抽出する」を参照してください。

次の手順に従って、一定の期間にわたって特徴を抽出できます。

日時を特徴化

[日付/時刻を特徴化] を使用して、日時フィールドを表すベクトルの埋め込みを作成します。この変換を使用するには、日時データが次のいずれかの形式で指定されている必要があります。

[Infer datetime format] (日時形式を推測) を選択して [Datetime format] (日時形式) を指定できます。日時の形式を指定する場合、「Python ドキュメント」で説明するコードを使用する必要があります。これら 2 つの構成に対して選択するオプションは、オペレーションの速度と最終結果に影響します。

この変換を使用する場合、前述したいずれかの形式の日時データが含まれている [入力列] を指定します。この変換により、[Output column name] (出力列名) という名前の出力列が作成されます。出力列の形式は、次を使用した構成によって異なります。

また、[Embedding mode] (埋め込みモード) を選択する必要があります。線形モデルと深層ネットワークの場合、[周期的] が推奨されます。ツリーベースのアルゴリズムでは、[序数] が推奨されます。

文字列の形式を設定する

[Format String] (文字列の形式を設定) 変換には、標準の文字列形式を設定するオペレーションが含まれます。例えば、これらのオペレーションを使用して、特殊文字の削除、文字列長の正規化、文字列の大文字と小文字の更新を行うことができます。

この特徴グループには、次の変換が含まれます。すべての変換は、[Input column] (入力列) で文字列のコピーを返し、結果を新しい出力列に追加します。

外れ値を処理する

機械学習モデルは、特徴値のディストリビューションと範囲の影響を受けます。外れ値や、希少値は、モデルの精度に悪影響を及ぼし、トレーニング時間が長くなる可能性があります。この特徴グループを使用して、データセット内の外れ値を検出して更新します。

[Handle outliers] (外れ値を処理) 変換ステップを定義すると、外れ値の検出に使用される統計は、このステップの定義時に Data Wrangler で使用可能なデータに対して生成されます。Data Wrangler ジョブの実行時に、これらの同じ統計が使用されます。

このグループに含まれる変換の詳細については、次のセクションを参照してください。[Output name] (出力名) を指定すると、これらの各変換により、結果データを含む出力列が生成されます。

堅牢な標準偏差の数値外れ値

この変換は、外れ値に堅牢な統計を使用して、数値特徴の外れ値を検出して修正します。

[上限分位] と [下限分位] を定義する必要があります。これは外れ値の計算に使われる統計で使用されます。また、値を外れ値と見なすために必要な平均値からの変化として、[標準偏差] の数値を指定する必要があります。例えば、[Standard deviations] (標準偏差) に 3 を指定すると、外れ値と見なすためには、平均値から 3 標準偏差より低い値である必要があります。

[Fix method] (修正方法) は検出された外れ値の処理に使用する方法です。次から選択できます。

標準偏差の数値外れ値

この変換は、平均値と標準偏差を使用して、数値特徴の外れ値を検出して修正します。

値を外れ値と見なすために必要な平均値からの変化として、[Standard deviations] (標準偏差) の数を指定します。例えば、[Standard deviations] (標準偏差) に 3 を指定すると、外れ値と見なすためには、平均値から 3 標準偏差より低い値である必要があります。

[Fix method] (修正方法) は検出された外れ値の処理に使用する方法です。次から選択できます。

分位数の外れ値

この変換を使用して、分位数を使った数値特徴の外れ値を検出して修正します。[上限分位] と [下位分位] を定義できます。上限分位を上回る値または下位分位を下回る値はすべて外れ値と見なされます。

[Fix method] (修正方法) は検出された外れ値の処理に使用する方法です。次から選択できます。

最小-最大数値外れ値

この変換は、上限と下限しきい値を使用して、数値特徴の外れ値を検出して修正します。外れ値を定めるしきい値がわかっている場合は、この方法を使用します。

[Upper threshold] (上限しきい値) と [Lower threshold] (下限しきい値) であり、値がこれらのしきい値を上回ったり下回ったりすると、外れ値と見なされます。

[Fix method] (修正方法) は検出された外れ値の処理に使用する方法です。次から選択できます。

希少値を置き換え

[Replace rare] (希少値を置き換え) 変換を使用してしきい値を指定すると、Data Wrangler はそのしきい値を満たすすべての値を検出し、指定した文字列に置き換えます。例えば、この変換を使用して、列のすべての外れ値を「その他」カテゴリに分類できます。

欠落した値を処理する

欠落値は機械学習データセットで一般的に発生します。状況によっては、欠落したデータを、平均値やカテゴリで共通の値などの計算値で帰属化することが推奨されます。欠落した値は、[Handle missing values] (欠落値を処理) 変換グループを使用して処理できます。このグループには、次の変換が含まれます。

欠落値を入力する

[Fill missing] (欠落値を入力) を使用して、欠落値を定義した [Fill value] (入力値) と置き換えます。

欠落値を帰属化する

[Impute missing] (欠落値を帰属化) 変換を使用して、入力カテゴリと数値データで欠落値が見つかった帰属化された値を含む新しい列を作成します。設定は、データ型によって異なります。

数値データの場合、帰属化する新しい値を決定するために使用する戦略として、計算戦略を選択します。データセットに存在する値に対して平均値または中央値を帰属化するかを選択できます。Data Wrangler は、計算した値を使用して欠落値を帰属化します。

カテゴリ別データの場合、Data Wrangler は列内で最も頻度の高い値を使用して欠落値を帰属化します。カスタム文字列を帰属化するには、代わりに [Fill missing] (欠落値を入力) 変換を使用します。

欠落値のインジケータを追加する

[欠落値のインジケータを追加] 変換を使用して、行に値が含まれている場合は "false"、行に欠落値が含まれている場合は "true" のブール値を含む新しいインジケータ列を作成します。

欠落値をドロップする

[Drop missing] (欠落値をドロップ) オプションを使用して、欠落値を含む行を [Input column] (入力列) からドロップします。

列を管理する

次の変換を使用して、データセットの列をすばやく更新および管理できます。

行を管理する

この変換グループを使用して、行の並べ替えとシャッフルオペレーションをすばやく実行できます。このグループには、次が含まれます。

ベクトルを管理する

この変換グループを使用して、ベクトル列を結合またはフラット化します。このグループには、次の変換が含まれます。

数値を処理する

[Process Numeric] (数値を処理) 特徴グループを使用して数値データを処理できます。このグループの各スカラーは Spark ライブラリを使用して定義されます。以下のスケーラーがサポートされています。

サンプリング

データをインポートしたら、サンプリングトランスフォーマーを使用して、データの 1 つ以上のサンプルを取得できます。サンプリングトランスフォーマーを使用すると、Data Wrangler は元のデータセットをサンプリングします。

次のいずれかのサンプリング方法を選択できます。

ランダム化されたサンプルを層別化して、それがデータセットの元の分布を表していることを確認できます。

複数のユースケースに対してデータ準備を行っている場合があります。ユースケースごとに異なるサンプルを採取し、異なる変換セットを適用できます。

以下の手順では、ランダムサンプルを作成するプロセスを説明します。

以下の手順では、層別化サンプルを作成するプロセスを説明します。

検索および編集

このセクションでは、文字列内の特定のパターンを検索および編集する方法について説明します。例えば、文やドキュメント内の文字列を検索して更新したり、区切り文字で文字列を分割したり、特定の文字列の出現を検索したりできます。

次の変換は、[Search and edit] (検索および編集) でサポートされています。すべての変換は、[Input column] (入力列) で文字列のコピーを返し、結果を新しい出力列に追加します。

データの分割

[データの分割] 変換を使用して、データセットを 2 つまたは 3 つのデータセットに分割します。例えば、データセットをモデルのトレーニングに使用するデータセットとテストに使用するデータセットに分割できます。各分割に含まれるデータセットの割合を決定できます。例えば、1 つのデータセットを 2 つのデータセットに分割する場合、トレーニングデータセットには 80% のデータが含まれ、テストデータセットには 20% のデータが含まれるようにできます。

データを 3 つのデータセットに分割すると、トレーニング、検証、テストのデータセットを作成できます。ターゲット列をドロップすると、テストデータセットでのモデルのパフォーマンスを確認できます。

ユースケースによって、各データセットが取得する元のデータセットの量と、データの分割に使用する方法が決まります。例えば、層別化分割を使用して、ターゲット列の観測値の分布がデータセット全体で同じになるようにしたいかもしれません。次の分割変換を使用できます。

データを分割したら、各データセットに追加の変換を適用できます。ほとんどのユースケースでは、これらは必要ありません。

Data Wrangler は分割の比率を計算してパフォーマンスを向上させます。誤差のしきい値を選択して分割の精度を設定できます。誤差のしきい値を低くすると、分割に指定した比率がより正確に反映されます。誤差のしきい値を高く設定すると、パフォーマンスは向上しますが、精度は低下します。

データを完全に分割するには、エラーしきい値を 0 に設定します。パフォーマンスを向上させるために 0 から 1 までのしきい値を指定できます。1 より大きい値を指定した場合、Data Wrangler はその値を 1 と解釈します。

データセットに 10,000 行あり、誤差 0.001 で 80/20 の分割を指定した場合、次の結果のいずれかに近い観測値が得られます。

前の例のテストセットの観測値の数は 8,010～7,990 の間です。

デフォルトでは、Data Wrangler はランダムシードを使用して分割を再現できるようにします。シードに別の値を指定して、再現可能な別の分割を作成できます。

Parse Value as Type (値を型として解析)

この変換を使用して、列を新しい型にキャストします。サポートされている Data Wrangler のデータ型は次のとおりです。

文字列を検証する

[Validate string] (文字列を検証) 変換で、テキストデータの行が指定された条件を満たしていることを示す新しい列を作成します。例えば、[Validate string] (文字列を検証) 変換を使用して、文字列に小文字のみが含まれていることを確認します。次の変換は、[Validate string] (文字列を検証) でサポートされています。

この変換グループには、次の変換が含まれています。変換がブール値を出力する場合、True は 1 で、False は 0 で表されます。

ネスト解除JSONデータ

.csv ファイルがある場合は、データセットにJSON文字列である値がある場合があります。同様に、Parquet ファイルまたはJSONドキュメントの列にデータをネストしている場合があります。

構造化されたフラット化演算子を使用して、最初のレベルのキーを別々の列に分割します。第 1 レベルのキーは、値内にネストされていないキーです。

例えば、各人物の属性情報をJSON文字列として保存した人物列を持つデータセットがあるとします。JSON 文字列は次のようになります。

 "{"seq": 1,"name": {"first": "Nathaniel","last": "Ferguson"},"age": 59,"city": "Posbotno","state": "WV"}"
            

構造化されたフラット化演算子は、次の第 1 レベルのキーをデータセット内の追加の列に変換します。

Data Wrangler はキーの値を列の下の値として配置します。以下は、 の列名と値を示していますJSON。

seq, name,                                    age, city, state
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV
            

を含むデータセット内の値ごとにJSON、構造化演算子のフラット化によって、第 1 レベルのキーの列が作成されます。ネストされたキーの列を作成するには、演算子を再度呼び出します。前述の例では、演算子を呼び出すと列が作成されます。

次の例は、オペレーションを再度呼び出した結果のデータセットを示しています。

seq, name,                                    age, city, state, name_first, name_last
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV, Nathaniel, Ferguson
            

[フラット化するキー] を選択して、個別の列として抽出する第 1 レベルのキーを指定します。キーを指定しない場合、Data Wrangler はデフォルトですべてのキーを抽出します。

配列の分解

[配列の分解] を使用して、配列の値を個別の出力行に展開します。例えば、このオペレーションでは、配列 [[1, 2, 3,], [4, 5, 6], [7, 8, 9]] の各値を取得し、次の行を含む新しい列を作成できます。

                [1, 2, 3]
                [4, 5, 6]
                [7, 8, 9]
            

Data Wrangler は、新しい列に input_column_name_flatten という名前を付けます。

[配列の分解] オペレーションを複数回呼び出して、配列のネストされた値を個別の出力列に取得できます。次の例は、ネストされた配列を持つデータセットに対してオペレーションを複数回呼び出した結果を示しています。

ネストされた配列の値を別の列に配置する

画像データを変換する

Data Wrangler を使用して、機械学習 (ML) パイプラインに使用している画像をインポートして変換します。画像データを準備したら、それを Data Wrangler フローから ML パイプラインにエクスポートできます。

ここに記載されている情報を使用して、Data Wrangler での画像データのインポートと変換に慣れることができます。Data Wrangler は OpenCV を使用して画像をインポートします。サポートされている画像形式について詳しくは、「Image file reading and writing」を参照してください。

イメージデータの変換の概念を理解したら、次のチュートリアル「Amazon SageMaker Data Wrangler でイメージデータを準備する」を参照してください。

次の業界とユースケースは、変換された画像データへの機械学習の適用が役立つ例です。

Data Wrangler で画像データを操作する場合、次のプロセスを実行します。

次の手順に従って、画像データをインポートします。

Data Wrangler は、組み込みの画像変換にオープンソースの imgaug ライブラリを使用します。以下の組み込みの変換を使用できます。

コードを記述せずに画像を変換するには、以下の手順を使用します。

Data Wrangler が提供する変換を使用するだけでなく、独自のカスタムコードスニペットを使用することもできます。カスタムコードスニペットの使用の詳細については、「カスタム変換」を参照してください。OpenCV ライブラリと imgaug ライブラリをコードスニペットにインポートすれば、それらに関連する変換を使用できます。以下は、画像内のエッジを検出するコードスニペットの例です。

# A table with your image data is stored in the `df` variable
import cv2
import numpy as np
from pyspark.sql.functions import column

from sagemaker_dataprep.compute.operators.transforms.image.constants import DEFAULT_IMAGE_COLUMN, IMAGE_COLUMN_TYPE
from sagemaker_dataprep.compute.operators.transforms.image.decorators import BasicImageOperationDecorator, PandasUDFOperationDecorator


@BasicImageOperationDecorator
def my_transform(image: np.ndarray) -> np.ndarray:
  # To use the code snippet on your image data, modify the following lines within the function
    HYST_THRLD_1, HYST_THRLD_2 = 100, 200
    edges = cv2.Canny(image,HYST_THRLD_1,HYST_THRLD_2)
    return edges
    

@PandasUDFOperationDecorator(IMAGE_COLUMN_TYPE)
def custom_image_udf(image_row):
    return my_transform(image_row)
    

df = df.withColumn(DEFAULT_IMAGE_COLUMN, custom_image_udf(column(DEFAULT_IMAGE_COLUMN)))
        

Data Wrangler フローで変換を適用すると、Data Wrangler はデータセット内の画像のサンプルにのみ変換を適用します。アプリケーションの操作性を最適化するため、Data Wrangler は変換をすべての画像に適用するわけではありません。

データのフィルタリング

Data Wrangler を使用して列内のデータをフィルターします。列内のデータをフィルターするときは、次のフィールドを指定します。

以下でフィルターできます。

カテゴリ male および female を含む列の場合は、male の値をすべて除外できます。また、すべての female の値をフィルターすることもできます。列には male と female の値しかないため、フィルターは female の値のみを含む列を返します。

複数のフィルターを追加することもできます。フィルターは複数の列または同じ列に適用できます。例えば、特定の範囲内の値のみを含む列を作成する場合は、2 つの異なるフィルターを追加します。1 つのフィルターでは、列には指定した値より大きい値が必要であることを指定します。もう 1 つのフィルターでは、列には指定した値より小さい値が必要であることを指定します。

次の手順を使用して、フィルター変換をデータに追加します。