翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # でプロファイルジョブ設定をプログラムで構築するAWS Glue DataBrew このセクションでは、プログラムで使用できるプロファイルジョブのステップと関数について説明します。これらは、AWS Command Line Interface(AWS CLI) から、またはいずれかのAWS SDKs を使用して使用できます。 プロファイルジョブでは、DataBrew がデータセットを評価する方法を制御するように設定をカスタマイズできます。設定をデータセットに適用するか、特定の列に適用できます。プロファイルジョブの作成時に設定を構築し、いつでも更新できます。 プロファイル設定構造には 4 つの部分があります。 + [ProfileColumns セクション](#profile-columns.statistics) + [DatasetStatisticsConfiguration セクション](#profile-dataset-stats-config) + [ColumnStatisticsConfigurations セクション](#profile-column-stats-config) + [PII を設定するための EntityDetectorConfiguration セクション](#entity-detector-configuration) 次に例を示します。 ``` { "ProfileColumns": [ { "Name": "example" }, { "Regex": "example.*" } ], "DatasetStatisticsConfiguration": { "IncludedStatistics": [ "CORRELATION" ], "Overrides": [ { "Statistic": "CORRELATION", "Parameters": { "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]" } } ] }, "ColumnStatisticsConfigurations": [ { "Selectors": [ { "Name": "example" } ], "Statistics": { "IncludedStatistics": [ "CORRELATION", "DUPLICATE_ROWS_COUNT" ], "Overrides": [ { "Statistic": "VALUE_DISTRIBUTION", "Parameters": { "binNumber": "10" } } ] } } ] } ``` ## ProfileColumns セクション 構造の `ProfileColumns`セクションで、プロファイルジョブで評価するデータセットの列を設定します。 `ProfileColumns`は列セレクタ (`Selectors`) のリストです。列セレクターでは、列名または正規表現を指定できます。以下に例を示します。 ``` "ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}] ``` `ProfileColumns` を指定すると、 の名前または正規表現に一致する名前の列のみがプロファイルジョブ`ProfileColumns`に含まれます。プロファイルジョブが選択した列のデータ型をサポートしていない場合、DataBrew はジョブの実行中に選択した列をスキップします。 ProfileColumns が未定義の場合、プロファイルジョブはサポートされているすべての列を評価します。サポートされている列は、サポートされているデータ型のデータを含む列です: `ByteType`、`ShortType`、、`IntegerType`、`LongType`、`String`、、または `FloatType` `DoubleType``Boolean`。 ## DatasetStatisticsConfiguration セクション 構造の `DatasetStatisticsConfiguration`セクションで、列間評価の設定を構築できます。設定には `IncludedStatistics`と が含まれます`Overrides`。以下に例を示します。 ``` "DatasetStatisticsConfiguration": { "IncludedStatistics": ["CORRELATION"], "Overrides": [ { "Statistic": "CORRELATION", "Parameters": { "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]" } } ] } ``` に評価名を追加することで、必要な評価を選択できます`IncludedStatistics`。以下に例を示します。 ``` "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"] ``` を指定すると`IncludedStatistics`、リスト内の評価のみがプロファイルジョブに含まれます。`IncludedStatistics` が未定義の場合、プロファイルジョブはサポートされているすべての評価をデフォルト設定で実行します。に NONE を追加することで、すべての評価を除外できます`IncludedStatistics`。以下に例を示します。 ``` "IncludedStatistics": ["NONE"] ``` ### データセットレベルで設定可能な統計 構造の `DatasetStatisticsConfiguration`セクションで、プロファイルジョブは、次の表に示す評価をサポートします。 | **統計名** | **説明** | **サポートされているデータ型** | **デフォルトのステータス** | **プロファイル結果の属性** | **プロファイル結果のタイプ** | | --- | --- | --- | --- | --- | --- | | DUPLICATE\_ROWS\_COUNT | データセット内の重複行の数 | すべて | 有効化 | duplicateRowsCount | Int | | 相関関係 | 2 つの列間のピアソン相関係数 | 数値 | 有効化 | 相関関係 (選択した各列) | オブジェクト | では`IncludedStatistics`、オーバーライドを追加することで、各評価のデフォルト設定を上書きできます。各オーバーライドには、特定の評価の名前とパラメータマップが含まれます。 では`DatasetStatisticsConfiguration`、プロファイルジョブは`CORRELATION`オーバーライドをサポートします。このオーバーライドは、選択した列のリストから 2 つの列間のピアソン相関係数を計算します。デフォルト設定では、最初の 10 個の数値列が選択されています。列の数または列セレクタのリストのいずれかを指定して、デフォルト設定を上書きできます。 `CORRELATION` は、次のパラメータを受け取ります。 + `columnNumber` – 数値列の数。プロファイルジョブは、データセットから最初の *n* 列を選択します。この値は 1 より大きくする必要があります。を使用して`"ALL"`、すべての数値列を選択します。 + `columnSelectors:` – 列セレクタのリスト。各セレクタには、列名または正規表現を含めることができます。 以下に例を示します。 ``` { "Statistic": "CORRELATION", "Parameters": { "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]" } } ``` ## ColumnStatisticsConfigurations セクション 構造の `ColumnStatisticsConfigurations`セクションでは、特定の列の設定を構築できます。 `ColumnStatisticsConfigurations`は`ColumnStatisticsConfiguration`設定のリストです。には`ColumnStatisticsConfiguration`、`Selectors`、列セレクタのリスト、および統計の設定`Statistics`用の があります。以下に例を示します。 ``` { "Selectors": [{"Name": "example"} ], "Statistics": { "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"] "Overrides": [ { "Statistic": "VALUE_DISTRIBUTION", "Parameters": { "binNumber": "10" } } ] } } ``` `Selectors` は列セレクタのリストです。と同様に`ProfileColumns`、各列セレクタで列名または正規表現を指定できます。を指定すると`Selectors`、 の任意の列セレクタに一致する列に列設定が適用されます`Selectors`。それ以外の場合、設定はサポートされているすべての列に適用されます。 では`Statistics`、選択した列の設定を上書きできます。と同様に`DatasetStatisticsConfiguration`、 `Statistics`には `IncludedStatistics`と があります`Overrides`。 必要な評価を選択するには、 に評価名を追加します`IncludedStatistics`。 ``` "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"] ``` を指定すると`IncludedStatistics`、リスト内の評価のみがプロファイルジョブに含まれます。それ以外の場合、プロファイルジョブはサポートされているすべての評価をデフォルト設定で実行します。 を `NONE`に追加することで、すべての評価を除外できます`IncludedStatistics`。 ``` "IncludedStatistics": ["NONE"] ``` 場合によっては、同じ列に適用`IncludedStatistics`できる異なる設定`ColumnStatisticsConfigurations`が に複数存在することがあります。このような場合、プロファイルジョブは で最後の設定を選択し`ColumnStatisticsConfigurations`、選択した列`IncludedStatistics`に適用します。新しい設定は、古い設定を上書きします。 ### 列レベルで設定可能な統計 では`ColumnStatisticsConfigurations`、プロファイルジョブは、次の表に示す評価をサポートします。 このテーブル`number`でサポートされている のデータ型は、属性のデータ型が `ByteType`、`ShortType`、、、`IntegerType``LongType``FloatType`、または のいずれかであることを意味します`DoubleType`。 | **統計名** | **説明** | **サポートされているデータ型** | **デフォルトのステータス** | **プロファイル結果の属性** | **プロファイル結果のタイプ** | | --- | --- | --- | --- | --- | --- | | – | 列の名前。 | すべて | – | name | string | | – | 列のデータ型。 | すべて | – | 型 | string | | DISTINCT\_VALUES\_COUNT | 個別の値の数。*個別の値は*、少なくとも 1 回表示される値です。 | number/boolean/string | 有効 | distinctValuesCount | Int | | エントロピー | Entropy (情報理論）。 | number/boolean/string | 有効 | エントロピー | Double | | INTER\_QUARTILE\_RANGE | 数値の 25 パーセントから 75 パーセントの範囲。 | 数値 | 有効 | interquartileRange | Double | | 尖度 | 列の尖度。 | 数値 | 有効 | 尖度 | Double | | MAX | 列の最大値。 | number/string の長さ | 有効 | max | Int/Double | | MAXIMUM\_VALUES | 列内の最大値とその数のリスト。 | 数値 | 有効 | maximumValues | リスト | | MEAN | 列の値の平均値。 | number/string の長さ | 有効 | mean | Double | | MEDIAN | 列の値の中央値。 | number/string の長さ | 有効 | median | Double | | MEDIAN\_ABSOLUTE\_DEVIATION | 各データポイント間の絶対差の中央値と数値列の中央値。 | 数値 | 有効 | medianAbsoluteDeviation | Double | | MIN | 列の最小値。 | number/string の長さ | 有効 | min | Int/Double | | 最小値 | 列内の最小値とその数のリスト。 | 数値 | 有効 | minimumValues | リスト | | MISSING\_VALUES\_COUNT | 列内の欠損値の数。Null および空の文字列は欠落していると見なされます。 | すべて | 有効 | missingValuesCount | Int | | MODE | 列で最も頻繁に発生する値。複数の値が頻繁に表示される場合、モードはそれらの値の 1 つです。 | number/string の長さ | 有効 | モード | Int/Double | | MOST\_COMMON\_VALUES | 列内の最も一般的な値のリスト。 | number/boolean/string | 有効 | mostCommonValues | リスト | | OUTLIER\_DETECTION | Z\_score アルゴリズムによって列内の外れ値を検出します。外れ値の数をカウントし、検出された外れ値からサンプルのリストを抽出します。 | 数値/文字列の長さ | 有効 | zScoreOutliersCount、zScoreOutliersSample | 内部/リスト | | パーセンタイル | 数値列のパーセンタイル値 (5%、25%、75%、95%)。 | 数値 | 有効 | percentile5、percentile25、percentile75、percentile95 | Double | | RANGE | 列の値の範囲。 | 数値 | 有効 | 範囲 | Int/Double | | 歪度 | 列の値の歪み。 | 数値 | 有効 | 歪度 | Double | | STANDARD\_DEVIATION | 列の値のバイアスのないサンプル標準偏差。 | 数値/文字列の長さ | 有効 | standardDeviation | Double | | SUM | 列の値の合計。 | 数値 | 有効 | sum | Int/Double | | UNIQUE\_VALUES\_COUNT | 一意の値の数。一意の値は、値が 1 回だけ表示されることを意味します。 | number/boolean/string | 有効 | uniqueValuesCount | Int | | VALUE\_DISTRIBUTION | 範囲による列の値の分布の測定値。 | 数値/文字列の長さ | 有効 | valueDistribution | リスト | | 分散 | 列の値の分散。 | 数値 | 有効 | 分散 | Double | | Z\_SCORE\_DISTRIBUTION | データポイントの z スコア値の分布を範囲別に測定します。 | 数値 | 有効 | zScoreDistribution | リスト | | ZEROS\_COUNT | 列内のゼロ (0) の数。 | 数値 | 有効 | zerosCount | Int | では`IncludedStatistics`、オーバーライドを追加することで、各評価のデフォルトパラメータをオーバーライドできます。各オーバーライドには、特定の評価の名前とパラメータマップが含まれます。 ## ColumnStatisticsConfigurations 列のパラメータ では`ColumnStatisticsConfigurations`、プロファイルジョブは次のパラメータをサポートします。 場合によっては、同じ列に適用`IncludedStatistics`できる異なる設定`ColumnStatisticsConfigurations`が に複数存在することがあります。このような場合、プロファイルジョブは で最後の設定を選択し`ColumnStatisticsConfigurations`、選択した列`IncludedStatistics`に適用します。新しい設定は、古い設定を上書きします。 ### MAXIMUM\_VALUES 数値列の最大値とその数を一覧表示します。デフォルトのリストサイズは 5 です。に値を指定することで、リストサイズを上書きできます`sampleSize`。 **設定** `sampleSize` – 数値列の値の最大数と数を含むリストのサイズ。この値は 0 より大きくする必要があります。を使用してすべての値を一覧表示`"ALL"`します。 **例** ``` { "Statistic": "MAXIMUM_VALUES", "Parameters": { "sampleSize": "5" } } ``` ### 最小値 数値列の最小値とその数を一覧表示します。デフォルトのリストサイズは 5 です。に値を指定することで、リストサイズを上書きできます`sampleSize`。 **設定** `sampleSize` – 数値列の値の最大数と数を含むリストのサイズ。この値は 0 より大きくする必要があります。を使用してすべての値を一覧表示`"ALL"`します。 **例** ``` { "Statistic": "MINIMUM_VALUES", "Parameters": { "sampleSize": "5" } } ``` ### MOST\_COMMON\_VALUES 列内の最も一般的な値とその数を一覧表示します。デフォルトのリストサイズは 50 です。に値を指定することで、リストサイズを上書きできます`sampleSize`。 **設定** `sampleSize` – 数値列の値の最大数と数を含むリストのサイズ。この値は 0 より大きくする必要があります。を使用してすべての値を一覧表示`"ALL"`します。 **例** ``` { "Statistic": "MOST_COMMON_VALUES", "Parameters": { "sampleSize": "50" } } ``` ### OUTLIER\_DETECTION Z\_score アルゴリズムによって数値列または文字列列 (文字列の長さに基づく) の外れ値を検出します。 プロファイルジョブは外れ値をカウントし、外れ値とその z スコアのサンプルリストを生成します。サンプルリストは、z スコアの絶対値によって順序付けられます。デフォルトのリストサイズは 50 です。 Z\_Score アルゴリズムは、平均値から標準偏差のしきい値を超える外れ値として値を識別します。デフォルトの外れ値のしきい値は 3 です。 詳細情報を取得するには、しきい値であるしきい値をもう 1 つ指定できます。しきい値はしきい値より小さくする必要があります。この機能はデフォルトでオフになっています。しきい値を指定すると、プロファイルジョブはさらに 1 つのカウント を返します`zScoreMildOutliersCount`。また、この場合、 にはしきい値の異常値のサンプルを含める`zScoreOutliersSample`ことができます。 **設定** + `threshold` – 外れ値を検出するときに使用するしきい値。この値は 0 以上である必要があります。 + `mildThreshold` – 外れ値を検出するときに使用するしきい値。この値は 0 以上、 未満である必要があります`threshold`。 + `sampleSize` – 列に外れ値を含むリストのサイズ。を使用してすべての値を一覧表示`"ALL"`します。 **例** ``` { "Statistic": "OUTLIER_DETECTION", "Parameters": { "threshold": "5", "mildThreshold": "3.5", "sampleSize": "20" } } ``` ### VALUE\_DISTRIBUTION 値の範囲によって列の値の分布を測定します。プロファイルジョブは、数値列または文字列列 (文字列の長さに基づく) の値を数値範囲のビンにグループ化し、ビンのリストを生成します。ビンは連続しており、バケットの上限は次のバケットの上限です。 **設定** ` binNumber` – ビンの数。この値は 0 より大きくする必要があります。 **例** ``` { "Statistic": "VALUE_DISTRIBUTION", "Parameters": { "binNumber": "5" } } ``` ### Z\_SCORE\_DISTRIBUTION 数値列における値の z スコアの分布を測定します。プロファイルジョブは、値の z スコアを数値範囲でビンにグループ化し、ビンのリストを生成します。ビンは連続しており、バケットの上限は次のバケットの上限です。 **設定** ` binNumber` – ビンの数。この値は 0 より大きくする必要があります。 **例** ``` { "Statistic": "Z_SCORE_DISTRIBUTION", "Parameters": { "binNumber": "5" } } ``` ## PII を設定するための EntityDetectorConfiguration セクション 構造の `EntityDetectorConfiguration`セクションで、DataBrew がプロファイルジョブの**個人を特定できる情報** (PII) として検出するデータセット内のエンティティタイプを設定できます。 ### EntityTypes DataBrew がプロファイルジョブの PII として検出するエンティティタイプを設定します。`EntityDetectorConfiguration` が未定義の場合、エンティティ検出は無効になります。データセットでは、次のエンティティタイプを検出できます。 + USA\_SSN + EMAIL + USA\_ITIN + USA\_PASSPORT\_NUMBER + PHONE\_NUMBER + USA\_DRIVING\_LICENSE + BANK\_ACCOUNT + CREDIT\_CARD + IP\_ADDRESS + MAC\_ADDRESS + USA\_DEA\_NUMBER + USA\_HCPCS\_CODE + USA\_NATIONAL\_PROVIDER\_IDENTIFIER + USA\_NATIONAL\_DRUG\_CODE + USA\_HEALTH\_INSURANCE\_CLAIM\_NUMBER + USA\_MEDICARE\_BENEFICIARY\_IDENTIFIER + USA\_CPT\_CODE + PERSON\_NAME + DATE エンティティタイプグループ`USA_ALL`もサポートされており、 `PERSON_NAME`と を除く上記のすべてのエンティティタイプが含まれています`DATE`。 のタイプ`EntityTypes`は文字列の配列です。 ### AllowedStatistics 検出されたエンティティを含む列で実行できる統計を設定します。`AllowedStatistics` が未定義の場合、検出されたエンティティを含む列では統計は計算されません。`AllowedStatistics` パラメータの有効な値のリスト[列レベルで設定可能な統計](#statistics.table02)については、「」を参照してください。 のタイプは オブジェクトの配列`AllowedStatistics`です`AllowedStatistics`。