Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Crear una configuración de trabajo de perfil mediante programación en AWS Glue DataBrew En esta sección, encontrará descripciones de los pasos y funciones de los trabajos de perfil que puede utilizar mediante programación. Puede utilizarlos desde AWS Command Line Interface(AWS CLI) o mediante uno de los AWS SDK. En un trabajo de perfil, puedes personalizar una configuración para controlar cómo se DataBrew evalúa tu conjunto de datos. Puede aplicar la configuración a un conjunto de datos o aplicarla a columnas concretas. Puede crear la configuración al crear un trabajo de perfil y, a continuación, actualizarla en cualquier momento. La estructura de configuración de un perfil incluye cuatro partes: + [ProfileColumns sección](#profile-columns.statistics) + [DatasetStatisticsConfiguration sección](#profile-dataset-stats-config) + [ColumnStatisticsConfigurations sección](#profile-column-stats-config) + [EntityDetectorConfiguration sección para configurar la PII](#entity-detector-configuration) A continuación se muestra un ejemplo. ``` { "ProfileColumns": [ { "Name": "example" }, { "Regex": "example.*" } ], "DatasetStatisticsConfiguration": { "IncludedStatistics": [ "CORRELATION" ], "Overrides": [ { "Statistic": "CORRELATION", "Parameters": { "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]" } } ] }, "ColumnStatisticsConfigurations": [ { "Selectors": [ { "Name": "example" } ], "Statistics": { "IncludedStatistics": [ "CORRELATION", "DUPLICATE_ROWS_COUNT" ], "Overrides": [ { "Statistic": "VALUE_DISTRIBUTION", "Parameters": { "binNumber": "10" } } ] } } ] } ``` ## ProfileColumns sección En la `ProfileColumns` sección de tu estructura, establece las columnas del conjunto de datos que deseas evaluar en tu puesto de perfil. `ProfileColumns`es una lista de selectores de columnas (`Selectors`). Puede especificar un nombre de columna o una expresión regular en un selector de columnas. Ejemplo: ``` "ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}] ``` Si `ProfileColumns` se especifica, solo se incluyen en el trabajo de perfil las columnas cuyos nombres `ProfileColumns` coincidan con un nombre o una expresión regular. Si el trabajo del perfil no admite el tipo de datos de una columna seleccionada, DataBrew omite la columna seleccionada durante la ejecución del trabajo. Si no ProfileColumns está definido, el trabajo del perfil evalúa todas las columnas compatibles. Las columnas compatibles son columnas que contienen datos de un tipo de datos compatible: `ByteType``ShortType`,`IntegerType`,`LongType`,, `FloatType` `DoubleType``String`, o. `Boolean` ## DatasetStatisticsConfiguration sección En la `DatasetStatisticsConfiguration` sección de su estructura, puede crear una configuración para las evaluaciones entre columnas. La configuración incluye `IncludedStatistics` y. `Overrides` Ejemplo: ``` "DatasetStatisticsConfiguration": { "IncludedStatistics": ["CORRELATION"], "Overrides": [ { "Statistic": "CORRELATION", "Parameters": { "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]" } } ] } ``` Puede seleccionar las evaluaciones que desee tener añadiendo nombres a las evaluaciones`IncludedStatistics`. Ejemplo: ``` "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"] ``` Si lo especifica`IncludedStatistics`, solo las evaluaciones de la lista se incluyen en el trabajo del perfil. Si no `IncludedStatistics` está definido, el trabajo de perfil ejecuta todas las evaluaciones compatibles con la configuración predeterminada. Puede excluir todas las evaluaciones añadiendo NINGUNA a`IncludedStatistics`. Ejemplo: ``` "IncludedStatistics": ["NONE"] ``` ### Estadísticas configurables a nivel de conjunto de datos En la `DatasetStatisticsConfiguration` sección de su estructura, un puesto de perfil respalda las evaluaciones que se muestran en la siguiente tabla. | **Nombre de la estadística** | **Descripción** | **Tipos de datos compatibles** | **Estado predeterminado** | **Atributos del resultado del perfil** | **Tipo de resultado del perfil** | | --- | --- | --- | --- | --- | --- | | DUPLICATE\_ROWS\_COUNT | Recuento de filas duplicadas en el conjunto de datos | all | Habilitado | duplicado RowsCount | Int | | CORRELACIÓN | Coeficiente de correlación de Pearson entre dos columnas | número | Habilitado | correlaciones (en cada columna seleccionada) | Objeto | En`IncludedStatistics`, puede anular la configuración predeterminada de cada evaluación añadiendo una anulación. Cada anulación incluye el nombre de una evaluación concreta y un mapa de parámetros. En`DatasetStatisticsConfiguration`, un trabajo de perfil admite la `CORRELATION` anulación. Esta anulación calcula el coeficiente de correlación de Pearson entre dos columnas de una lista de columnas seleccionadas. La configuración predeterminada es seleccionar las 10 primeras columnas numéricas. Puede especificar un número de columnas o una lista de selectores de columnas para anular la configuración predeterminada. `CORRELATION`toma estos parámetros: + `columnNumber`— El número de columnas numéricas. El trabajo de perfil selecciona las *n* primeras columnas del conjunto de datos. Este valor debe ser superior a 1. Se utiliza `"ALL"` para seleccionar todas las columnas numéricas. + `columnSelectors:`— Lista de selectores de columnas. Cada selector puede tener un nombre de columna o una expresión regular. Ejemplo: ``` { "Statistic": "CORRELATION", "Parameters": { "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]" } } ``` ## ColumnStatisticsConfigurations sección En la `ColumnStatisticsConfigurations` sección de su estructura, puede crear configuraciones para columnas específicas. `ColumnStatisticsConfigurations`es una lista de `ColumnStatisticsConfiguration` ajustes. En `ColumnStatisticsConfiguration` ella hay `Selectors` una lista de selectores de columnas y `Statistics` para la configuración de las estadísticas. Ejemplo: ``` { "Selectors": [{"Name": "example"} ], "Statistics": { "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"] "Overrides": [ { "Statistic": "VALUE_DISTRIBUTION", "Parameters": { "binNumber": "10" } } ] } } ``` `Selectors`es una lista de selectores de columnas. Al igual que en este caso`ProfileColumns`, puede especificar un nombre de columna o una expresión regular en cada selector de columnas. Si lo especifica`Selectors`, la configuración de columnas se aplica a las columnas que coincidan con cualquier selector de columnas`Selectors`. De lo contrario, la configuración se aplica a todas las columnas compatibles. En`Statistics`, puede anular la configuración de las columnas seleccionadas. Al igual que con`DatasetStatisticsConfiguration`, `Statistics` tiene `IncludedStatistics` y. `Overrides` Para seleccionar las evaluaciones que desee, añada los nombres de las evaluaciones a`IncludedStatistics`. ``` "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"] ``` Si lo especifica`IncludedStatistics`, solo las evaluaciones de la lista se incluyen en el trabajo del perfil. De lo contrario, el trabajo de perfil ejecuta todas las evaluaciones compatibles con la configuración predeterminada. Puede excluir todas las evaluaciones añadiendo `NONE` a`IncludedStatistics`. ``` "IncludedStatistics": ["NONE"] ``` En algunos casos, es posible `ColumnStatisticsConfigurations` que haya varias configuraciones diferentes `IncludedStatistics` que se puedan aplicar a la misma columna. En estos casos, el trabajo de perfil selecciona la última configuración `ColumnStatisticsConfigurations` y la aplica `IncludedStatistics` a la columna seleccionada. Una nueva configuración anula las configuraciones anteriores. ### Estadísticas configurables a nivel de columna En`ColumnStatisticsConfigurations`, un trabajo de perfil respalda las evaluaciones que se muestran en la siguiente tabla. Un tipo de datos admitido `number` en esta tabla significa que el tipo de datos del atributo es uno de los siguientes: `ByteType``ShortType`,`IntegerType`,`LongType`,`FloatType`, o`DoubleType`. | **Nombre de la estadística** | **Descripción** | **Tipos de datos compatibles** | **Estado predeterminado** | **Atributos del resultado del perfil** | **Tipo de resultado del perfil** | | --- | --- | --- | --- | --- | --- | | – | El nombre de la columna. | all | – | name | cadena | | – | Tipo de datos de la columna. | all | – | type | cadena | | CONTEO DE VALORES DISTINTIVOS | Número de valores distintos. Un *valor distinto* es un valor que aparece al menos una vez. | number/boolean/cadena | Habilitado | distinto ValuesCount | Int | | ENTROPÍA | Entropía (teoría de la información). | number/boolean/cadena | Habilitado | entropía | Double | | RANGO INTER\_CUARTIL | Oscila entre el 25 y el 75 por ciento de los números. | número | Habilitado | Rango intercuartil | Double | | CURTOSIS | Curtosis de la columna. | número | Habilitado | curtosis | Double | | MAX | Valor máximo de la columna. | number/string longitud | Habilitado | max | Int/Double | | VALORES\_MÁXIMOS | Lista de los valores máximos de la columna y sus recuentos. | número | Habilitado | Valores máximos | Enumeración | | MEAN | Valor medio de los valores de la columna. | number/string longitud | Habilitado | mean | Double | | MEDIAN | Mediana de los valores de la columna. | number/string longitud | Habilitado | median | Double | | DESVIACIÓN ABSOLUTA MEDIA | La mediana de las diferencias absolutas entre cada punto de datos y la mediana de una columna numérica. | número | Habilitado | mediana AbsoluteDeviation | Double | | MIN | Valor mínimo de la columna. | number/string longitud | Habilitado | min | Int/Double | | VALORES\_MÍNIMOS | Lista de los valores mínimos de la columna y sus recuentos. | número | Habilitado | Valores mínimos | Enumeración | | CONTEO DE VALORES FALTANTES | Número de valores faltantes en la columna. Las cadenas nulas y vacías se consideran ausentes. | all | Habilitado | falta ValuesCount | Int | | MODE | El valor que aparece con más frecuencia en la columna. Si varios valores aparecen con esa frecuencia, la moda es uno de esos valores. | number/string longitud | Habilitado | mode | Int/Double | | VALORES MÁS COMUNES | Lista de los valores más comunes de la columna. | number/boolean/cadena | Habilitado | la mayoría CommonValues | Enumeración | | DETECCIÓN DE VALORES ATÍPICOS | Detecta valores atípicos en la columna mediante el algoritmo Z\_score. Cuente el número de valores atípicos y extraiga una lista de muestras de los valores atípicos detectados. | number/string longitud | Habilitado | zScoreOutliersCount, z ScoreOutliersSample | Int/List | | PERCENTILES | Valores percentiles de la columna numérica (5%, 25%, 75%, 95%). | número | Habilitado | percentil 5, percentil 25, percentil 75, percentil 95 | Double | | RANGE | Rango de valores de la columna. | número | Habilitado | rango | Int/Double | | ASIMETRÍA | Asimetría de los valores de la columna. | número | Habilitado | asimetría | Double | | DESVIACIÓN\_ESTÁNDAR | Desviación estándar muestral imparcial de los valores de la columna. | number/string longitud | Habilitado | Desviación estándar | Double | | SUM | Suma de los valores de la columna. | número | Habilitado | sum | Int/Double | | CONTEO DE VALORES ÚNICOS | Número de valores únicos. Un valor único significa que el valor aparece solo una vez. | number/boolean/cadena | Habilitado | único ValuesCount | Int | | DISTRIBUCIÓN DE VALORES | Medida de la distribución de los valores de la columna por rango. | number/string longitud | Habilitado | Distribución de valores | Enumeración | | VARIANCE | Varianza de los valores de la columna. | número | Habilitado | variance | Double | | Z\_SCORE\_DISTRIBUTION | Medida de la distribución de los valores de puntuación z de los puntos de datos por rango. | número | Habilitado | z ScoreDistribution | Enumeración | | ZEROS\_COUNT | Número de ceros (0s) en la columna. | número | Habilitado | Zero/Count | Int | En`IncludedStatistics`, puede anular los parámetros predeterminados de cada evaluación añadiendo una anulación. Cada anulación incluye el nombre de una evaluación concreta y un mapa de parámetros. ## Parámetros de las columnas ColumnStatisticsConfigurations En`ColumnStatisticsConfigurations`, un trabajo de perfil admite los siguientes parámetros. En algunos casos, es posible `ColumnStatisticsConfigurations` que haya varias configuraciones diferentes `IncludedStatistics` que se puedan aplicar a la misma columna. En estos casos, el trabajo de perfil selecciona la última configuración `ColumnStatisticsConfigurations` y la aplica `IncludedStatistics` a la columna seleccionada. Una nueva configuración anula las configuraciones anteriores. ### VALORES\_MÁXIMOS Muestra los valores máximos de la columna numérica y sus recuentos. El tamaño predeterminado de la lista es 5. Puede anular el tamaño de la lista especificando un valor para`sampleSize`. **Configuración** `sampleSize`— El tamaño de la lista que incluye el número máximo y el recuento de valores de la columna numérica. Este valor debe ser mayor que 0. Se utiliza `"ALL"` para enumerar todos los valores. **Ejemplo** ``` { "Statistic": "MAXIMUM_VALUES", "Parameters": { "sampleSize": "5" } } ``` ### VALORES\_MÍNIMOS Muestra los valores mínimos de la columna numérica y sus recuentos. El tamaño predeterminado de la lista es 5. Puede anular el tamaño de la lista especificando un valor para`sampleSize`. **Configuración** `sampleSize`— El tamaño de la lista que incluye el número máximo y el recuento de valores de la columna numérica. Este valor debe ser mayor que 0. Se utiliza `"ALL"` para enumerar todos los valores. **Ejemplo** ``` { "Statistic": "MINIMUM_VALUES", "Parameters": { "sampleSize": "5" } } ``` ### LOS VALORES MÁS COMUNES Muestra los valores más comunes de la columna y sus recuentos. El tamaño predeterminado de la lista es 50. Puede anular el tamaño de la lista especificando un valor para`sampleSize`. **Configuración** `sampleSize`— El tamaño de la lista que incluye el número máximo y el recuento de valores de la columna numérica. Este valor debe ser mayor que 0. Se utiliza `"ALL"` para enumerar todos los valores. **Ejemplo** ``` { "Statistic": "MOST_COMMON_VALUES", "Parameters": { "sampleSize": "50" } } ``` ### DETECCIÓN DE VALORES ATÍPICOS Detecta los valores atípicos en la columna numérica o en la columna de cadenas (en función de la longitud de la cadena) mediante el algoritmo z\_Score. Su trabajo de perfil cuenta el número de valores atípicos y genera una lista de muestra de valores atípicos y sus puntuaciones z. La lista de muestras está ordenada por el valor absoluto de la puntuación z. El tamaño predeterminado de la lista es 50. El algoritmo Z\_Score identifica un valor como un valor atípico cuando se desvía de la media por encima del umbral de desviación estándar. El umbral de valores atípicos predeterminado es 3. Puede proporcionar un umbral más, un umbral leve, para obtener más información. El umbral leve debe ser inferior al umbral. Esta función está desactivada de forma predeterminada. Cuando se especifica un umbral leve, su trabajo de perfil devuelve un recuento más,`zScoreMildOutliersCount`. También `zScoreOutliersSample` puede incluir una muestra de valores atípicos leves en este caso. **Configuración** + `threshold`— El valor umbral que se utilizará al detectar valores atípicos. Este valor debe ser mayor o igual a 0. + `mildThreshold`— El valor umbral leve que se utilizará al detectar valores atípicos. Este valor debe ser mayor o igual a 0 e inferior `threshold` a. + `sampleSize`— El tamaño de la lista que incluye los valores atípicos en la columna. Se utiliza `"ALL"` para enumerar todos los valores. **Ejemplo** ``` { "Statistic": "OUTLIER_DETECTION", "Parameters": { "threshold": "5", "mildThreshold": "3.5", "sampleSize": "20" } } ``` ### DISTRIBUCIÓN DE VALORES Mide la distribución de los valores de la columna según los rangos de los valores. Un trabajo de perfil agrupa los valores de una columna numérica o una columna de cadenas (en función de la longitud de la cadena) en grupos por rangos numéricos y genera una lista de grupos. Los intervalos son consecutivos y el límite superior de un depósito es el límite inferior del siguiente depósito. **Configuración** ` binNumber`— Número de compartimentos. Este valor debe ser superior a 0. **Ejemplo** ``` { "Statistic": "VALUE_DISTRIBUTION", "Parameters": { "binNumber": "5" } } ``` ### Z\_SCORE\_DISTRIBUTION Mide la distribución de las puntuaciones z de los valores en una columna numérica. Un trabajo de perfil agrupa las puntuaciones z de los valores en grupos por rangos numéricos y genera una lista de grupos. Los rangos son consecutivos y el límite superior de un grupo es el límite inferior del siguiente grupo. **Configuración** ` binNumber`— Número de compartimentos. Este valor debe ser superior a 0. **Ejemplo** ``` { "Statistic": "Z_SCORE_DISTRIBUTION", "Parameters": { "binNumber": "5" } } ``` ## EntityDetectorConfiguration sección para configurar la PII En la `EntityDetectorConfiguration` sección de su estructura, puede configurar los tipos de entidades de su conjunto de datos que desea DataBrew detectar como **información de identificación personal** (PII) para un puesto de perfil. ### EntityTypes Puede configurar los tipos de entidades que desea DataBrew detectar como PII para su puesto de perfil. Si no `EntityDetectorConfiguration` está definida, la detección de entidades está deshabilitada. Se pueden detectar los siguientes tipos de entidades en su conjunto de datos: + USA\_SSN + EMAIL + USA\_ITIN + USA\_PASSPORT\_NUMBER + PHONE\_NUMBER + USA\_DRIVING\_LICENSE + BANK\_ACCOUNT + CREDIT\_CARD + IP\_ADDRESS + MAC\_ADDRESS + USA\_DEA\_NUMBER + USA\_HCPCS\_CODE + USA\_NATIONAL\_PROVIDER\_IDENTIFIER + USA\_NATIONAL\_DRUG\_CODE + USA\_HEALTH\_INSURANCE\_CLAIM\_NUMBER + USA\_MEDICARE\_BENEFICIARY\_IDENTIFIER + USA\_CPT\_CODE + PERSON\_NAME + DATE También `USA_ALL` se admite el grupo de tipos de entidades, que incluye todos los tipos de entidades anteriores, excepto `PERSON_NAME` y`DATE`. El tipo de `EntityTypes` es una matriz de cadenas. ### AllowedStatistics Configure las estadísticas que se pueden ejecutar en las columnas que contienen entidades detectadas. Si no `AllowedStatistics` está definido, no se calculará ninguna estadística en las columnas que contienen entidades detectadas. Consulte [Estadísticas configurables a nivel de columna](#statistics.table02) para obtener una lista de valores válidos para el `AllowedStatistics` parámetro. El tipo de `AllowedStatistics` es una matriz de `AllowedStatistics` objetos.