Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Validación de la calidad de los datos en AWS Glue DataBrew

Para garantizar la calidad de sus conjuntos de datos, puede definir una lista de reglas de calidad de los datos en un conjunto de reglas. Un conjunto de reglas es un conjunto de reglas que comparan diferentes métricas de datos con los valores esperados. Si no se cumple alguno de los criterios de una regla, el conjunto de reglas en su conjunto no pasa la validación. A continuación, puede inspeccionar los resultados individuales de cada regla. En el caso de cualquier regla que provoque un error de validación, puede realizar las correcciones necesarias y volver a validarla.

Entre los ejemplos de reglas se incluyen los siguientes:

Puede definir cada regla para una columna individual o aplicarla de forma independiente a varias columnas seleccionadas, por ejemplo:

Una regla puede consistir en varias comprobaciones sencillas. Puede definir si todas deben ser verdaderas o alguna, por ejemplo:

Puede comprobar las reglas con valores agregados (por ejemplo maxmin, o si solo number of duplicate values se compara un valor) o con valores no agregados en cada fila de una columna. En este último caso, también puede definir un umbral «válido», comovalue in columnA > value in columnB for at least 95% of rows.

Al igual que con la información de perfil, puede definir reglas de calidad de datos a nivel de columna solo para columnas de tipos simples, como cadenas y números. No puede definir reglas de calidad de datos para columnas de tipos complejos, como matrices o estructuras. Para obtener más información sobre cómo trabajar con información de perfil, consulteCrear y trabajar con AWS Glue DataBrew trabajos de perfil.

Validación de las reglas de calidad de los datos

Una vez definido un conjunto de reglas, puede añadirlo a un trabajo de perfil para su validación. Puede definir más de un conjunto de reglas para un conjunto de datos.

Por ejemplo, un conjunto de reglas puede contener reglas con criterios mínimamente aceptables. Un error en la validación de ese conjunto de reglas podría significar que los datos no son aceptables para su uso posterior. Un ejemplo es la falta de valores en las columnas clave de un conjunto de datos utilizado para el entrenamiento del aprendizaje automático. Puedes usar un segundo conjunto de reglas con reglas más estrictas para verificar si el conjunto de datos tiene una calidad tan buena que no sea necesario limpiarlo.

Puede aplicar uno o más conjuntos de reglas definidos para un conjunto de datos determinado en una configuración de trabajo de perfil. Cuando se ejecuta el trabajo de perfil, genera un informe de validación además del perfil de datos. El informe de validación está disponible en la misma ubicación que los datos de su perfil. Al igual que con la información del perfil, puede explorar los resultados en la DataBrew consola. En la vista de detalles del conjunto de datos, seleccione la pestaña Calidad de los datos para ver los resultados. Para obtener más información sobre cómo trabajar con la información del perfil, consulteCrear y trabajar con AWS Glue DataBrew trabajos de perfil.

Actuar sobre los resultados de la validación

Cuando se completa un trabajo de DataBrew perfil, DataBrew envía un CloudWatch evento de Amazon con los detalles de la ejecución de ese trabajo. Si también configuró su trabajo para validar las reglas de calidad de los datos, DataBrew envía un evento para cada conjunto de reglas validado. El evento contiene su resultado (SUCCEEDEDFAILED, oERROR) y un enlace al informe detallado de validación de la calidad de los datos. A continuación, puede automatizar cualquier acción posterior invocando la acción siguiente en función del estado de la validación. Para obtener más información sobre cómo conectar eventos con acciones segmentadas, como notificaciones de Amazon SNS, invocaciones de AWS Lambda funciones y otras, consulte Cómo empezar a usar Amazon. EventBridge

A continuación se muestra un ejemplo de un evento de resultado de DataBrew validación:

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

Puede utilizar los atributos de los eventosdetail-type, source como las propiedades anidadas del detail atributo, para crear patrones de eventos en Amazon Eventbridge. Por ejemplo, un patrón de eventos que coincida con todas las validaciones fallidas de cualquier DataBrew trabajo tendría el siguiente aspecto:

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

Para ver un ejemplo de cómo crear un conjunto de reglas y validar sus reglas, consulte. Crear un conjunto de reglas con reglas de calidad de datos Para obtener más información sobre cómo trabajar con CloudWatch eventos en, consulte DataBrew Automatizar DataBrew con eventos CloudWatch

Inspeccionar los resultados de la validación y actualizar las reglas de calidad de los datos

Una vez finalizado el trabajo de perfil, podrá ver los resultados de la validación de las reglas de calidad de los datos y, si es necesario, actualizar las reglas.

Para cualquier regla que no se haya validado, puede realizar las correcciones necesarias.