View a markdown version of this page

Crear un conjunto de reglas con reglas de calidad de datos - AWS Glue DataBrew Guía para desarrolladores

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crear un conjunto de reglas con reglas de calidad de datos

En el siguiente procedimiento, encontrará un ejemplo de cómo crear un conjunto de reglas y aplicarlo a un conjunto de datos. Un conjunto de reglas es un conjunto de reglas que comparan diferentes métricas de datos con los valores esperados. A continuación, puede utilizar este conjunto de reglas en un trabajo de perfil para validar las reglas de calidad de los datos que incluye.

Para crear un conjunto de reglas de ejemplo con reglas de calidad de datos
  1. Inicie sesión en Consola de administración de AWS y abra la DataBrew consola en. https://console.aws.amazon.com/databrew/

  2. Elija DQ RULES en el panel de navegación y, a continuación, elija Crear conjunto de reglas de calidad de datos.

  3. Introduzca un nombre para el conjunto de reglas. Si lo desea, introduzca una descripción para el conjunto de reglas.

  4. En Conjunto de datos asociado, elige un conjunto de datos para asociarlo al conjunto de reglas.

    Después de seleccionar un conjunto de datos, puede ver el panel de vista previa del conjunto de datos a la derecha.

  5. Utilice la vista previa del panel de vista previa del conjunto de datos para explorar los valores y el esquema del conjunto de datos a medida que determina las reglas de calidad de los datos que va a crear. La vista previa puede proporcionarle información sobre los posibles problemas que pueda tener con los datos.

    Algunas fuentes de datos, como las bases de datos, no admiten la vista previa de los datos. En ese caso, puede ejecutar un trabajo de perfil sin validar primero las reglas de calidad de los datos. A continuación, puede obtener información sobre el esquema de datos y la distribución de valores mediante el perfil de datos.

  6. Consulte la pestaña Recomendaciones, en la que se muestran algunas sugerencias de reglas que puede utilizar al crear su conjunto de reglas. Puede seleccionar todas las recomendaciones, algunas o ninguna.

    Tras seleccionar las recomendaciones pertinentes, elija Añadir al conjunto de reglas.

    Esto añadirá reglas a tu conjunto de reglas. Inspeccione y modifique los parámetros si es necesario. Tenga en cuenta que en las reglas de calidad de los datos solo se pueden usar columnas de tipos simples, como cadenas, números y valores booleanos.

  7. Seleccione Añadir otra regla para añadir una regla que no esté incluida en las recomendaciones. Puede cambiar los nombres de las reglas para facilitar la interpretación posterior de los resultados de la validación.

  8. Utilice el ámbito de control de calidad de los datos para elegir si se seleccionarán columnas individuales por cada comprobación de esta regla o si se deben aplicar a un grupo de columnas que seleccione. Por ejemplo, si su conjunto de datos tiene varias columnas numéricas que deben tener valores entre 0 y 100, puede definir la regla una vez y seleccionar todas estas columnas para que se comprueben según esta regla.

  9. Si la regla va a tener más de una comprobación, en el menú desplegable Criterios de cumplimiento de la regla, elija si se deben cumplir todas las comprobaciones o cuáles cumplen los criterios.

  10. Seleccione la comprobación que se realizará para verificar esta regla en el menú desplegable de control de calidad de los datos. Para obtener más información sobre las comprobaciones disponibles, consulteCheques disponibles.

  11. Si eligió Comprobación individual para cada columna del ámbito de control de calidad de los datos, elija una columna. Seleccione o escriba el nombre de la columna para esta comprobación.

  12. Seleccione los parámetros en función de la comprobación. Algunas condiciones solo aceptan los valores personalizados proporcionados y otras también admiten la referencia a otra columna.

  13. Si selecciona los valores de columna, como la condición Contiene para los valores de cadena, puede especificar el umbral de «superación». Por ejemplo, si desea que al menos el 95 por ciento de los valores cumplan la condición, debe elegir Mayor que igual como condición de umbral, introducir 95 como umbral y dejar «% (porcentaje) de filas» en el siguiente menú desplegable de la sección Umbral. O si no quieres más de 10 filas en las que falte un valor, la condición es verdadera, puedes seleccionar Menos que igual como condición, introducir 10 como Umbral y elegir filas en el siguiente menú desplegable. Ten en cuenta que es posible que obtengas resultados diferentes si utilizas muestras de diferentes tamaños durante la validación.

  14. Agrega más reglas si es necesario.

  15. Selecciona Crear conjunto de reglas.