기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 에서 데이터 품질 검증AWS Glue DataBrew
<a name="profile.data-quality-rules"></a>

데이터 세트의 품질을 보장하기 위해 규칙 세트에서 데이터 품질 규칙 목록을 정의할 수 있습니다. *규칙 세트*는 다양한 데이터 지표를 예상 값과 비교하는 규칙 세트입니다. 규칙의 기준 중 하나라도 충족되지 않으면 규칙 세트는 전체적으로 검증에 실패합니다. 그런 다음 각 규칙에 대한 개별 결과를 검사할 수 있습니다. 검증 실패를 유발하는 모든 규칙의 경우 필요한 수정을 수행하고 다시 검증할 수 있습니다.

규칙의 예는 다음과 같습니다.
+ 열의 값은 0에서 100 사이`"APY"`입니다.
+ 열의 누락된 값 수가 5%를 초과하지 `group_name` 않음

개별 열에 대해 각 규칙을 정의하거나 선택한 여러 열에 독립적으로 적용할 수 있습니다. 예를 들면 다음과 같습니다.
+ 열 , `"rate"`,의 최대값은 100을 초과하지 않습니다`"pay"``"increase"`.

규칙은 여러 개의 간단한 검사로 구성될 수 있습니다. 예를 들어 모두 true인지 아니면 모두 true인지 정의할 수 있습니다.
+ 열의 값은 로 시작해야 `"ProductId"` 하며 열의 값 `"asin-"` 길이는 32`"ProductId"`입니다.

비교되는 값이 하나뿐`number of duplicate values`인 `max`, 또는 `min`와 같은 집계 값 또는 열의 각 행에 집계되지 않은 값에 대한 규칙을 확인할 수 있습니다. 후자의 경우와 같은 "통과" 임계값을 정의할 수도 있습니다`value in columnA > value in columnB for at least 95% of rows`.

 프로파일 정보와 마찬가지로 문자열 및 숫자와 같은 단순 유형의 열에 대해서만 열 수준 데이터 품질 규칙을 정의할 수 있습니다. 배열 또는 구조와 같은 복잡한 유형의 열에는 데이터 품질 규칙을 정의할 수 없습니다. 프로필 정보 작업에 대한 자세한 내용은 섹션을 참조하세요[AWS Glue DataBrew프로필 작업 생성 및 작업](jobs.profile.md).

## 데이터 품질 규칙 검증
<a name="profile.data-quality-rules-validating"></a>

규칙 세트가 정의되면 검증을 위해 프로파일 작업에 추가할 수 있습니다. 데이터 세트에 대해 둘 이상의 규칙 세트를 정의할 수 있습니다.

예를 들어 규칙 세트 하나에 최소 허용 기준의 규칙이 포함될 수 있습니다. 해당 규칙 세트에 대한 검증 실패는 데이터가 더 이상 사용할 수 없음을 의미할 수 있습니다. 기계 학습 훈련에 사용되는 데이터 세트의 키 열에 값이 누락된 경우를 예로 들 수 있습니다. 더 엄격한 규칙이 포함된 두 번째 규칙 세트를 사용하여 데이터 세트의 품질이 양호하여 정리가 필요하지 않은지 확인할 수 있습니다.

프로파일 작업 구성에서 지정된 데이터 세트에 정의된 규칙 세트를 하나 이상 적용할 수 있습니다. 프로파일 작업이 실행되면 데이터 프로파일 외에도 검증 보고서가 생성됩니다. 검증 보고서는 프로필 데이터와 동일한 위치에서 사용할 수 있습니다. 프로필 정보와 마찬가지로 DataBrew 콘솔에서 결과를 탐색할 수 있습니다. **데이터 세트 세부 정보** 보기에서 **데이터 품질** 탭을 선택하여 결과를 봅니다. 프로필 정보 작업에 대한 자세한 내용은 섹션을 참조하세요[AWS Glue DataBrew프로필 작업 생성 및 작업](jobs.profile.md).

## 검증 결과에 대한 조치
<a name="profile.data-quality-rules-results-acting"></a>

DataBrew 프로파일 작업이 완료되면 DataBrew는 해당 작업 실행의 세부 정보가 포함된 Amazon CloudWatch 이벤트를 보냅니다. 또한 데이터 품질 규칙을 검증하도록 작업을 구성한 경우 DataBrew는 검증된 각 규칙 세트에 대한 이벤트를 전송합니다. 이벤트에는 결과(`SUCCEEDED`, `FAILED`또는 `ERROR`)와 세부 데이터 품질 검증 보고서에 대한 링크가 포함됩니다. 그런 다음 검증 상태에 따라 **다음 작업을 호출하여 추가 작업을** 자동화할 수 있습니다. Amazon SNS 알림,AWS Lambda함수 호출 등과 같은 대상 작업에 이벤트를 연결하는 방법에 대한 자세한 내용은 [Amazon EventBridge 시작하기를](https://docs.aws.amazon.com/eventbridge/latest/userguide/eventbridge-getting-set-up.html) 참조하세요.

 다음은 DataBrew 검증 결과 이벤트의 예입니다.

```
{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}
```

와 같은 이벤트의 속성`detail-type``source`과 `detail` 속성의 중첩 속성을 사용하여 Amazon Eventbridge에서 [이벤트 패턴을 생성할](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-event-patterns.html#eb-create-pattern) 수 있습니다. 예를 들어 DataBrew 작업에서 실패한 모든 검증과 일치하는 이벤트 패턴은 다음과 같습니다.

```
{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}
```

규칙 세트를 생성하고 규칙을 검증하는 예제는 섹션을 참조하세요[데이터 품질 규칙을 사용하여 규칙 세트 생성](profile.data-quality-rules-create.md). DataBrew에서 CloudWatch 이벤트 작업에 대한 자세한 내용은 섹션을 참조하세요. [CloudWatch Events를 사용하여 DataBrew 자동화](monitoring.cloudwatch-events.md) 

## 검증 결과 검사 및 데이터 품질 규칙 업데이트
<a name="profile.data-quality-ruleset-inspect-results"></a>

프로필 작업이 완료되면 데이터 품질 규칙에 대한 검증 결과를 보고 필요에 따라 규칙을 업데이트할 수 있습니다.

**데이터 품질 규칙에 대한 검증 데이터를 보려면**

1. DataBrew 콘솔에서 **데이터 프로필 보기를** 선택합니다. 이렇게 하면 데이터 세트의 **데이터 프로파일 개요** 탭이 표시됩니다.

1. **데이터 품질 규칙** 탭을 선택합니다. 이 탭에서 모든 데이터 품질 규칙에 대한 결과를 볼 수 있습니다.

1. 해당 규칙에 대한 자세한 내용을 보려면 개별 규칙을 선택합니다.

검증에 실패한 규칙의 경우 필요한 수정을 수행할 수 있습니다.

**데이터 품질 규칙을 업데이트하려면**

1. 탐색 창에서 **DQ 규칙을** 선택합니다.

1. **데이터 품질 규칙 세트 이름**에서 편집하려는 규칙이 포함된 데이터 세트를 선택합니다.

1. 변경할 규칙을 선택한 다음 **편집**을 선택합니다.

1. 필요한 수정을 수행한 다음 **규칙 세트 업데이트를** 선택합니다.

1. 작업을 다시 실행합니다. 모든 검증이 통과할 때까지이 프로세스를 반복합니다.