Entropy - AWS Glue

Entropy

열의 엔트로피 값이 지정된 표현식과 일치하는지 확인합니다. 엔트로피는 메시지에 포함된 정보의 수준을 측정합니다. 열의 값에 대한 확률 분포를 고려할 때 엔트로피는 값을 식별하는 데 필요한 비트 수를 설명합니다.

구문

Entropy <COL_NAME> <EXPRESSION>
  • COL_NAME - 데이터 품질 규칙을 평가할 열의 이름입니다.

    지원되는 열 유형: 모든 열 유형

  • EXPRESSION - 부울 값을 생성하기 위해 규칙 유형 응답에 대해 실행할 표현식입니다. 자세한 내용은 Expressions 단원을 참조하십시오.

예: 열 엔트로피

다음 예제 규칙은 Feedback 열의 엔트로피 값이 1보다 큰지 확인합니다.

Entropy "Star_Rating" > 1 Entropy "First_Name" > 1 where "Customer_ID < 10"

샘플 동적 규칙

  • Entropy "colA" < max(last(10))

  • Entropy "colA" between min(last(10)) and max(last(10))