S3 Select Pushdown과 함께 Presto를 사용하여 성능 향상 - Amazon EMR
내 애플리케이션에 S3 Select Pushdown이 적합한가요?고려 사항 및 제한Presto 또는 Trino를 사용하여 S3 Select Pushdown 활성화

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

S3 Select Pushdown과 함께 Presto를 사용하여 성능 향상

Amazon EMR 릴리스 버전 5.18.0 이상에서는 S3를 사용하여 Amazon 에서 Presto로 푸시다운을 선택할 수 있습니다EMR. 이 기능을 사용하면 프로젝션 작업의 계산 작업(예: SELECT)과 조건자 작업(예: WHERE)을 Amazon S3로 '푸시다운'할 수 있습니다. 이렇게 하면 쿼리가 Amazon S3에서 필요한 데이터만 검색할 수 있으므로 성능을 개선하고 일부 애플리케이션에서 AmazonEMR과 Amazon S3 간에 전송되는 데이터의 양을 줄일 수 있습니다.

내 애플리케이션에 S3 Select Pushdown이 적합한가요?

S3 Select Pushdown 사용 여부에 관계없이 애플리케이션을 벤치마킹하여 애플리케이션에 적합한지 여부를 확인하는 것이 좋습니다.

다음 지침을 사용하여 애플리케이션과 함께 S3 Select를 사용할 수 있는지 확인하십시오.

  • 쿼리가 원본 데이터 세트 중 반 이상을 필터링합니다.

  • 쿼리 필터 조건자는 Presto 및 S3 Select에서 지원하는 데이터 형식의 열을 사용합니다. 타임스탬프, real 및 double 데이터 형식은 S3 Select Pushdown에서 지원되지 않습니다. 숫자 데이터에는 10진수 데이터 형식을 사용하는 것이 좋습니다. S3 Select에 지원되는 데이터 유형에 대한 자세한 내용은 Amazon Simple Storage Service 사용 설명서에서 데이터 유형을 참조하세요.

  • Amazon S3와 Amazon EMR 클러스터 간의 네트워크 연결은 전송 속도와 가용 대역폭이 좋습니다. Amazon S3는 HTTP 응답을 압축하지 않으므로 압축된 입력 파일의 응답 크기가 증가할 수 있습니다.

고려 사항 및 제한

  • CSV 형식으로 저장된 객체만 지원됩니다. 객체는 압축 해제되거나 gzip 또는 bzip2로 선택적으로 압축될 수 있습니다.

  • AllowQuotedRecordDelimiters 속성이 지원되지 않습니다. 이 속성이 지정되면 쿼리가 실패합니다.

  • 고객 제공 암호화 키(-SSEC) 및 클라이언트 측 암호화를 사용한 Amazon S3 서버 측 암호화는 지원되지 않습니다.

  • S3 Select Pushdown은 ORC 또는 Parquet와 같은 열 또는 압축 파일 형식을 사용하는 것을 대체하지 않습니다.

Presto 또는 Trino를 사용하여 S3 Select Pushdown 활성화

Amazon 에서 PrestoDB용 S3 Select 푸시다운을 활성화하려면 아래 예제와 true 같이 presto-connector-hive 구성 분류를 EMR사용하여 를 hive.s3select-pushdown.enabled 로 설정합니다. 자세한 내용은 애플리케이션 구성 단원을 참조하십시오. hive.s3select-pushdown.max-connections 값도 설정해야 합니다. 대부분의 애플리케이션에서는 기본 설정 500이 적합합니다. 자세한 내용은 아래 hive.s3select-pushdown.max-connections 이해 및 튜닝 섹션을 참조하세요.

EMR 버전 6.1.0 - 6.3.0의 PrestoSQL의 경우 아래 예제presto-connector-hive에서 를 로 바꿉니다prestosql-connector-hive.

Amazon EMR 버전 6.4.0 이상은 Presto 대신 새 이름 Trino를 사용합니다SQL. Trino를 사용하는 경우 아래 예제에서 presto-connector-hive를 trino-connector-hive로 바꿉니다.

[
    {
        "classification": "presto-connector-hive",
        "properties": {
            "hive.s3select-pushdown.enabled": "true",
            "hive.s3select-pushdown.max-connections": "500"
        }
    }
]

hive.s3select-pushdown.max-connections 이해 및 튜닝

기본적으로 Presto는 EMRFS를 파일 시스템으로 사용합니다. emrfs-site 구성 분류fs.s3.maxConnections의 설정은 Presto용 Amazon S3 ~ 에 EMRFS 허용되는 최대 클라이언트 연결을 지정합니다. 기본적으로 이 값은 500입니다. S3 Select Pushdown은 조건부 작업을 위해 Amazon S3에 액세스할 EMRFS 때 우회합니다. 이 경우 hive.s3select-pushdown.max-connections 값은 작업자 노드에서 이러한 작업에 허용되는 최대 클라이언트 연결 수를 결정합니다. 그러나 Presto가 시작하지만 예를 들어 GET 작업과 같이 푸시 다운되지 않는 Amazon S3에 대한 모든 요청은 의 값에 의해 계속 관리됩니다fs.s3.maxConnections.

애플리케이션에서 "풀에서의 연결 대기 시간이 초과되었습니다"라는 오류가 발생하면 hive.s3select-pushdown.max-connections 및 fs.s3.maxConnections 값을 모두 늘립니다.