Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Hudi 구성 모범 사례
Managed Service for Apache Flink에서 Hudi 커넥터를 실행하려면 다음과 같은 구성 변경을 권장합니다.
hoodie.embed.timeline.server 비활성화
Flink의 Hudi 커넥터는 Flink 작업 관리자(JM)에 임베디드 타임라인(TM) 서버를 설정하여 작업 병렬 처리가 높을 때 성능을 개선하기 위해 메타데이터를 캐싱합니다. JM과 TM 간의 비Flink 통신을 비활성화하므로 Managed Service for Apache Flink에서 이 임베디드 서버를 비활성화하는 것이 좋습니다.
이 서버가 활성화된 경우 Hudi 쓰기는 먼저 JM의 임베디드 서버에 연결을 시도한 다음 Amazon S3에서 메타데이터를 읽는 것으로 돌아갑니다. 즉, Hudi는 Hudi 쓰기를 지연시키고 Managed Service for Apache Flink에 성능 영향을 미치는 연결 제한 시간을 발생시킵니다.
