아파치 플링크 설정 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

아파치 플링크 설정

Managed Service for Apache Flink는 Apache Flink 프레임워크를 구현한 것입니다. Managed Service for Apache Flink는 이 섹션에 설명된 기본값을 사용합니다. 이러한 값 중 일부는 Apache Flink 애플리케이션용 관리 서비스에서 코드로 설정할 수 있고 다른 값은 변경할 수 없습니다.

이 섹션의 링크를 사용하여 Apache Flink 설정 및 수정 가능한 설정에 대해 자세히 알아보십시오.

Managed Service for Apache Flink는 대부분의 속성에 대한 Apache Flink 권장 값과 일반적인 응용 프로그램 프로필을 기반으로 하는 몇 가지 값으로 구성된 기본 Flink 구성을 제공합니다. Flink 구성에 대한 자세한 내용은 구성을 참조하세요. 서비스 제공 기본 구성은 대부분의 애플리케이션에서 작동합니다. 하지만 Flink 구성 속성을 조정하여 병렬성이 높고 메모리 및 상태 사용량이 많은 특정 응용 프로그램의 성능을 개선하거나 Apache Flink에서 새로운 디버깅 기능을 활성화하려면 지원 사례를 요청하여 특정 속성을 변경할 수 있습니다. 자세한 내용은 AWS 지원 센터를 참조하세요. Apache Flink 대시보드를 사용하여 애플리케이션의 현재 구성을 확인할 수 있습니다.

상태 백엔드

Managed Service for Apache Flink 는 임시 데이터를 상태 백엔드에 저장합니다. 아파치 Flink용 관리형 서비스는 R ocksDBState 백엔드를 사용합니다. 다른 백엔드를 설정하기 위해 setStateBackend을(를) 호출해도 효과가 없습니다.

상태 백엔드에서 다음 기능을 활성화합니다.

  • 증분 상태 백엔드 스냅샷

  • 비동기 상태 백엔드 스냅샷

  • 체크포인트 로컬 복구

상태 백엔드에 대한 자세한 내용은 Apache Flink 설명서의 상태 백엔드를 참조하십시오.

체크포인트

Managed Service for Apache Flink는 다음 값이 포함된 기본 체크포인트 구성을 사용합니다. 이러한 값 중 일부는 를 사용하여 변경할 수 있습니다. CheckpointConfiguration 수정된 체크포인트 값을 사용하려면 Apache CUSTOM Flink용 관리 서비스에 대해 로 CheckpointConfiguration.ConfigurationType 설정해야 합니다.

설정 수정할 수 있나요? 수정할 수 있다면 방법이 무엇입니까? 기본 값
CheckpointingEnabled 수정 가능

애플리케이션 생성

애플리케이션 업데이트

AWS CloudFormation

True
CheckpointInterval 수정 가능

애플리케이션 생성

애플리케이션 업데이트

AWS CloudFormation

60000
MinPauseBetweenCheckpoints 수정 가능

애플리케이션 생성

애플리케이션 업데이트

AWS CloudFormation

5000
정렬되지 않은 체크포인트 수정 가능 지원 사례 False
동시 체크포인트 수 수정 불가능 N/A 1
체크포인트 모드 수정 불가능 N/A 딱 한 번
체크포인트 보존 정책 수정 불가능 N/A 실패 시
체크포인트 타임아웃 수정 불가능 N/A 60분
유지된 최대 체크포인트 수정 불가능 N/A 1
체크포인트 및 세이브포인트 위치 수정 불가능 N/A 내구성이 뛰어난 체크포인트와 세이브포인트 데이터를 서비스 소유의 S3 버킷에 저장합니다.

세이브포인팅

기본적으로 저장점에서 복원할 때 재개 작업은 저장점의 모든 상태를 복원 중인 프로그램에 다시 매핑하려고 시도합니다. 연산자를 삭제한 경우 기본적으로 누락된 연산자에 해당하는 데이터가 있는 저장점에서의 복원은 실패합니다. 애플리케이션의 AllowNonRestoredState매개변수를 로 설정하여 작업이 성공하도록 FlinkRunConfiguration허용할 true 수 있습니다. 이렇게 하면 재개 작업이 새 프로그램에 매핑할 수 없는 상태를 건너뛰도록 할 수 있습니다.

자세한 내용을 알아보려면 Apache Flink의 설명서에서 복원되지 않은 상태 허용을 참조하세요.

힙 크기

Apache Flink용 관리형 서비스는 JVM 각 KPU 3GiB의 힙을 할당하고 네이티브 코드 할당을 위해 1GiB를 예약합니다. 애플리케이션 용량 증가에 대한 자세한 내용은 Apache Flink용 매니지드 서비스에서 애플리케이션 스케일링 구현 섹션을 참조하세요.

JVM힙 크기에 대한 자세한 내용은 Apache Flink 설명서의 구성을 참조하십시오.

버퍼 디블로팅

버퍼 디블로팅은 배압이 높은 어플리케이션에 도움이 될 수 있습니다. 애플리케이션에 체크포인트/세이브포인트에 장애가 발생하는 경우 이 기능을 활성화하면 유용할 수 있습니다. 이를 위해서는 지원 사례를 요청하세요.

자세한 내용은 Apache Flink 설명서버퍼 디블로팅 메커니즘을 참조하세요.