Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Managed Service for Apache Flink용 Studio 노트북 문제 해결

이 섹션에는 Studio 노트북의 문제 해결 정보가 포함되어 있습니다.

중단된 애플리케이션 중지

일시적인 상태에서 중단된 애플리케이션을 중지하려면 Force 파라미터가 로 설정된 StopApplication 작업을 호출합니다true. 자세한 내용은 Managed Service for Apache Flink 개발자 안내서의 애플리케이션 실행을 참조하세요.

인터넷에 액세스할 VPC 수 없는 에서 내구성 있는 상태의 애플리케이션으로 배포

Managed Service for Apache Flink Studio deploy-as-application 함수는 인터넷 액세스가 없는 VPC 애플리케이션을 지원하지 않습니다. 스튜디오에서 애플리케이션을 빌드한 다음 Managed Service for Apache Flink를 사용하여 Flink 애플리케이션을 수동으로 만들고 노트북에 빌드한 zip 파일을 선택하는 것이 좋습니다.

다음 단계에서는 이 접근 방식을 요약합니다.

Deploy-as-app 크기 및 빌드 시간 단축

Studio deploy-as-app for Python 애플리케이션은 필요한 라이브러리를 확인할 수 없기 때문에 Python 환경에서 사용할 수 있는 모든 것을 패키징합니다. 이로 인해 필요한 deploy-as-app 크기보다 크기가 커질 수 있습니다. 다음 절차에서는 종속성을 제거하여 Python 애플리케이션 크기의 크기를 줄이는 deploy-as-app 방법을 보여줍니다.

Studio의 기능을 사용하여 deploy-as-app Python 애플리케이션을 구축하는 경우 애플리케이션이 에 의존하지 않는 경우 시스템에서 사전 설치된 Python 패키지를 제거하는 것이 좋습니다. 이렇게 하면 애플리케이션 크기에 대한 서비스 제한을 위반하지 않도록 최종 아티팩트 크기를 줄일 수 있을 뿐만 아니라 기능을 사용하여 애플리케이션의 빌드 시간을 개선할 수 있습니다 deploy-as-app.

다음 명령을 실행하여 설치된 모든 Python 패키지를 각각의 설치된 크기와 함께 나열하고 상당한 크기의 패키지를 선택적으로 제거할 수 있습니다.

%flink.pyflink

!pip list --format freeze | awk -F = {'print $1'} | xargs pip show | grep -E 'Location:|Name:' | cut -d ' ' -f 2 | paste -d ' ' - - | awk '{gsub("-","_",$1); print $2 "/" tolower($1)}' | xargs du -sh 2> /dev/null | sort -hr

다음은 제거를 고려할 수 있는 Studio V2의 사전 설치 Python 패키지 목록입니다.

scipy
statsmodels
plotnine
seaborn
llvmlite
bokeh
pandas
matplotlib
botocore
boto3
numba

작업 취소

이 섹션에서는 Apache Zeppelin에서 가져올 수 없는 Apache Flink 작업을 취소하는 방법을 보여줍니다. 이러한 작업을 취소하려면 Apache Flink 대시보드로 이동하여 작업 ID를 복사한 다음, 다음 예제 중 하나에서 이 작업을 사용하세요.

단일 작업을 취소하려면:

%flink.pyflink
import requests

requests.patch("https://zeppelin-flink:8082/jobs/[job_id]", verify=False)

실행 중인 모든 작업을 취소하려면:

%flink.pyflink
import requests

r = requests.get("https://zeppelin-flink:8082/jobs", verify=False)
jobs = r.json()['jobs']

for job in jobs:
    if (job["status"] == "RUNNING"):
        print(requests.patch("https://zeppelin-flink:8082/jobs/{}".format(job["id"]), verify=False))

모든 작업을 취소하려면:

%flink.pyflink
import requests

r = requests.get("https://zeppelin-flink:8082/jobs", verify=False)
jobs = r.json()['jobs']

for job in jobs:
    requests.patch("https://zeppelin-flink:8082/jobs/{}".format(job["id"]), verify=False)

Apache Flink 해석기 다시 시작

Studio 노트북에서 Apache Flink 인터프리터를 다시 시작하려면