Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Managed Service for Apache Flink の Studio ノートブックのトラブルシューティング

このセクションには、Studio ノートブックのトラブルシューティング情報が記載されています。

スタックしたアプリケーションの停止

一時的な状態で停止しているアプリケーションを停止するには、 Forceパラメータを に設定して StopApplicationアクションを呼び出しますtrue。詳細については、「Apache Flink 用 Managed Service デベロッパーガイド」内の「Running Applications」を参照してください。

インターネットにアクセスできない に永続的VPCな状態のアプリケーションとしてデプロイする

Managed Service for Apache Flink Studio deploy-as-application 関数は、インターネットアクセスのないVPCアプリケーションをサポートしていません。Studio でアプリケーションを構築し、Apache Flink 用 Managed Service を使用して Flink アプリケーションを手動で作成し、Notebookで構築した zip ファイルを選択することをお勧めします。

以下のステップは、この方法の概要を説明します。

D eploy-as-app サイズとビルド時間の短縮

Studio deploy-as-app for Python アプリケーションは、必要なライブラリを特定できないため、Python 環境で利用可能なすべてをパッケージ化します。これにより、必要以上の deploy-as-app サイズになる可能性があります。次の手順では、依存関係をアンインストールして deploy-as-app Python アプリケーションのサイズを縮小する方法を示します。

Studio deploy-as-app の機能を使用して Python アプリケーションを構築する場合は、アプリケーションが依存していない場合、プリインストールされた Python パッケージをシステムから削除することを検討してください。これにより、最終的なアーティファクトサイズを小さくしてアプリケーションサイズのサービス制限を超えないようにするだけでなく、 deploy-as-app 機能を使用してアプリケーションの構築時間を短縮できます。

次のコマンドを実行すると、インストールされているすべての Python パッケージとそれぞれのインストールサイズを一覧表示し、サイズの大きいパッケージを選択的に削除できます。

%flink.pyflink

!pip list --format freeze | awk -F = {'print $1'} | xargs pip show | grep -E 'Location:|Name:' | cut -d ' ' -f 2 | paste -d ' ' - - | awk '{gsub("-","_",$1); print $2 "/" tolower($1)}' | xargs du -sh 2> /dev/null | sort -hr

以下は、Studio V2 にプリインストールされている Python パッケージの一覧です。これらの削除を検討できます。

scipy
statsmodels
plotnine
seaborn
llvmlite
bokeh
pandas
matplotlib
botocore
boto3
numba

ジョブをキャンセルする

このセクションでは、Apache Zeppelin から実行できない Apache Flink ジョブをキャンセルする方法を説明します。このようなジョブをキャンセルしたい場合は、Apache Flink ダッシュボードに移動し、ジョブ ID をコピーして、以下の例のいずれかでそれを使用してください。

個々のジョブをキャンセルするには:

%flink.pyflink
import requests

requests.patch("https://zeppelin-flink:8082/jobs/[job_id]", verify=False)

実行中のジョブをすべてキャンセルするには:

%flink.pyflink
import requests

r = requests.get("https://zeppelin-flink:8082/jobs", verify=False)
jobs = r.json()['jobs']

for job in jobs:
    if (job["status"] == "RUNNING"):
        print(requests.patch("https://zeppelin-flink:8082/jobs/{}".format(job["id"]), verify=False))

すべてのジョブをキャンセルするには:

%flink.pyflink
import requests

r = requests.get("https://zeppelin-flink:8082/jobs", verify=False)
jobs = r.json()['jobs']

for job in jobs:
    requests.patch("https://zeppelin-flink:8082/jobs/{}".format(job["id"]), verify=False)

Apache Flink インタープリタを再起動する

Studio ノートブック内の Apache Flink インタープリタを再起動するには