建立並執行 Managed Service for Apache Flink 應用程式

建立資料串流 (AWS CLI)

1. 若要建立第一個串流 (ExampleInputStream)，請使用下列 Amazon Kinesis create-stream AWS CLI 命令：

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. 若要建立應用程式用來寫入輸出的第二個串流，請執行相同的命令，將串流名稱變更為 ExampleOutputStream：

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. 使用以下指令複製遠端儲存庫：

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. 導覽至 amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted 目錄。

若要觀察記錄

1. 在以下網址開啟 Kinesis 主控台：https://console.aws.amazon.com/kinesis。

2. 驗證您執行本教學課程的區域是否相同，預設為 us-east-1 美國東部 （維吉尼亞北部）。如果區域不相符，請變更區域。

3. 選擇資料串流。

4. 選取您要觀察的串流，或 ExampleInputStream ExampleOutputStream.

5. 選擇資料檢視器標籤。

6. 選擇任何碎片，保持最新為開始位置，然後選擇取得記錄。您可能會看到「找不到此請求的記錄」錯誤。若是如此，請選擇重試取得記錄。發佈至串流顯示的最新記錄。

7. 選擇資料欄中的值，以 JSON 格式檢查記錄的內容。

上傳應用程式碼 JAR 檔案

1. 開啟位於 https://console.aws.amazon.com/s3/ 的 Amazon S3 主控台。

2. 選擇您先前為應用程式碼建立的儲存貯體。

3. 選擇上傳。

4. 選擇 Add files (新增檔案)。

5. 導覽至上一個步驟中產生的 JAR 檔案：target/amazon-msf-java-stream-app-1.0.jar。

6. 選擇上傳，而不變更任何其他設定。

建立應用程式

1. 登入 AWS 管理主控台，並在 https：//https://console.aws.amazon.com/flink 開啟 Amazon MSF 主控台。

2. 確認已選取正確的區域：us-east-1 美國東部 （維吉尼亞北部）

3. 開啟右側的選單，然後選擇 Apache Flink 應用程式，然後選擇建立串流應用程式。或者，在初始頁面的入門容器中選擇建立串流應用程式。

4. 在建立串流應用程式頁面上：

   • 選擇設定串流處理應用程式的方法：選擇從頭開始建立。

   • Apache Flink 組態、Application Flink 版本：選擇 Apache Flink 1.20。

5. 設定您的應用程式

   • 應用程式名稱：輸入 MyApplication。

   • 描述：輸入 My java test app。

   • 存取應用程式資源：選擇kinesis-analytics-MyApplication-us-east-1使用必要政策建立/更新 IAM 角色。

6. 設定您的範本以進行應用程式設定

   • 範本：選擇開發。

7. 選擇頁面底部的建立串流應用程式。

編輯政策

1. 前往 https://console.aws.amazon.com/iam/ 開啟 IAM 主控台。

2. 選擇政策。選擇主控台為您在上一節所建立的 kinesis-analytics-service-MyApplication-us-east-1 政策。

3. 選擇編輯，然後選擇 JSON 索引標籤。

4. 將下列政策範例的反白部分新增至政策。使用您的帳戶 ID 取代範例帳戶 ID (012345678901)。

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

5. 選擇頁面底部的下一步，然後選擇儲存變更。

編輯組態

1. 在 MyApplication 頁面，選擇設定。

2. 在應用程式碼位置區段中：

   • 針對 Amazon S3 儲存貯體，選取您先前為應用程式碼建立的儲存貯體。選擇瀏覽並選取正確的儲存貯體，然後選取選擇。請勿按一下儲存貯體名稱。

   • 對於 Amazon S3 物件的路徑，請輸入 amazon-msf-java-stream-app-1.0.jar。

3. 針對存取許可，選擇kinesis-analytics-MyApplication-us-east-1使用必要政策建立/更新 IAM 角色。

4. 在執行期屬性區段中，新增下列屬性。

5. 選擇新增項目並新增下列每個參數：

   群組 ID	金鑰	值
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. 請勿修改任何其他區段。

7. 選擇儲存變更。

執行應用程式

1. 在 Amazon Managed Service for Apache Flink 的 主控台上，選擇我的應用程式，然後選擇執行。

2. 在下一頁的應用程式還原組態頁面上，選擇使用最新的快照執行，然後選擇執行。

   應用程式詳細資訊中的狀態會從 Ready 轉換為 Starting ，然後在應用程式啟動Running時轉換為 。

開啟 儀表板

1. 選擇開啟 Apache Flink 儀表板。儀表板會在新頁面上開啟。

2. 在執行中任務清單中，選擇您可以看到的單一任務。

   注意

   如果您設定執行期屬性或不正確地編輯 IAM 政策，應用程式狀態可能會變成 Running，但 Flink 儀表板會顯示任務正在持續重新啟動。如果應用程式設定錯誤或缺少存取外部資源的許可，這是常見的失敗案例。

   發生這種情況時，請檢查 Flink 儀表板中的例外狀況索引標籤，以查看問題的原因。

檢視指標

1. 在重新整理按鈕旁，從下拉式清單中選取 10 秒。

2. 當應用程式執行正常時，您可以看到運作時間指標持續增加。

3. fullrestarts 指標應為零。如果增加，組態可能會發生問題。若要調查問題，請檢閱 Flink 儀表板上的例外狀況索引標籤。

4. 在運作狀態良好的應用程式中，失敗檢查點指標的數量應為零。

   注意

   此儀表板會顯示一組固定的指標，精細程度為 5 分鐘。您可以使用 CloudWatch 儀表板中的任何指標來建立自訂應用程式儀表板。

檢視輸出

1. 在以下網址開啟 Kinesis 主控台：https://console.aws.amazon.com/kinesis。

2. 確認 區域與您用來執行本教學課程的區域相同。根據預設，它是 us-east-1US East (N. Virginia)。視需要變更 區域。

3. 選擇資料串流。

4. 選取您要觀察的串流。在本教學課程中，使用 ExampleOutputStream。

5. 選擇資料檢視器標籤。

6. 選取任何碎片，保持最新為開始位置，然後選擇取得記錄。您可能會看到「找不到此請求的記錄」錯誤。若是如此，請選擇重試取得記錄。發佈至串流顯示的最新記錄。

7. 選取資料欄中的值，以 JSON 格式檢查記錄的內容。

停止應用程式

1. 從動作下拉式清單中，選擇停止。

2. 應用程式詳細資訊中的狀態會從 轉換為 Running Stopping，然後在應用程式完全停止Ready時轉換為 。

   注意

   別忘了也要停止從 Python 指令碼或 Kinesis Data Generator 將資料傳送至輸入串流。