使用中的AWS大型主機現代化和 Amazon Q 來產生資料洞察 QuickSight - AWS 方案指引

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用中的AWS大型主機現代化和 Amazon Q 來產生資料洞察 QuickSight

創建者羅伊 (AWS)、羅什納·拉扎克 () 和桑托什庫馬爾辛格 (AWS) AWS

環境:PoC 或試點

技術:大型主機;分析;移轉;現代化;機器學習與人工智慧

工作量:IBM

AWS服務:AWSLambda;AWS大型主機現代化;Amazon;Amazon S3 QuickSight

Summary

如果您的組織在大型主機環境中託管業務關鍵資料,那麼從該資料中獲得深入解析對於推動成長和創新至關重要。透過解除鎖定大型主機資料,您可以建置更快、安全且可擴展的商業智慧,以加速 Amazon Web Services (AWS) 雲端中資料導向的決策、成長和創新。

此模式提供了一種解決方案,可透過使用 AWS Mainframe Modernization File Transfer 和 Amazon Q in,從大型主機資料建立可共用敘述。BMC QuickSight使用大型主機現代化檔案傳輸搭配使用,將大型AWS主機資料集傳輸傳輸到 Amazon 簡單儲存服務 (Amazon S3)。BMC AWS Lambda 函數會格式化並準備大型主機資料檔案,以便載入 Amazon。 QuickSight

在 Amazon 提供資料之後 QuickSight,您可以在 Amazon Q 中使用自然語言提示 QuickSight 來建立資料摘要、提出問題以及產生資料故事。您不必撰寫查SQL詢或學習商業智慧 (BI) 工具。

業務背景

此模式為大型主機資料分析和資料洞察使用案例提供解決方案。使用該模式,您可以為公司的數據構建可視化儀表板。為了展示解決方案,這種模式使用了一家醫療保健公司,該公司為其在美國的成員提供醫療,牙科和視力計劃。在此範例中,成員人口統計資料和計劃資訊儲存在大型主機資料集中。視覺化儀表板顯示以下內容:

  • 按地區分的成員分佈

  • 按性別劃分的成員分

  • 會員年齡分佈

  • 按計劃類型分類的成員分

  • 未完成預防免疫接種的會員

建立儀表板後,您會產生一個資料故事,說明先前分析的深入解析。數據故事提供了增加已完成預防免疫接種的成員數量的建議。

先決條件和限制

先決條件

  • 一個活躍的 AWS 帳戶

  • 含有業務資料的大型主機資料集

  • 在大型主機上安裝檔案傳輸代理程式的存取權

限制

  • 您的大型主機資料檔案應採用 Amazon 支援的其中一種檔案格式。 QuickSight如需支援的檔案格式清單,請參閱 Amazon QuickSight 文件

    這種模式使用 Lambda 函數將大型主機文件轉換為 Amazon 支持的格式。 QuickSight

架構

下圖顯示使用 AWS Mainframe Modernization 檔案傳輸BMC和 Amazon Q in,從大型主機資料產生商業見解的架構。 QuickSight

架構圖描述如下圖。

該圖顯示以下工作流程:

  1. 包含商業資料的大型主機資料集會透過 AWS Mainframe Modernization 檔案傳輸搭配使用傳輸到 Amazon S3。BMC

  2. Lambda 函數會將檔案傳輸目的地 S3 儲存貯體中的檔案轉換為逗號分隔值 (CSV) 格式。

  3. Lambda 函數會將轉換後的檔案傳送至來源資料集 S3 儲存貯體。

  4. 檔案中的資料是由 Amazon QuickSight 擷取。

  5. 用戶在 Amazon 訪問數據 QuickSight。您可以在中使用 Amazon Q QuickSight ,透過自然語言提示與資料互動。

工具

AWS服務

最佳實務

  • 當您使用和 Lambda 函數建立 AWS Mainframe Modernization 檔案傳輸BMC的 AWS Identity and Access Management (IAM) 角色時,請遵循最低權限原則。

  • 確保您的來源資料集具有支援 Amazon 的資料類型 QuickSight。如果來源資料集包含不支援的資料類型,請將其轉換為支援的資料類型。如需有關不受支援的大型主機資料類型,以及如何將其轉換為中 Amazon Q 支援的資料類型的詳細資訊 QuickSight,請參閱相關資源一節。

史诗

任務描述所需技能

安裝檔案傳輸代理程式。

若要在大型主機上安裝 AWS Mainframe Modernization 檔案傳輸代理程式,請遵循文件中的指示。AWS

大型主機系統管理員

為大型主機檔案傳輸建立 S3 儲存貯體。

建立 S3 儲存貯體以存放檔案傳輸中的輸出 AWS Mainframe Modernization 檔案BMC。在架構圖中,這是文件傳輸目的地存儲桶。

移民工程師

建立資料傳輸端點。

  1. 建立 S3 儲存貯體以暫存檔案傳輸的輸入大型主機 AWS Mainframe Modernization 檔案。BMC

  2. 若要建立大型主機資料傳輸端點,請遵循文件中的指示。AWS

AWS大型主機現代化專家
任務描述所需技能

建立 S3 儲存貯體。

為 Lambda 函數建立 S3 儲存貯體,將轉換後的大型主機檔案從來源複製到最終目的地儲存貯體。

移民工程師

建立 Lambda 函數。

若要建立 Lambda 函數來變更副檔名,並將大型主機檔案複製到目的地儲存貯體,請執行下列動作:

  1. 登入 AWS Management Console,然後瀏覽至主 AWS Lambda 控台。

  2. 選擇 [建立函式],然後選擇 [從頭開始作者]。

  3. 函數名稱中,輸入函數的名稱。

  4. 在「執行階段」下拉式清單中,選擇「Python .3.x」。

  5. 展開 [變更預設執行角色],然後選擇 [使用基本 Lambda 權限建立新角色]。

  6. 選擇建立函數

  7. 選擇 [程式碼] 索引標籤,然後貼上 [其他資訊] 區段中提供的 S3CopyLambda.py Python 程式碼。Python 代碼是通過使用 Amazon Q 開發人員在 Microsoft 的視覺工作室集成開發環境(IDE)生成的。

  8. 編輯您先前建立的 S3 儲存貯體名稱,然後編輯change destination_file_key到大型主機檔案名稱。destination_bucket_name

  9. 部署 Lambda 函數。

移民工程師

建立 Amazon S3 觸發程序以叫用 Lambda 函數。

若要設定叫用 Lambda 函數的觸發器,請執行下列動作:

  1. 在 Lambda 主控台上,開啟「函數」頁面。

  2. 選擇 Lambda 函數。

  3. 函數概覽中,選擇新增觸發器

  4. 在 [觸發器組態] 下拉式清單中,選擇 S3

  5. 在「時段」欄位中,輸入來源值區的名稱。

  6. 在 [事件類型] 下拉式清單中,選擇 [所有物件建立事件]。

  7. 選取 [我確認不建議針對輸入和輸出使用相同的 S3 儲存貯體] 核取方塊,然後選擇 [新增]。

如需詳細資訊,請參閱教學課程:使用 Amazon S3 觸發條件叫用 Lambda 函數

遷移, 領導

提供 Lambda 函數的IAM權限。

IAMLambda 函數需要許可才能存取檔案傳輸目的地和來源資料集 S3 儲存貯體。透過允許s3:GetObject和許可檔案傳輸目的地 S3 儲存貯體以及來源資料集 S3 儲存貯體的s3:PutObject存取s3:DeleteObject,來更新與 Lambda 函數執行角色相關聯的政策。

如需詳細資訊,請參閱教學課程:使用 Amazon S3 觸發器叫用 Lambda 函數中的建立許可政策節。

遷移, 領導
任務描述所需技能

建立傳輸任務,將大型主機檔案複製到 S3 儲存貯體。

若要建立大型主機檔案傳輸工作,請遵循文件中的指示。AWS Mainframe Modernization

注意:指定原始碼頁編碼為 IBM1047,將目標字碼頁編碼指定為 UTF-8

移民工程師

驗證傳輸工作。

若要驗證資料傳輸是否成功,請遵循AWS Mainframe Modernization 文件中的指示。確認大型主機檔案位於檔案傳輸目的地 S3 儲存貯體中。

遷移, 領導

驗證 Lambda 複製函數。

確認已啟動 Lambda 函數,並將檔案以 .csv 副檔名複製到來源資料集 S3 儲存貯體。

由 Lambda 函數創建的 .csv 文件是 Amazon QuickSight 的輸入數據文件。如需資料範例,請參閱「附件」區段中的Sample-data-member-healthcare-APG檔案。

遷移, 領導
任務描述所需技能

設置 Amazon QuickSight。

要設置 Amazon QuickSight,請按照AWS 文檔中的說明進行操作。

遷移, 領導

為 Amazon 創建一個數據集 QuickSight。

要為 Amazon 創建數據集 QuickSight,請按照AWS 文檔中的說明進行操作。輸入資料檔案是您定義大型主機資料傳輸工作時所建立的轉換後的大型主機檔案。

遷移, 領導
任務描述所需技能

設置 Amazon Q QuickSight.

此功能需要企業版。若要在中設定 Amazon Q QuickSight,請執行下列動作:

  1. 若要取得 Amazon Q 附加元件,請遵循說明文件中的步驟 1:取得 Q 附加元AWS 件

  2. 若要在 Amazon Q 中使用生成式 BI 功能,請升級使用者的帳戶。按照AWS 文檔中的說明進行操作。

  3. 使用您先前建立的資料集建立 Amazon Q 主題。按照AWS 文檔中的說明進行操作。

  4. 若要設定主題中繼資料,使其適合自然語言,請遵循文件中的指示。AWS

遷移, 領導

分析大型主機資料並建置視覺化儀表板。

若要在 Amazon 中分析和視覺化您的資料 QuickSight,請執行以下操作:

  1. 若要建立大型主機資料分析,請遵循文件中的指示。AWS針對資料集,選擇在上一個步驟中建立的資料集。

  2. 在分析頁面上,選擇構建可視化

  3. 在「建立分析」主題視窗中,選擇「更新現有主題」。

  4. 在 [選取主題] 下拉式清單中,選擇您先前建立的主題。

  5. 選擇 [主題連結]。

  6. 連結主題後,選擇建立視覺效果以開啟 Amazon Q 建立視覺化視覺化視窗。

  7. 在提示欄中。寫你的分析問題。用於此模式的示例問題如下:

    • 按地區顯示成員分佈

    • 按年齡顯示成員分佈

    • 按性別顯示成員分佈

    • 按計劃類型顯示成員分佈

    • 顯示會員未完成預防免疫

    輸入問題後,請選擇 [建置]。Amazon Q 在 QuickSight 創建的視覺效果。

  8. 若要將視覺效果新增至視覺化儀表板,請選擇 [ADD至] ANALYSIS。

完成後,您可以發佈儀表板,以便與組織中的其他人共用。如需範例,請參閱其他資訊一節中的大型主機視覺化儀表板

移民工程師
任務描述所需技能

建立資料故事。

創建數據故事以解釋先前分析的見解,並生成建議以增加會員的預防免疫接種:

  1. 若要建立資料故事,請遵循AWS 文件中的指示。

  2. 對於資料故事提示,請使用下列命令:

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    您也可以建立自己的提示,以產生其他業務見解的資料故事。

  3. 選擇 [新增視覺效果],然後新增與資料故事相關的視覺效果。對於此模式,請使用您先前建立的視覺效果。

  4. 選擇 Build (建置)。

  5. 如需資料內文輸出的範例,請參閱其他資訊一節中的資料故事輸出

移民工程師

檢視產生的資料故事。

若要檢視產生的資料故事,請遵循AWS 文件中的指示。

遷移, 領導

編輯產生的資料故事。

若要變更資料內文中的格式、版面配置或視覺效果,請遵循AWS 文件中的指示。

遷移, 領導

分享資料故事。

若要共用資料故事,請遵循AWS 文件中的指示。

移民工程師

故障診斷

問題解決方案

無法找到在檔案傳輸使用中建立傳輸工作的資料集搜尋準則中輸入的大型主機 AWS Mainframe Modernization 檔案或資料集。BMC

  1. 首先,請在「傳輸方式」BMC 主控台上選擇「資料傳 AWS Mainframe Modernization 輸端點」來檢查連線。如果上次活動訊號時間超過兩分鐘,表示尚未建立檔案傳輸的連線。如果在大型主機上執行的代理程式的上次活動訊號時間少於 2 分鐘,表示代理程式的連線成功。繼續執行步驟 2。

  2. 檢查設 AWS Secrets Manager 置。秘密金鑰必須在 Secrets Manager 中設定,其中包含大型主機使用者識別碼的金鑰 userId (大寫 I),以及password具有大型主機密碼金鑰userIdpassword秘密金鑰區分大小寫,必須按原樣輸入。

相關資源

若要將 PACKED-DECIMAL (COMP-3) 或 BINARY(COMP或 COMP -4) 等大型主機資料類型轉換為 Amazon 支援的資料類型 QuickSight,請參閱下列模式:

其他資訊

三CopyLambda年

下面的 Python 代碼是通過使用與 Amazon Q 開發人員在一個提示生成IDE:

#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }

大型主機視覺化儀表板

下面的數據視覺是由 Amazon Q 中 QuickSight 的分析問題創建的show member distribution by region

顯示西南、中西部、東北部和東南部的成員數目的圖表。

以下數據可視化是由 Amazon Q 在 QuickSight 為這個問題創建的show member distribution by Region who have not completed preventive immunization, in pie chart

Pie chart showing preventive immunization completion by region: Southeast 40%, Southwest 33%, Midwest 27%.

資料故事輸出

下列螢幕擷取畫面顯示 Amazon Q 在中 QuickSight 針對提示建立的資料故事部分 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

在介紹中,數據故事建議選擇成員最多的地區,以從免疫工作中獲得最大影響。

專注於免疫完成率的數據故事介紹頁面。

數據故事提供了前三個地區的會員人數的分析,並將西南地區命名為專注於免疫接種工作的主要地區。

Pie chart showing member distribution by region, with Southwest and Northeast leading at 31% each.

注意:西南和東北區域各有八個成員。但是,西南地區有更多的成員沒有完全接種疫苗,因此從提高免疫率的舉措中受益更大的潛力。

附件

若要存取與此文件相關聯的其他內容,請解壓縮下列檔案:attachment.zip