本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用中的AWS大型主機現代化和 Amazon Q 來產生資料洞察 QuickSight
創建者羅伊 (AWS)、羅什納·拉扎克 () 和桑托什庫馬爾辛格 (AWS) AWS
環境:PoC 或試點 | 技術:大型主機;分析;移轉;現代化;機器學習與人工智慧 | 工作量:IBM |
AWS服務:AWSLambda;AWS大型主機現代化;Amazon;Amazon S3 QuickSight |
Summary
如果您的組織在大型主機環境中託管業務關鍵資料,那麼從該資料中獲得深入解析對於推動成長和創新至關重要。透過解除鎖定大型主機資料,您可以建置更快、安全且可擴展的商業智慧,以加速 Amazon Web Services (AWS) 雲端中資料導向的決策、成長和創新。
此模式提供了一種解決方案,可透過使用 AWS Mainframe Modernization File Transfer 和 Amazon Q in,從大型主機資料建立可共用敘述。BMC QuickSight使用大型主機現代化檔案傳輸搭配使用,將大型AWS主機資料集傳輸傳輸到 Amazon 簡單儲存服務 (Amazon S3)。BMC AWS Lambda 函數會格式化並準備大型主機資料檔案,以便載入 Amazon。 QuickSight
在 Amazon 提供資料之後 QuickSight,您可以在 Amazon Q 中使用自然語言提示 QuickSight 來建立資料摘要、提出問題以及產生資料故事。您不必撰寫查SQL詢或學習商業智慧 (BI) 工具。
業務背景
此模式為大型主機資料分析和資料洞察使用案例提供解決方案。使用該模式,您可以為公司的數據構建可視化儀表板。為了展示解決方案,這種模式使用了一家醫療保健公司,該公司為其在美國的成員提供醫療,牙科和視力計劃。在此範例中,成員人口統計資料和計劃資訊儲存在大型主機資料集中。視覺化儀表板顯示以下內容:
按地區分的成員分佈
按性別劃分的成員分
會員年齡分佈
按計劃類型分類的成員分
未完成預防免疫接種的會員
建立儀表板後,您會產生一個資料故事,說明先前分析的深入解析。數據故事提供了增加已完成預防免疫接種的成員數量的建議。
先決條件和限制
先決條件
一個活躍的 AWS 帳戶
含有業務資料的大型主機資料集
在大型主機上安裝檔案傳輸代理程式的存取權
限制
您的大型主機資料檔案應採用 Amazon 支援的其中一種檔案格式。 QuickSight如需支援的檔案格式清單,請參閱 Amazon QuickSight 文件。
這種模式使用 Lambda 函數將大型主機文件轉換為 Amazon 支持的格式。 QuickSight
架構
下圖顯示使用 AWS Mainframe Modernization 檔案傳輸BMC和 Amazon Q in,從大型主機資料產生商業見解的架構。 QuickSight
該圖顯示以下工作流程:
包含商業資料的大型主機資料集會透過 AWS Mainframe Modernization 檔案傳輸搭配使用傳輸到 Amazon S3。BMC
Lambda 函數會將檔案傳輸目的地 S3 儲存貯體中的檔案轉換為逗號分隔值 (CSV) 格式。
Lambda 函數會將轉換後的檔案傳送至來源資料集 S3 儲存貯體。
檔案中的資料是由 Amazon QuickSight 擷取。
用戶在 Amazon 訪問數據 QuickSight。您可以在中使用 Amazon Q QuickSight ,透過自然語言提示與資料互動。
工具
AWS服務
AWS Lambda 是一項運算服務,可協助您執行程式碼,無需佈建或管理伺服器。它只會在需要時執行程式碼並自動調整規模,因此您只需為使用的運算時間付費。
AWS Mainframe Modernization 檔案傳輸可將大型主機資料集BMC轉換並傳輸到 Amazon S3,以進行大型主機現代化、移轉和擴充使用案例。
Amazon QuickSight 是雲端規模的 BI 服務,可協助您在單一儀表板中視覺化、分析和報告資料。這種模式使用 Amazon Q 中的生成 BI 功能 QuickSight。
Amazon Simple Storage Service (Amazon S3) 是一種雲端型物件儲存服務,可協助您儲存、保護和擷取任何數量的資料。
最佳實務
當您使用和 Lambda 函數建立 AWS Mainframe Modernization 檔案傳輸BMC的 AWS Identity and Access Management (IAM) 角色時,請遵循最低權限原則。
確保您的來源資料集具有支援 Amazon 的資料類型 QuickSight。如果來源資料集包含不支援的資料類型,請將其轉換為支援的資料類型。如需有關不受支援的大型主機資料類型,以及如何將其轉換為中 Amazon Q 支援的資料類型的詳細資訊 QuickSight,請參閱相關資源一節。
史诗
任務 | 描述 | 所需技能 |
---|---|---|
安裝檔案傳輸代理程式。 | 若要在大型主機上安裝 AWS Mainframe Modernization 檔案傳輸代理程式,請遵循文件中的指示。AWS | 大型主機系統管理員 |
為大型主機檔案傳輸建立 S3 儲存貯體。 | 建立 S3 儲存貯體以存放檔案傳輸中的輸出 AWS Mainframe Modernization 檔案BMC。在架構圖中,這是文件傳輸目的地存儲桶。 | 移民工程師 |
建立資料傳輸端點。 |
| AWS大型主機現代化專家 |
任務 | 描述 | 所需技能 |
---|---|---|
建立 S3 儲存貯體。 | 為 Lambda 函數建立 S3 儲存貯體,將轉換後的大型主機檔案從來源複製到最終目的地儲存貯體。 | 移民工程師 |
建立 Lambda 函數。 | 若要建立 Lambda 函數來變更副檔名,並將大型主機檔案複製到目的地儲存貯體,請執行下列動作:
| 移民工程師 |
建立 Amazon S3 觸發程序以叫用 Lambda 函數。 | 若要設定叫用 Lambda 函數的觸發器,請執行下列動作:
如需詳細資訊,請參閱教學課程:使用 Amazon S3 觸發條件叫用 Lambda 函數。 | 遷移, 領導 |
提供 Lambda 函數的IAM權限。 | IAMLambda 函數需要許可才能存取檔案傳輸目的地和來源資料集 S3 儲存貯體。透過允許 如需詳細資訊,請參閱教學課程:使用 Amazon S3 觸發器叫用 Lambda 函數中的建立許可政策一節。 | 遷移, 領導 |
任務 | 描述 | 所需技能 |
---|---|---|
建立傳輸任務,將大型主機檔案複製到 S3 儲存貯體。 | 若要建立大型主機檔案傳輸工作,請遵循文件中的指示。AWS Mainframe Modernization 注意:指定原始碼頁編碼為 IBM1047,將目標字碼頁編碼指定為 UTF-8。 | 移民工程師 |
驗證傳輸工作。 | 若要驗證資料傳輸是否成功,請遵循AWS Mainframe Modernization 文件中的指示。確認大型主機檔案位於檔案傳輸目的地 S3 儲存貯體中。 | 遷移, 領導 |
驗證 Lambda 複製函數。 | 確認已啟動 Lambda 函數,並將檔案以 .csv 副檔名複製到來源資料集 S3 儲存貯體。 由 Lambda 函數創建的 .csv 文件是 Amazon QuickSight 的輸入數據文件。如需資料範例,請參閱「附件」區段中的 | 遷移, 領導 |
任務 | 描述 | 所需技能 |
---|---|---|
設置 Amazon Q QuickSight. | 此功能需要企業版。若要在中設定 Amazon Q QuickSight,請執行下列動作: | 遷移, 領導 |
分析大型主機資料並建置視覺化儀表板。 | 若要在 Amazon 中分析和視覺化您的資料 QuickSight,請執行以下操作:
完成後,您可以發佈儀表板,以便與組織中的其他人共用。如需範例,請參閱其他資訊一節中的大型主機視覺化儀表板。 | 移民工程師 |
任務 | 描述 | 所需技能 |
---|---|---|
建立資料故事。 | 創建數據故事以解釋先前分析的見解,並生成建議以增加會員的預防免疫接種:
| 移民工程師 |
檢視產生的資料故事。 | 若要檢視產生的資料故事,請遵循AWS 文件中的指示。 | 遷移, 領導 |
編輯產生的資料故事。 | 若要變更資料內文中的格式、版面配置或視覺效果,請遵循AWS 文件中的指示。 | 遷移, 領導 |
分享資料故事。 | 若要共用資料故事,請遵循AWS 文件中的指示。 | 移民工程師 |
故障診斷
問題 | 解決方案 |
---|---|
無法找到在檔案傳輸使用中建立傳輸工作的資料集搜尋準則中輸入的大型主機 AWS Mainframe Modernization 檔案或資料集。BMC |
|
相關資源
若要將 PACKED-DECIMAL (COMP-3) 或 BINARY(COMP或 COMP -4)
其他資訊
三CopyLambda年
下面的 Python 代碼是通過使用與 Amazon Q 開發人員在一個提示生成IDE:
#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }
大型主機視覺化儀表板
下面的數據視覺是由 Amazon Q 中 QuickSight 的分析問題創建的show member distribution by region
。
以下數據可視化是由 Amazon Q 在 QuickSight 為這個問題創建的show member distribution by Region who have not completed preventive immunization, in pie chart
。
資料故事輸出
下列螢幕擷取畫面顯示 Amazon Q 在中 QuickSight 針對提示建立的資料故事部分 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.
在介紹中,數據故事建議選擇成員最多的地區,以從免疫工作中獲得最大影響。
數據故事提供了前三個地區的會員人數的分析,並將西南地區命名為專注於免疫接種工作的主要地區。
注意:西南和東北區域各有八個成員。但是,西南地區有更多的成員沒有完全接種疫苗,因此從提高免疫率的舉措中受益更大的潛力。
附件
若要存取與此文件相關聯的其他內容,請解壓縮下列檔案:attachment.zip